Jeg har akkurat samme maskin som deg. Jeg har byttet ut CPU'ene, oppgradert til 16Gb minne, SSD'er og 4x 3TB WD Red-disker for lagring og satt inn et Radeon 5870 1Gb.
Først og fremst:
Du MÅ ha FB-DIMM minne med kjølere i denne maskinen. Ikke vurder å prøve noe annet. RAM til disse er dyrt, men ikke så dyrt som det en gang var. Jeg har kjøpt alle mine minnebrikker her:
http://www.nemixcorp.com/apple-memory/m ... ation.html (Jeg gikk for 8x 2Gb brikker). De sender med EMS, så du betaler faktisk bare mva i tillegg når de kommer hit (ikke gebyr til posten).
CPU oppgraderingen er kanskje den jeg har merket mest til rent ytelsesmessig. Byttet til 2x X5365 Quad Core Xeon på 3GHz. De er virkelig bra! Selve oppgraderingen er enkel, det er bare å demontere og montere sammen etter oppgraderingen. Du behøver ikke, men du kan oppgradere firmware i maskinen også slik at den gir riktig navn på CPU'ene i Mac OS etterpå.
SSD er en enkel sak, bruk de 2 ekstra SATA-portene på hovedkortet bak disk-bay 1, så slipper du å bruke opp disk-bayene til en SSD-disk.
-----
Edit: RAM'en du har valgt å kjøpe vil ikke fungere. Hvor står det at det er FB-DIMM du har kjøpt? DDR2 DIMM og FB-DIMM er som du selv har funnet frem forskjellige.
-----
Edit 2: Med MLpostfactor kan du helt fint kjøre nyere Mac OS på den, selv om det ikke er støttet.
http://www.osxhackers.com/Installation.html. Jeg har til dags dato ikke møtt på noen programmer jeg ikke kan kjøre. Har ikke forsøkt den på Mavericks ennå, men den fungerer helt strålende på Mountain Lion.