Server-Grafikkarten wie ältere NVIDIA-Tesla-Modelle können gebraucht erstaunlich viel VRAM fürs Geld bieten. Der Haken: Sie wurden nicht für einen normalen Desktop-PC gebaut. Viele Modelle besitzen keine eigene klassische Grafikkartenkühlung, sondern erwarten den starken, gerichteten Luftstrom eines Servers.
Was du für den Umbau brauchst
Neben der Tesla-Karte selbst brauchst du einen PC mit einem geeigneten PCIe-Steckplatz, ein ausreichend starkes Netzteil und – je nach Karte – den passenden Stromadapter. Besonders wichtig ist die Kühlung.
Bei passiv gekühlten Serverkarten reicht es nicht, einfach einen normalen Gehäuselüfter daneben zu hängen. Der Luftstrom muss gezielt durch den Kühlkörper bzw. das Gehäuse der Karte gedrückt werden. Dafür eignet sich beispielsweise ein passend gebauter Luftkanal mit einem leistungsfähigen Radial- oder Serverlüfter.
Vor dem Einbau sollte außerdem geprüft werden:
- Passt die Karte mechanisch in das Gehäuse?
- Welche Stromanschlüsse benötigt genau dieses Modell?
- Reicht das Netzteil auch unter Dauerlast?
- Kann die warme Abluft vernünftig aus dem PC abgeführt werden?
- Unterstützen Betriebssystem, Treiber und die gewünschte KI-Software die Karte?
- Besitzt die Karte überhaupt die für deinen Zweck benötigten Videoausgänge? Viele Tesla-Karten haben keine.
Beim Kauf einer gebrauchten Server-GPU aufpassen
Der große VRAM allein macht noch keine gute KI-Karte.
Für lokale KI sind besonders VRAM-Größe, Speicherbandbreite, Rechenarchitektur, CUDA-Unterstützung und Software-Kompatibilität wichtig. Eine sehr alte Karte mit 24 GB Speicher kann deshalb trotz des großen Speichers erheblich langsamer sein als eine moderne Consumer-GPU.
Außerdem sollte man vor dem Kauf prüfen, ob die Karte aus einem ausgeschlachteten Server stammt, ob sie getestet wurde und ob Kühler, Halterungen oder Stromadapter fehlen.
Sehr günstige Angebote können interessant sein – aber aus einem vermeintlichen Schnäppchen werden schnell zusätzliche Kosten für:
Lüfter + Luftkanal + Adapter + stärkeres Netzteil + Gehäuseumbau.
Was kann man damit bei lokaler KI wirklich erreichen?
Für kleinere und mittlere Modelle kann so ein Umbau durchaus spannend sein. Viel VRAM ermöglicht größere Quantisierungen oder Modelle, die auf einer normalen 8- oder 12-GB-Grafikkarte überhaupt nicht laufen würden.
Aber irgendwann stößt ein privater Rechner schlicht an physikalische und finanzielle Grenzen.
Ein Modell mit etwa 70 Milliarden Parametern benötigt selbst stark quantisiert schnell Größenordnungen von 40 GB VRAM oder mehr, sobald Modell, Kontext und Laufzeitpuffer berücksichtigt werden. Noch größere Modelle verlangen mehrere GPUs beziehungsweise sehr große Speicherbestückungen.
Dann entstehen neue Probleme:
Anschaffungskosten, Stromverbrauch, Kühlung, PCIe-Steckplätze, Netzteilgröße, Speicherbandbreite und Lautstärke.
Und selbst wenn man genug VRAM zusammenbekommt, bedeutet das noch lange nicht, dass das Modell schnell läuft.
Mein Fazit
Eine gebrauchte Server-GPU umzubauen ist für Bastler ein interessantes Projekt. Gerade wenn man gerne Hardware zweckentfremdet und möglichst viel VRAM für wenig Geld bekommen möchte, kann das sehr reizvoll sein.
Aber es zeigt gleichzeitig ein grundsätzliches Problem lokaler KI:
Die wirklich großen Modelle sind für Privatnutzer hardwareseitig kaum noch sinnvoll nachzubauen.
Man kann heute erstaunlich leistungsfähige Modelle zu Hause betreiben. Aber mit den größten Rechenzentren mitzuhalten, bedeutet schnell mehrere GPUs, sehr viel VRAM, hohe Leistungsaufnahme und Investitionen im Bereich mehrerer Tausend Euro.
Genau deshalb finde ich solche Serverkarten interessant: nicht weil sie das Problem vollständig lösen – sondern weil man damit ausprobieren kann, wie weit man mit bezahlbarer, selbst gebauter Hardware tatsächlich kommt.