Einstieg
Im ersten Teil der Serie habe ich erzählt, wie ich auf die Idee kam, meine eigene KI lokal auf meinem Rechner zu bauen. Was ich am Anfang nicht verstanden hatte: Welche Teile des Rechners für lokale KI überhaupt wichtig sind. Ehrlich gesagt dachte ich: Wenn der Rechner halbwegs schnell ist, wird das schon reichen. Erst später wurde mir klar, dass lokale KI andere Anforderungen stellt als normale Programme. Es geht nicht darum, dass der Rechner bei Spielen besonders gut abschneidet, sondern darum, dass bestimmte Komponenten gut zusammenarbeiten.
Die wichtigsten Teile im Überblick
Um zu verstehen, worauf es bei lokaler KI ankommt, hilft es, die wichtigsten Teile des Rechners voneinander zu unterscheiden. Denn der Rechner und die KI sind nicht dasselbe.
- Prozessor / CPU: Vereinfacht gesagt ist die CPU das Gehirn des Rechners – nicht der KI. Sie führt Programme aus, verarbeitet Daten und steuert viele Abläufe des gesamten Systems.
- Arbeitsspeicher / RAM: Hier hält der Rechner Daten bereit, die gerade gebraucht werden. Auch Programme, Datenbanken und Teile eines KI-Systems benötigen Arbeitsspeicher.
- Grafikkarte / GPU: Die Grafikkarte kann sehr viele Berechnungen gleichzeitig ausführen. Genau das können lokale KI-Modelle gut nutzen. Deshalb übernimmt sie bei vielen lokalen KI-Anwendungen einen großen Teil der Rechenarbeit.
- Grafikspeicher / VRAM: Das ist der Speicher direkt auf der Grafikkarte. Soll ein Modell ganz oder teilweise auf der GPU arbeiten, braucht es dort Platz. Deshalb wird VRAM bei lokalen Modellen schnell zu einem wichtigen Punkt.
- Speicherplatz / SSD: Die Modelle selbst liegen als Dateien auf dem Laufwerk. Eine SSD verkürzt vor allem das Laden von Modellen und Daten.
Die Grafikkarte
Die Grafikkarte ist für viele lokale KI-Modelle besonders wichtig. Sie übernimmt einen Großteil der rechenintensiven Arbeit, wenn ein Modell auf der GPU läuft. Aber ich möchte hier nicht so tun, als müsstest du sofort eine teure Grafikkarte kaufen. Wie viel Leistung du brauchst, hängt davon ab, welche Modelle du nutzen möchtest und welche Aufgaben du damit erledigen willst.
Meine Erfahrung mit 8 GB VRAM
Mein eigenes System arbeitete damals noch sehr stark mit festen Regeln und klar vorgegebenen Abläufen. Viele Entscheidungen wurden durch meine eigene Programmlogik getroffen und nicht einfach einem großen Sprachmodell überlassen. Deshalb musste das Modell längst nicht jede Aufgabe erledigen. Dadurch habe ich die Grenzen meiner 8-GB-Grafikkarte erst relativ spät wirklich bemerkt. Erst bei Eureka v3 wurde mir klar, wie stark die Auswahl und Größe lokaler Modelle vom verfügbaren Grafikspeicher abhängt.
VRAM einfach erklärt
VRAM ist der Speicher auf der Grafikkarte. Um es einfach zu sagen: Ein lokales Modell muss während der Arbeit irgendwo Platz finden. Je größer das Modell ist, desto mehr Speicher braucht es. Und je mehr davon auf der Grafikkarte laufen soll, desto mehr VRAM wird benötigt.
Mehr VRAM bedeutet nicht automatisch, dass eine KI besser ist. Es bedeutet zunächst einmal, dass größere Modelle oder andere Arbeitsweisen möglich werden. Die Qualität kann besser sein, muss es aber nicht. Der Speicher entscheidet also darüber, wie groß die Möglichkeiten sind, nicht über die Qualität des Ergebnisses.
CPU und RAM nicht vergessen
Wenn über lokale KI gesprochen wird, dreht sich vieles um die Grafikkarte. Aber ein lokales KI-System besteht nicht nur aus dem Modell. Auch mit einer starken Grafikkarte bleiben CPU und Arbeitsspeicher wichtig. Das eigene Programm, Datenbanken, Dateien, Recherche und andere Abläufe des Systems laufen schließlich nicht einfach alle auf der Grafikkarte. Gerade wenn du eigene Prozesse rund um die KI baust, wirst du merken, dass beide Komponenten weiterhin eine zentrale Rolle spielen.
Speicherplatz: Wo die Modelle liegen
Lokale Modelle benötigen Speicherplatz. Wer mehrere Modelle ausprobiert oder verschiedene Größen testet, kann schnell viele Gigabyte belegen. Eine SSD ist deshalb sinnvoll, weil sie das Laden der Modelle deutlich beschleunigt. Eine konkrete Mindestgröße möchte ich nicht als absolute Vorgabe nennen. Das hängt zu stark davon ab, welche Modelle du nutzen möchtest und wie viele du gleichzeitig bereithalten willst.
Was brauchst du zum Anfangen?
Wenn du gerade erst anfängst, brauchst du keine High-End-Hardware. Für erste Versuche kann deine vorhandene Hardware völlig ausreichen. Entscheidend ist, mit einem passenden Modell zu starten und dabei die Grenzen deines Rechners kennenzulernen. Kauf also nicht sofort neue Hardware, bevor dir klar ist, was du mit deiner eigenen KI überhaupt machen möchtest.
Eine persönliche Erkenntnis
Wenn ich auf meine Anfangszeit zurückblicke, hätte ich mir damals wahrscheinlich eine völlig andere Grafikkarte gekauft, wenn ich gewusst hätte, wohin sich Eureka entwickelt. Aber genau das konnte ich damals nicht wissen. Mein Rat ist deshalb nicht: Kauf sofort möglichst viel Hardware. Sondern: Fang an, beobachte, wo dein System an Grenzen kommt, und rüste dann gezielt auf.
Ausblick: Schritt 3 wird praktisch
Im nächsten Teil der Serie wird es praktisch. Wir bereiten den Rechner so vor, dass ein erstes lokales KI-Modell laufen kann. Dabei geht es noch nicht darum, eine komplette eigene KI zu bauen. Das Ziel ist zunächst: ein Modell lokal starten, eine Frage stellen und zu verstehen, welcher Teil der Arbeit vom Modell übernommen wird.