Ich wusste lange nicht, ob ich das wirklich hinbekommen würde. Eine eigene KI, die lokal auf meinem Rechner läuft – nicht in der Cloud, nicht als fertiger Dienst, sondern bei mir zu Hause, unter meiner Kontrolle. In diesem ersten Teil meiner Serie „KI selber bauen“ erzähle ich, wie alles anfing. Und ich sage direkt vorweg: Am Anfang wusste ich selbst nicht genau, worauf ich mich einlasse. Das war okay. Man muss nicht alles vorher wissen.
Die Idee
Irgendwann hatte ich den Gedanken: Kann ich meine eigene KI lokal auf meinem Rechner laufen lassen?
Der Gedanke war ziemlich blauäugig. Ein Rechner ist vorhanden, eine Grafikkarte steckt drin, etwas Programmiererfahrung bringe ich mit. Also müsste das doch machbar sein, oder?
Ich wollte nicht einfach einen weiteren fertigen Cloud-Dienst benutzen. Ich wollte verstehen, was auf meinem eigenen Rechner passiert. Ich wollte selbst bestimmen können, wie mein System arbeitet – welche Informationen es bekommt, wie es Entscheidungen trifft, was es speichert.
Was ich anfangs darunter verstanden habe
Meine erste Vorstellung war grob:
- ein Rechner
- ein Betriebssystem
- ein lokales KI-Modell
- ein eigenes Programm, das mit diesem Modell spricht
Mehr war es am Anfang nicht. Und ich muss zugeben: Diese Vorstellung war zu einfach.
Erst später wurde mir klar, dass zwischen „ein lokales Modell läuft“ und „ich habe meine eigene KI gebaut“ ein großer Unterschied besteht. Ein Modell, das ich herunterlade, ist ein fertiges Werkzeug. Es kann Texte erzeugen oder Fragen beantworten. Aber es ist nicht mein System. Es weiß nichts über meine Daten, meine Aufgaben oder meine Regeln. Es ist nur ein Baustein.
Der erste wichtige Aha-Moment
Als mein erstes lokales Modell zum ersten Mal eine Frage beantwortet hat, fühlte sich das so an, als hätte ich meine eigene KI gebaut. Der Moment war wirklich beeindruckend. Ich habe ein Modell gestartet, eine Frage eingetippt und eine Antwort bekommen. Das lief auf meinem Rechner. Keine Internetverbindung, kein Cloud-Dienst. Nur mein Computer.
Aber dieser Moment war auch irreführend. Das Modell selbst war bereits fertig. Ich hatte es nicht gebaut, ich hatte es nur benutzt. Die eigentliche, interessante Arbeit fängt danach an:
- Wie gebe ich dem System eigene Informationen?
- Wie bestimme ich seine Abläufe?
- Wie soll es Informationen beurteilen?
- Was soll gespeichert werden?
- Wie soll es recherchieren oder lernen?
Aus diesen Fragen ist später mein Projekt Eureka entstanden. Es ist aus dem Wunsch gewachsen, nicht nur ein Modell laufen zu lassen, sondern ein eigenes System zu haben, das nach meinen Vorstellungen arbeitet.
Die Grafikkarte habe ich anfangs unterschätzt
An dieser Stelle möchte ich etwas Persönliches teilen. Am Anfang wusste ich überhaupt nicht, wie wichtig die Grafikkarte und vor allem der Grafikspeicher (VRAM) für lokale KI werden würde.
Ich habe lange mit nur 8 GB VRAM gearbeitet. Dass mich das zunächst kaum störte, lag auch daran, dass mein System damals sehr stark nach festen Regeln arbeitete. Viele Abläufe und Entscheidungen wurden durch eigene Programmlogik bestimmt und nicht einfach einem großen Sprachmodell überlassen. Das hatte einen praktischen Vorteil: Viele dieser Abläufe brauchten das Sprachmodell kaum oder gar nicht, deshalb fiel die Begrenzung durch meine 8-GB-Grafikkarte zunächst weniger auf.
Richtig verstanden habe ich das erst bei Eureka v3. Je mehr Aufgaben die lokalen Modelle übernehmen sollten, desto wichtiger wurde die Grafikkarte. Der Grafikspeicher wurde zum Engpass. Aber das ist eine Geschichte für später – ich will hier keine Grafikkarten-Abhandlung schreiben. Nur so viel: Unterschätze die Grafikkarte nicht. Sie ist für lokale KI wichtiger, als man denkt.
Der Grundgedanke der Serie
Diese Serie soll zeigen, dass man nicht alles vorher wissen muss. Ich habe vieles erst beim Bauen verstanden. Hätte ich gewartet, bis ich alle Details kenne, wäre das Projekt nie gestartet.
Du kannst meinen Weg nachvollziehen: von der einfachen Idee über das erste lokale Modell bis zu einem eigenen KI-System. Das wird kein wissenschaftlicher Kurs. Es geht um praktische Fragen:
- Was brauche ich, um loszulegen?
- Was macht ein fertiges Modell?
- Was macht mein eigenes Programm?
- Und ab wann ist es tatsächlich mein System?
Ich bin kein KI-Forscher und kein großes Unternehmen. Ich bin jemand, der wissen wollte, ob man so etwas selbst bauen kann. Und die Antwort lautet: Für mich stand irgendwann fest: Es funktioniert – aber ganz anders, als ich es mir am Anfang vorgestellt hatte. Man muss nur bereit sein, sich auf den Weg zu machen und unterwegs zu lernen.
Ausblick: Schritt 2
Im nächsten Teil schauen wir uns an, was ein Rechner für lokale KI tatsächlich können muss. Wir sprechen über die wichtigsten Komponenten – ohne sofort bestimmte Grafikkarten zu empfehlen. Denn die Anforderungen hängen stark davon ab, was du mit deiner eigenen KI machen möchtest. Dieses Wissen hilft dir, die richtigen Entscheidungen für dein eigenes Projekt zu treffen.