Mit Schritt 6 hatte ich ein lokales Sprachmodell laufen, ein eigenes Python-Programm, eine MySQL-Datenbank und eine erste Form der Vektorsuche. Trotzdem blieb eine Frage offen, die mich nicht mehr losließ:
Warum wirkt eine Chat-KI so viel flexibler? Sie braucht nicht für jede mögliche Frage einen vorher angelegten Datenbankeintrag. Sie kann auf Formulierungen reagieren, die vorher niemand genau so gespeichert hat. Also begann ich, mich stärker damit zu beschäftigen, wie eine Chat-KI grundsätzlich funktioniert.
Mein erster Gedanke: Das Prinzip selbst nachbauen
Je mehr ich darüber las und ausprobierte, desto stärker wurde der Gedanke: Vielleicht kann ich dieses Prinzip selbst nachbauen. Nicht einfach nur ein vorhandenes Modell ansprechen, sondern mehr von dem, was eine Chat-KI eigentlich ausmacht. Ich wollte verstehen, was passiert, wenn eine KI eine Antwort formuliert – und ob ich diesen Prozess mit meinen Mitteln nachbilden kann.
Was ich dabei verstehen musste
Eine moderne Chat-KI besteht nicht einfach aus einer großen Datenbank, ein paar Regeln, einer Suchfunktion und einem Antwortprogramm. Das Sprachmodell selbst hat während seines Trainings Zusammenhänge aus sehr großen Datenmengen gelernt. Es erzeugt Antworten nicht dadurch, dass es einfach einen gespeicherten Text aus einer Datenbank holt. Es ist in der Lage, Sprache und Bedeutung auf eine Weise zu verarbeiten, die sich grundlegend von klassischen Datenbankabfragen unterscheidet.
Datenbankwissen ist nicht Modellwissen
Dieser Punkt wurde für mich immer wichtiger. Meine Datenbank konnte Informationen speichern. Meine Vektorsuche konnte passende oder ähnliche Inhalte finden. Aber das Sprachmodell konnte Sprache und Zusammenhänge auf eine ganz andere Art verarbeiten. Das waren zwei verschiedene Ebenen.
Die Datenbank sagt: „Hier ist eine Information, die passen könnte.“ Das Modell kann daraus Sprache erzeugen, Zusammenhänge herstellen und auf eine Frage reagieren. Diese Trennung zu verstehen, war für mein Projekt entscheidend.
Der Versuch, immer mehr selbst nachzubauen
Ich begann, immer mehr Funktionen selbst nachzubauen. Zum Beispiel Regeln, Bedeutungszuordnung, Wissensspeicherung, Suche, einfache Entscheidungen und verschiedene Abläufe je nach Frage. Ich will nicht behaupten, dass ich damit ein Sprachmodell nachgebaut hätte. Es waren Versuche, bestimmte Fähigkeiten eines größeren KI-Systems mit normalen Programmen nachzubilden. Jeder Versuch brachte mir etwas Neues bei – aber gleichzeitig zeigte er mir auch, wo die Grenzen liegen.
Die Erkenntnis über die Größenordnung
Irgendwann wurde mir klar, dass ein modernes großes Sprachmodell in einer völlig anderen Größenordnung entsteht. Um ein vergleichbares Modell von Grund auf zu trainieren, braucht man unter anderem:
- enorme Datenmengen
- sehr viel Rechenleistung
- spezialisierte Hardware
- viel Zeit
- eine aufwendige technische Infrastruktur
Ich möchte hier keine übertriebenen Zahlen nennen. Der Punkt ist: Mit einem normalen privaten Rechner kann ich sehr viel rund um ein Sprachmodell selbst bauen. Aber ich kann nicht einfach ein großes modernes Chat-Modell mit vergleichbarer Leistungsfähigkeit von Grund auf nachbauen. Diese Erkenntnis war zunächst ernüchternd.
Erst einmal ernüchternd
Ich wollte schließlich meine eigene KI bauen. Und plötzlich sah es so aus, als wäre der wichtigste Teil davon genau der Teil, den ich mit meinen Mitteln nicht selbst herstellen konnte. Die Frage entstand: War alles, was ich bisher gebaut hatte, damit eigentlich sinnlos?
In diesem Moment war ich ehrlich enttäuscht. Aber ich habe den Zweifel ausgehalten und bin nicht stehen geblieben.
Dann fiel mir etwas Entscheidendes auf
Mein System funktionierte trotzdem. Mein Programm konnte mit dem Modell sprechen. Es konnte Wissen speichern. Es konnte Informationen suchen. Es konnte eigene Regeln ausführen. Es konnte Entscheidungen vorbereiten. All diese Dinge hatte ich tatsächlich selbst gebaut.
Vielleicht bestand mein Fehler also darin, unter „eigene KI“ immer noch zu sehr ein selbst trainiertes Sprachmodell zu verstehen. Ich hatte den falschen Maßstab angelegt.
Das Sprachmodell als Baustein
Ein vorhandenes Sprachmodell kann ein Baustein meines Systems sein. So wie eine Datenbank ein Baustein ist, Python ein Werkzeug ist, Ollama ein Werkzeug ist und eine Suchfunktion ein Baustein ist. Dann muss nicht jeder einzelne Teil von mir selbst erfunden worden sein, damit das Gesamtsystem trotzdem mein eigenes System ist.
Diese Sichtweise hat mein Projekt grundlegend verändert. Ich musste nicht alles selbst bauen, um etwas Eigenes zu schaffen. Ich konnte entscheiden, welche Teile ich selbst gestalte und welche ich als Grundlage nutze.
Eine wichtige Grenze
Es geht nicht darum, zu behaupten, ich hätte ChatGPT oder ein großes Sprachmodell selbst gebaut. Genau das Gegenteil ist der Lernschritt. Ich habe verstanden, welche Teile ich nicht sinnvoll selbst nachbauen kann und welche Teile ich sehr wohl selbst gestalten kann. Das hat mein Projekt nicht beendet. Es hat nur verändert, worauf ich mich konzentrieren musste.
Der nächste Fehler wartete schon
Nachdem ich akzeptiert hatte, dass das Sprachmodell ein vorhandener Baustein sein würde, wollte ich zumindest möglichst genau kontrollieren, was dieses Modell tut. Also begann ich, meine Prompts immer genauer zu machen. Mehr Regeln. Mehr Vorgaben. Mehr Verbote.
Meine Hoffnung war: Wenn ich das Modell nur genau genug eingrenze, werden die Antworten automatisch zuverlässiger. Das klang logisch. In der Praxis führte es aber zum nächsten Problem.
Schritt 7 ist geschafft, wenn …
Nach diesem Schritt habe ich verstanden:
- Eine Datenbank ist kein Sprachmodell.
- Eine Vektorsuche ist kein Sprachmodell.
- Ein großes Chat-Modell entsteht in einer anderen Größenordnung.
- Ein solches Modell mit normalen privaten Mitteln nachzubauen ist kein realistisches Ziel.
- Trotzdem kann man ein eigenes KI-System bauen.
- Ein vorhandenes Sprachmodell kann darin ein Baustein sein.
- Die eigene Arbeit beginnt dort, wo ich entscheide, wie dieser Baustein in mein System eingebunden wird.
Schritt 7 hat mich von dem Versuch befreit, ein Sprachmodell komplett selbst zu erschaffen. Stattdessen habe ich gelernt, meine Energie auf die Teile zu richten, die ich tatsächlich selbst gestalten kann. Und genau dort wartete der nächste Fehler: Ich wollte das Modell durch immer strengere Prompts vollständig kontrollieren. Warum das scheiterte, zeige ich in Schritt 8.