KI selber bauen – Schritt 3: Das erste lokale Modell auf dem eigenen Rechner

„`html

Endlich Praxis: Das erste lokale Modell starten

Nach Schritt 2 war klar: Mein Rechner ist grundsätzlich in der Lage, ein lokales KI-Modell zu betreiben – zumindest auf dem Papier. Aber irgendwann kommt der Punkt, an dem man genug gelesen und geplant hat. Ich wollte endlich sehen, ob auf meinem Rechner tatsächlich ein KI-Modell läuft.

Das erste Ziel habe ich deshalb bewusst klein gehalten: Ein lokales Modell starten, eine Frage stellen, eine Antwort bekommen. Keine Datenbank, kein eigenes Gedächtnis, keine komplizierte Logik. Nur das Modell.

Betriebssystem: Ubuntu als Arbeitsumgebung

Lokale KI ist grundsätzlich sowohl unter Windows als auch unter Linux möglich. Für mein Projekt bin ich bei Ubuntu gelandet, weil ich später mehr Kontrolle über Programme, Dienste und den gesamten Aufbau meines Systems haben wollte. Das heißt nicht, dass Windows ungeeignet wäre – für diesen Weg arbeiten wir in der Serie aber mit Ubuntu.

Wichtig ist: Das Betriebssystem ist die Arbeitsumgebung. Es ist nicht die KI. Die KI ist das Modell, das wir gleich darin starten.

Ollama: Das Werkzeug für lokale Modelle

Um ein lokales Sprachmodell zu starten, brauchst du ein Programm, das das Modell ausführt. Hier kommt Ollama ins Spiel. Ollama ist ein Werkzeug, mit dem du Sprachmodelle relativ einfach herunterladen und auf deinem eigenen Rechner starten kannst. Du gibst einen Befehl ein, Ollama kümmert sich um das Modell und stellt eine Eingabe bereit, in der du deine Frage schreiben kannst.

Ollama ist also nicht die KI selbst. Es ist eher die Umgebung, in der das Modell läuft.

Ollama unter Ubuntu installieren

Die Installation ist unter Ubuntu dank des offiziellen Skripts schnell erledigt. Das Skript richtet Ollama ein und startet den Dienst automatisch. Öffne ein Terminal und führe folgenden Befehl aus:

curl -fsSL https://ollama.com/install.sh | sh

Hinweis: Falls curl bei dir noch nicht installiert ist, installiere es vorher mit sudo apt install curl.

Nach der Installation kannst du prüfen, ob Ollama erreichbar ist:

ollama list

Erscheint keine Fehlermeldung, läuft Ollama. Die Liste der vorhandenen Modelle ist anfangs noch leer – das ändert sich gleich.

Das erste Modell: Klein anfangen

Für den ersten Test solltest du nicht das größte verfügbare Modell wählen, sondern ein kleines. Die Auswahl hängt unter anderem von deinem Arbeitsspeicher, deiner Grafikkarte und deren VRAM ab. Ein kleines Modell braucht weniger Ressourcen und startet auch auf bescheidenerer Hardware deutlich flüssiger.

Wir nehmen für den ersten Versuch llama3.2:3b. Das Modell hat rund 3 Milliarden Parameter und ist gut für erste Schritte geeignet. Ob es bei dir flüssig läuft, hängt von deiner Hardware ab – genau das kannst du gleich praktisch herausfinden.

Kleiner Hinweis: Das Modell wird beim ersten Start erst heruntergeladen. Das sind ein paar Gigabyte – je nach Internetverbindung kann das eine Weile dauern.

Das Modell herunterladen und starten

Der Befehl zum Starten ist denkbar einfach:

ollama run llama3.2:3b

Beim ersten Mal lädt Ollama das Modell herunter. Danach erscheint eine Eingabezeile, in der du deine Frage tippen kannst. Probier es zum Beispiel mit:

Erkläre mir kurz, was ein Sprachmodell ist.

Und dann passiert etwas Überraschendes: Die Antwort kommt direkt von deinem Rechner – ohne dass eine Internetverbindung an einem KI-Dienst beteiligt wäre.

Der erste Aha-Moment – und eine wichtige Erkenntnis

Wenn die erste Antwort von deinem eigenen Rechner kommt, ist das ein besonderer Moment. Es wirkt so, als hättest du im Handumdrehen deine eigene KI gebaut. Aber genau hier ist der wichtigste Punkt dieses Artikels:

Nein, das ist noch nicht deine eigene KI.

Du hast jetzt ein fertiges Sprachmodell lokal zum Laufen gebracht. Das ist ein großer Schritt – aber es ist noch nicht dein eigenes KI-System.

Was passiert gerade wirklich?

Schauen wir kurz auf den Ablauf, ohne uns in technischen Details zu verlieren:

• Du schreibst eine Frage in die Eingabezeile.
• Ollama übergibt die Frage an das lokale Modell.
• Das Modell erzeugt eine Antwort.
• Ollama zeigt dir die Antwort im Terminal an.

Es gibt noch kein eigenes Programm von dir, das diesen Ablauf steuert. Es gibt noch keine eigenen Regeln, keine eigene Wissensbasis und kein eigenes Gedächtnis. Das Modell antwortet einfach basierend auf dem, was es beim Training gelernt hat.

CPU oder GPU: Deine Hardware im ersten Einsatz

Je nach Rechner und Modell läuft die Berechnung ganz oder teilweise auf der CPU oder der GPU. Bei kleinen Modellen kann beides funktionieren; bei größeren Modellen wird die Grafikkarte mit genug VRAM deutlich wichtiger.

Das Schöne jetzt: Du kannst zum ersten Mal praktisch beobachten, wie sich deine vorhandene Hardware schlägt. Genau hier beginnt man zu verstehen, warum in Schritt 2 RAM, GPU und VRAM so ausführlich erwähnt wurden.

Mein eigener Weg

Bei meinen ersten Versuchen war für mich entscheidend, dass überhaupt eine lokale Antwort kam. Ich habe damals viel weniger darüber nachgedacht, welcher Teil Ollama, welcher Teil das Modell und welcher Teil später ein eigenes Programm sein würde. Diese Trennung habe ich erst beim Weiterbauen richtig verstanden – genau diese Erkenntnis möchte diese Serie vermitteln.

Noch nichts automatisieren

Auch wenn es verlockend ist: Jetzt noch keine Datenbanken, Weboberflächen, Recherche-Werkzeuge oder andere Erweiterungen installieren. Das Ziel von Schritt 3 ist erreicht, wenn Ollama läuft, ein lokales Modell gestartet werden kann, eine Frage gestellt werden kann und eine Antwort direkt vom Rechner zurückkommt – und wenn klar ist, dass das Modell und dein eigenes KI-System nicht dasselbe sind.

Schritt 3 ist geschafft, wenn …

• Ollama installiert ist.
• Ein Modell lokal vorhanden ist.
• Das Modell auf eine Frage antwortet.
• Du weißt, dass diese Antwort vom Modell kommt und noch nicht von deinem eigenen Programm.

Ausblick: Schritt 4 wird unser eigenes Programm

Damit hören wir für heute auf. Schritt 4 setzt genau hier an: Dann schreiben wir ein kleines eigenes Programm, das eine Frage an das lokale Modell sendet und die Antwort zurückbekommt – ohne dass du direkt in Ollama tippst.

Damit beginnt der eigentliche Unterschied zwischen „Ich benutze ein lokales Modell“ und „Ich baue mein eigenes KI-System“.

„`