API-Router für KI-Modelle: Anfragen sinnvoll verteilen Was ist ein API-Router? Ein API-Router ist eine Vermittlungsschicht zwischen deiner Anwendung und den APIs der KI-Modelle. Deine Anwendung schickt eine Anfrage an den Router, der entscheidet, an welches Modell sie weitergeht. Das Modell…
Mit den einzelnen Modulen wurde mein System übersichtlicher. Wissen war nicht mehr dasselbe wie Lernen. Zustand war nicht dasselbe wie Recherche. Nicht jede Funktion brauchte Ollama. Und je mehr Aufgaben mein eigenes Programm übernehmen konnte, desto öfter stellte ich mir…
Mit Schritt 10 hatte ich einen Wendepunkt erreicht. Ich hatte beschlossen, mein bisheriges System nicht einzustampfen, auch wenn ich wusste: ChatGPT baue ich nicht nach. Aber das System funktionierte. Das eigentliche Problem war nicht die Technik – es war meine…
Mit dem Flex-Prompt funktionierte vieles besser. Mein eigenes Programm übernahm mehr Entscheidungen. Ollama bekam passendere Aufträge. Die Antworten wurden brauchbarer. Nicht immer perfekt. Aber: Das System funktionierte. Und genau deshalb wurde die nächste Erkenntnis so schwierig. Du arbeitest ohnehin schon…
Einstieg: Vielleicht war nicht das Modell das Problem In Schritt 8 habe ich gemerkt, dass ein großer, fester Prompt irgendwann selbst zum Problem wird. Ich hatte lange versucht, meinen Prompt immer genauer zu machen. Immer wenn etwas schiefging, kam eine…
In Schritt 7 hatte ich endgültig akzeptiert: Ein großes Sprachmodell baue ich mit privaten Mitteln nicht nach. Das war ernüchternd, aber auch befreiend. Denn wenn das Modell selbst kein eigener Baustein wird, dann bleibt mir ein anderer Hebel: der Auftrag,…
Mit Schritt 6 hatte ich ein lokales Sprachmodell laufen, ein eigenes Python-Programm, eine MySQL-Datenbank und eine erste Form der Vektorsuche. Trotzdem blieb eine Frage offen, die mich nicht mehr losließ: Warum wirkt eine Chat-KI so viel flexibler? Sie braucht nicht…
In Schritt 5 hatte MySQL mein erstes großes Problem gelöst: Informationen konnten endlich dauerhaft gespeichert werden. Doch ziemlich schnell tauchte das nächste Problem auf – und es war im Grunde eine weitaus schwierigere Frage. Menschen stellen dieselbe Frage nicht immer…
Mein eigenes Programm konnte jetzt mit dem lokalen Sprachmodell sprechen. Ich gab eine Frage ein, mein Python-Skript schickte sie an Ollama, das Modell generierte eine Antwort und mein Programm gab sie auf dem Bildschirm aus. Das funktionierte tatsächlich. Aber sobald…
Im letzten Schritt war der entscheidende Moment erreicht: Ich konnte direkt mit Ollama sprechen, und das lokale Modell auf meinem Rechner hat geantwortet. Das war eindrucksvoll – aber ehrlich gesagt: Ich habe dabei nur ein fertiges Programm bedient. Jetzt beginnt…