„`html Endlich Praxis: Das erste lokale Modell starten Nach Schritt 2 war klar: Mein Rechner ist grundsätzlich in der Lage, ein lokales KI-Modell zu betreiben – zumindest auf dem Papier. Aber irgendwann kommt der Punkt, an dem man genug gelesen…
← zurück KI selber bauen Schon erledigt? Direkt zu Schritt 3 → Einstieg Im ersten Teil der Serie habe ich erzählt, wie ich auf die Idee kam, meine eigene KI lokal auf meinem Rechner zu bauen. Was ich am Anfang…
Ich wusste lange nicht, ob ich das wirklich hinbekommen würde. Eine eigene KI, die lokal auf meinem Rechner läuft – nicht in der Cloud, nicht als fertiger Dienst, sondern bei mir zu Hause, unter meiner Kontrolle. In diesem ersten Teil…
NVIDIA CMP 170HX als ungewöhnliche GPU für lokale KI Die NVIDIA CMP 170HX ist keine typische Grafikkarte für Desktop-PCs, aber in den letzten Monaten hat sie unter KI-Enthusiasten eine unerwartete Aufmerksamkeit bekommen. Ursprünglich für das Ethereum-Mining gebaut, hat sie eine…
Warum eine lokale KI? Mehr als nur Datenschutz Cloud-basierte KIs wie ChatGPT sind beeindruckend, aber sie haben einen Haken: Deine Daten verlassen das eigene System. Wer mit sensiblen Dokumenten arbeitet, im Homeoffice datenschutzkritische Prozesse testet oder einfach die volle Kontrolle…
Server-Grafikkarten wie ältere NVIDIA-Tesla-Modelle können gebraucht erstaunlich viel VRAM fürs Geld bieten. Der Haken: Sie wurden nicht für einen normalen Desktop-PC gebaut. Viele Modelle besitzen keine eigene klassische Grafikkartenkühlung, sondern erwarten den starken, gerichteten Luftstrom eines Servers. Was du für…
Lokale KI im Überblick: Drei Bibliotheken für den eigenen Server Die Ausführung von KI-Modellen direkt auf der eigenen Hardware wird für Entwickler immer attraktiver: Datenschutz, keine laufenden API-Kosten und volle Kontrolle über die Infrastruktur sind nur einige Vorteile. Doch welche…
DeepSeek-R1 lokal ausführen – die Ausgangslage DeepSeek-R1 ist ein hochmodernes LLM mit 671 Milliarden Parametern (Mixture of Experts). In dieser Form brauchst du für den Betrieb ein Rechenzentrum. Für den lokalen Einsatz sind die Distill-Varianten interessant, die auf kleineren Qwen-/Llama-Modellen…
Warum der Cloud-Router zum Flaschenhals wird Bei KI-Clustern denken die meisten zuerst an GPU-Kapazität, VRAM oder Modellgröße. Doch in der Praxis ist die Netzwerk-Infrastruktur – insbesondere der Cloud-Router – oft der limitierende Faktor für API-Inferenz. Ein Router, der nicht für…
Warum NVIDIA Container Toolkit? KI- und Deep-Learning-Workloads wie PyTorch oder TensorFlow benötigen massiv parallele Rechenleistung. Eine GPU im Container nutzbar zu machen, ist jedoch nicht trivial, weil der Container-Sandbox standardmäßig keinen Zugriff auf das Host-Gerät hat. Hier kommt das NVIDIA…