KI-Rechner Mindestanforderungen: Die perfekte Hardware für lokale KIs

Warum eine lokale KI? Mehr als nur Datenschutz

Cloud-basierte KIs wie ChatGPT sind beeindruckend, aber sie haben einen Haken: Deine Daten verlassen das eigene System. Wer mit sensiblen Dokumenten arbeitet, im Homeoffice datenschutzkritische Prozesse testet oder einfach die volle Kontrolle über das Modell behalten möchte, setzt auf eine lokale KI. Neben dem Datenschutz punkten lokale Modelle mit geringerer Latenz, Offline-Verfügbarkeit und unbegrenzter Nutzung ohne API-Kosten. Der Preis dafür? Die richtige Hardware. Dieser Artikel zeigt dir, welche Komponenten du benötigst, um Large Language Models (LLMs) flüssig auf deinem eigenen Rechner auszuführen – und wo du bei cheep4u.com günstig an passende Technik kommst.

Das Herzstück: VRAM – der Grafischspeicher ist alles

Anders als bei klassischen Anwendungen oder Spielen ist für lokale KIs nicht die reine Rechenleistung der GPU entscheidend, sondern der VRAM (Video-RAM). Ein großes Sprachmodell muss vollständig in den Grafikspeicher geladen werden, sonst werden Teile über den PCIe-Bus in den Arbeitsspeicher ausgelagert – das führt zu drastischen Geschwindigkeitseinbußen. Als Faustregel gilt: Doppelt so viel VRAM, wie die Modellgröße in Gigabyte beträgt, ist eine sichere Basis. Ein Modell mit 7 Milliarden Parametern benötigt in quantisierter Form circa 4–6 GB VRAM, ein 13B-Modell schon 8–10 GB. Für ein 70B-Modell solltest du mindestens 24 GB VRAM einplanen.

Die Quantisierung spielt hierbei eine entscheidende Rolle. Formate wie GGUF oder GPTQ reduzieren die Speicheroccupancy erheblich. Eine 4-Bit-Quantisierung (Q4_K_M) ist der Sweet Spot aus Qualität und Geschwindigkeit – sie halbiert den Speicherbedarf im Vergleich zu 16-Bit-Gleitkommazahlen. Ohne Quantisierung passt ein 13B-Modell oft nicht einmal in eine 24-GB-Karte.

Mindestanforderungen für gängige Modellgrößen

Folgende Übersicht zeigt, was du für typische Open-Source-LLMs wie Llama 3, Mistral oder Phi-3 in der Praxis benötigst – jeweils mit Q4_K_M-Quantisierung und einer annehmbaren Token-Generierungsrate von 10–20 Token pro Sekunde:

• 3B–7B Parameter (z.B. Phi-3-mini, Llama-3-8B): Geeignet ab 6 GB VRAM, empfohlen 8–12 GB. Eine RTX 3060 mit 12 GB reicht hierfür völlig aus. Das ist der perfekte Einstiegspunkt.
• 13B Parameter (z.B. Llama-2-13B, Mistral-7B ist kleiner, aber 13B-Modelle sind beliebt): 10–12 GB VRAM sind das Minimum, besser sind 16 GB (z.B. RTX 4070 Ti Super) oder 24 GB (RTX 3090 / RTX 4090). Damit bleiben auch Kontextfenster von 4k–8k Tokens stabil.
• 30B–34B Parameter (z.B. Yi-34B): Ab 20 GB VRAM zwingend erforderlich. Eine gebrauchte RTX 3090 mit 24 GB ist hier die erste Wahl – sie bietet die beste Preis-Leistung für lokale KIs.
• 70B Parameter (z.B. Llama-3-70B, Qwen-72B): Nur mit 48 GB VRAM oder mehr sinnvoll, also etwa zwei RTX 3090 oder eine RTX 6000 Ada. Alternativ lässt sich das Modell auf die CPU auslagern (siehe späterer Punkt), dann wird aber der Arbeitsspeicher zur Hauptressource.

Achtung: Die reine Anzahl der Parameter sagt nicht alles. Modelle mit langen Kontextfenstern (z.B. 128k Tokens) benötigen zusätzlichen Speicher für Key-Value-Caches – hier gilt: je mehr VRAM, desto besser.

Nicht nur GPU: CPU, RAM und Mainboard im Zusammenspiel

Während die GPU die Hauptlast trägt, darf der Rest des Systems nicht vernachlässigt werden. Die CPU übernimmt die Prompt- und Tokenization-Verarbeitung, kompiliert die Modelldaten und steuert die Verbindung zu Peripherie. Ein moderner Prozessor mit mindestens 6 Kernen ist dafür ausreichend – wichtig ist eine schnelle Verbindung zur GPU über PCIe 4.0 (x16). Ältere Mainboards mit PCIe 3.0 sind meist okay, können aber Token-Sampling („Echo“) erheblich verlangsamen.

Beim RAM gilt: Mindestens 16 GB, empfehlenswert sind 32 GB. Wenn du später größere Modelle über llama.cpp teilweise in den RAM auslagerst (sog. CPU+GPU-Modus), wird der SystemRAM zum Engpass. Dann solltest du auf 64 GB aufrüsten. Beachte: Die RAM-Geschwindigkeit (DDR5-5600 oder DDR4-3600) beeinflusst bei reinem CPU-Betrieb die Inferenzgeschwindigkeit massiv.

Ein weiterer Punkt ist das Netzteil: Eine RTX 3090 zieht unter Last bis zu 350 Watt, ein komplettes System mit High-End-GPU kann problemlos 600–700 Watt benötigen. Achte auf ein Netzteil mit 80 PLUS Gold und genügend PCIe-Power-Anschlüssen – bei nur einer Karte sind 750 Watt ein guter Richtwert, bei zwei Karten mindestens 1000 Watt.

Die besten Grafikkarten für lokale KI (Stand 2025)

NVIDIA ist bei lokalen KI-Projekten weiterhin die erste Wahl, da das CUDA-Ökosystem und Tools wie CUDA, CuBLAS und TensorRT-LLM die mit Abstand beste Performance liefern. AMD-Karten funktionieren mit ROCm inzwischen auch, aber die Kompatibilität ist immer noch frickelig. Hier unsere klaren Empfehlungen:

• Einsteiger (bis 7B/13B): Gebrauchte RTX 3060 mit 12 GB – der ungeschlagene Budget-König. Für ca. 200€ bei cheep4u.com bekommst du eine Karte, die Llama-3-8B flüssig mit etwa 15 Token/s laufen lässt.
• Sweet Spot (13B–34B): Die RTX 3090 mit 24 GB ist die meistdiskutierte KI-Karte überhaupt. Gebraucht für 600–700€ erhältlich, liefert sie doppelt so viel VRAM wie eine RTX 4070 Ti Super und ist nur minimal langsamer als die RTX 4090. Das ist die perfekte Wahl für anspruchsvolle lokale KIs.
• Enthusiast (34B–70B): Die RTX 4090 mit 24 GB bietet die höchste Single-GPU-Performance, ist aber teuer. Wenn du ein 70B-Modell komplett im VRAM halten willst, brauchst du zwei RTX 3090 im NVLink-Verbund – das unterstützen allerdings nur wenige Mainboards und es treibt den Stromverbrauch in die Höhe.

Wichtig: Achte beim Kauf gebrauchter Karten auf die Build-Nummer und testee die Karte vorab mit einem VRAM-Stresstest. cheep4u.com bietet hier ausgewählte, geprüfte Hardware mit Gewährleistung – das kann bei KI-lastigen Workloads einen riesigen Unterschied machen.

Software-Setup: Mit drei Befehlen zur ersten lokalen KI

Die Hardware ist das eine, die Software das andere. Mit Ollama bekommst du in Minuten ein lauffähiges Modell:

1. Installiere Ollama: Besuche ollama.com und lade die Version für dein Betriebssystem herunter. Alternativ unter Linux per Terminal: curl -fsSL https://ollama.com/install.sh | sh
2. Modell herunterladen: Starte ein kompatibles Modell, z.B. ollama run llama3:8b – das lädt automatisch die 8B-Variante und optimiert sie für deine GPU.
3. API nutzen: Ollama startet automatisch einen lokalen Server auf http://localhost:11434. Du kannst die OpenAI-kompatible Schnittstelle direkt in Tools wie Open WebUI oder VSCode einbinden.

Für fortgeschrittene Experimente ist llama.cpp die erste Wahl, da es auf nahezu jeder Hardware läuft. Ein typischer Befehl für die Verwendung eines quantisierten Modells sieht so aus:

./main -m /pfad/zu/modell-Q4_K_M.gguf -p "Erkläre den Unterschied zwischen HTML und Markdown" -n 512 -t 8 --gpu-layers 99

Der Parameter --gpu-layers 99 lädt alle verfügbaren Schichten in die GPU – nur so nutzt du deinen VRAM optimal aus. Wer eine grafische Oberfläche bevorzugt, nutzt LM Studio, das ebenfalls die GGUF-Quantisierung und GPU-Beschleunigung unterstützt.

Speicher im Blick: NVMe-SSD & der Kontext-Cache

Der schnelle Zugriff auf Modelldateien (oft 4–10 GB groß) ist ein unerwarteter Engpass. Eine NVMe-SSD mit PCIe 3.0 oder 4.0 sollte daher selbstverständlich sein, damit Modelle innerhalb weniger Sekunden geladen werden. Bei einer klassischen SATA-SSD kann das Laden eines 70B-Modells bis zu einer Minute dauern, was die Arbeit deutlich zäh macht. Zusätzlich legt Ollama und llama.cpp die Kontext-Caches im SystemRAM ab – je größer der Kontext, desto mehr RAM wird benötigt. Ein 128k-Kontextfenster kann dabei schnell 20 GB RAM belegen.

Praktisches Beispiel: Eine KI für 700€ zusammenstellen

Für dieses Budget bekommst du einen echten KI-spaßigen Rechner. Unser Vorschlag, den du so auch bei cheep4u.com kaufen kannst:

• Prozessor: Ein gebrauchter Ryzen 5 5600 oder Intel i5-11400F (6 Kerne, ~3.5 GHz)
• Mainboard: Ein B550- oder B560-Board mit PCIe 4.0 x16-Slot
• RAM: 32 GB DDR4-3600 (CL16) – mehr Bandbreite hilft beim flüssigen Betrieb
• GPU: Gebrauchte RTX 3090 mit 24 GB – das Herzstück
• Netzteil: 750 Watt 80 Plus Gold
• SSD: 1 TB NVMe – genug Platz für Modelle

Mit dieser Konfiguration laufen 13B-Modelle mit bis zu 40 Token/s und auch 34B-Modelle sind noch nutzbar. Dieses Setup ist die derzeit beste Balance aus Preis, Energieeffizienz und KI-Leistung.

Diese Fehler solltest du vermeiden

• Zu wenig VRAM: Wer nur 8 GB VRAM besitzt, wird bei 13B-Modellen keine Freude haben. Lieber einmal in eine 12-GB-Karte investieren.
• Fehlende CUDA-Unterstützung: Ohne CUDA läuft alles auf CPU – das ist bei 7B-Modellen okay, aber bei 70B-Modellen kaum noch steuerbar.
• Veraltete Treiber: Die neuesten NVIDIA-Treiber inklusive CUDA 12.x verbessern die Performance von LLMs oft um 10–20 Prozent.
• Gebremste PCIe-Schnittstelle: Wenn du zwei GPUs kombinierst, achte darauf, dass dein Board PCIe 4.0 x16 für beide Slots unterstützt. Viele Consumer-Boards verteilen nur 8 Lanes pro Slot, was die Kommunikation zwischen GPUs verlangsamt.

Fazit: Der clevere Weg zur leistungsfähigen KI-Heimanlage

Die Mindestanforderungen für lokale KIs sind klar: Das wichtigste Bauteil ist die GPU mit möglichst viel VRAM. Eine RTX 3060 mit 12 GB ist der perfekte Einstieg, die RTX 3090 mit 24 GB der Alleskönner für anspruchsvollere Modelle. Dazu brauchst du eine schnelle NVMe-SSD, genug RAM und ein Netzteil mit Reserven. Auf cheep4u.com findest du geprüfte Gebrauchthardware und Workstations, die genau für solche Szenarien konfiguriert sind. Schau dich dort in Ruhe um – und starte noch heute dein eigenes KI-Projekt, ganz ohne Cloud und mit voller Kontrolle über deine Daten.