DeepSeek-R1 lokal ausführen – die Ausgangslage
DeepSeek-R1 ist ein hochmodernes LLM mit 671 Milliarden Parametern (Mixture of Experts). In dieser Form brauchst du für den Betrieb ein Rechenzentrum. Für den lokalen Einsatz sind die Distill-Varianten interessant, die auf kleineren Qwen-/Llama-Modellen basieren. Wir zeigen dir, welche Hardware du für die verschiedenen Größen wirklich benötigst.
So berechnest du den Speicherbedarf
Der Speicherbedarf eines LLMs hängt von der Parameteranzahl und der Quantisierung ab. Das gängigste Dateiformat ist GGUF mit Quantisierungsstufen wie Q4_K_M, Q5_K_M oder Q8_0. Als Faustregel gilt: Parameterzahl × Quantisierungsbytes ergibt die reine Modellgröße. Bei Q4_K_M sind das etwa 0,56 Byte pro Parameter.
- 7B-Modell: ~ 4,4 GB (plus Kontext-Puffer)
- 14B-Modell: ~ 8,8 GB
- 32B-Modell: ~ 20 GB
- 70B-Modell: ~ 42 GB
Dazu kommen noch KV-Cache für den Kontext und einige GB Overhead. Plane also immer 20–30 % Extra-Speicher ein.
VRAM-Anforderungen für GPU-Inference
Für GPUs ist der VRAM entscheidend, nicht der RAM. Die folgende Übersicht zeigt, was du für die Distill-Modelle mit Q4_K_M jeweils benötigst:
- 7B: ab 8 GB VRAM (z.B. RTX 3050/4060, gebrauchte RTX 2070)
- 14B: ab 16 GB VRAM (z.B. RTX 4080, gebrauchte RTX 3090)
- 32B: ab 24 GB VRAM (z.B. RTX 3090/4090, gebrauchte A6000)
- 70B: erst ab 48 GB VRAM (z.B. zwei RTX 3090, eine A6000 48GB)
Wer eine schwächere GPU hat, kann mit CPU-Inference ausweichen oder das Modell in kleineren Quantisierungen wie Q2_K laden – das geht aber auf Kosten der Qualität.
RAM-Anforderungen für CPU-Inference
Ohne GPU wird das Modell in den normalen RAM geladen. Hier gelten ähnliche Regeln, aber der Arbeitsspeicher ist günstiger. Für eine flüssige Nutzung solltest du mindestens 2–4 GB über der Modellgröße haben, plus Speicher für dein Betriebssystem.
- 7B: 8–12 GB RAM gesamt empfohlen
- 14B: 16–24 GB RAM gesamt empfohlen
- 32B: 32–48 GB RAM gesamt empfohlen
- 70B: 64–96 GB RAM gesamt empfohlen
Die CPU-Inference ist deutlich langsamer als auf einer GPU, reicht aber für Experimente und Textgenerierung mit niedriger Tokenrate aus. Ein Quad-Channel-RAM-Setup und eine schnelle NVMe-SSD sind hier der Schlüssel.
DeepSeek-R1 mit Ollama und llama.cpp ausführen
Am einfachsten startest du mit Ollama. Es kümmert sich um Quantisierung und Hardware-Auswahl. Der Befehl lautet:
ollama run deepseek-r1:7b
Für das 14B-Modell entsprechend:
ollama run deepseek-r1:14b
Alternativ kannst du mit llama.cpp eine GGUF-Datei direkt laden. Nach dem Download der Datei lautet der Befehl:
llama-cli -m deepseek-r1-14b-Q4_K_M.gguf -p "Deine Frage" -n 512
Ollama erkennt automatisch, ob deine GPU genug VRAM hat. Falls nicht, wird auf CPU ausgelagert – das funktioniert, ist aber langsamer.
Was ist mit dem vollen DeepSeek-R1 (671B)?
Das originale Modell benötigt in FP16 etwa 1,3 TB Speicher. Selbst in 8-Bit-Quantisierung sind es noch 670 GB. Dafür brauchst du also eine Server-Maschine mit mehreren High-End-GPUs oder massivem RAM – das ist weder für Privatanwender noch für kleine Offices realistisch. Die Distill-Modelle sind der praktische Weg, um DeepSeek-R1-Technologie lokal zu nutzen.
Fazit: So viel Speicher brauchst du wirklich
Für den Einstieg reicht oft schon ein 7B-Modell mit 8 GB VRAM oder 8 GB RAM aus. Ambitionierte Nutzer greifen zu 14B/32B mit 16–24 GB VRAM. Ein 70B-Modell ist nur mit High-End-Hardware sinnvoll. Wer also auf cheep4u.com nach gebrauchten GPUs oder günstigen Arbeitsspeicher-Upgrades sucht, kann sich an diesen Zahlen orientieren und spart bares Geld.