Server-Grafikkarten wie ältere NVIDIA-Tesla-Modelle können gebraucht erstaunlich viel VRAM fürs Geld bieten. Der Haken: Sie wurden nicht für einen normalen Desktop-PC gebaut. Viele Modelle besitzen keine eigene klassische Grafikkartenkühlung, sondern erwarten den starken, gerichteten Luftstrom eines Servers. Was du für…
Lokale KI im Überblick: Drei Bibliotheken für den eigenen Server Die Ausführung von KI-Modellen direkt auf der eigenen Hardware wird für Entwickler immer attraktiver: Datenschutz, keine laufenden API-Kosten und volle Kontrolle über die Infrastruktur sind nur einige Vorteile. Doch welche…
DeepSeek-R1 lokal ausführen – die Ausgangslage DeepSeek-R1 ist ein hochmodernes LLM mit 671 Milliarden Parametern (Mixture of Experts). In dieser Form brauchst du für den Betrieb ein Rechenzentrum. Für den lokalen Einsatz sind die Distill-Varianten interessant, die auf kleineren Qwen-/Llama-Modellen…