Lokale KI mit Ollama und LM Studio: Sprachmodelle auf dem eigenen Rechner

Dieser Beitrag ist ein Überblick auf Grundlage von Anbieterangaben, Dokumentation und öffentlich zugänglichen Berichten, kein benoteter Test aus eigener Hand. Preise und Funktionen ändern sich schnell; maßgeblich sind die Angaben des Anbieters. Benotet wird nur, was wir selbst über Wochen im Einsatz hatten: diese Werkzeuge stehen unter KI-Tools im Vergleich.

Zwei Werkzeuge, ein Prinzip

Beide Programme lösen dasselbe Problem: Ein offenes Sprachmodell wird als Datei heruntergeladen und danach vollständig auf dem eigenen Rechner ausgeführt. Es gibt kein Konto, keine Warteschlange und keine Verbindung zu einem Anbieter, sobald das Modell einmal auf der Festplatte liegt. Unter der Haube nutzen beide die Open-Source-Bibliothek llama.cpp, LM Studio auf Apple-Rechnern zusätzlich Apples MLX-Framework.

Ollama ist ein Kommandozeilenwerkzeug unter MIT-Lizenz für macOS, Windows und Linux. Ein Befehl lädt ein Modell, ein zweiter startet den Dialog, und im Hintergrund läuft ein lokaler Server, dessen Schnittstelle mit dem OpenAI-Format kompatibel ist. Anwendungen, die bislang ChatGPT über die API angesprochen haben, lassen sich so mit wenigen Änderungen auf ein lokales Modell umstellen. Seit 2025 gibt es zusätzlich eine Desktop-Anwendung mit Chatfenster, in die sich Textdateien und PDFs ziehen lassen.

LM Studio geht vom Bildschirm aus: eine grafische Oberfläche mit Modellkatalog, Chatfenster und Einstellungen, in der man Modelle von Hugging Face per Klick lädt und sofort ausprobiert. Auch hier steht ein lokaler Server bereit, nach Anbieterangaben sowohl im OpenAI- als auch im Anthropic-Format. Wer nicht programmiert, kommt mit LM Studio schneller an, wer Abläufe automatisieren will, meist mit Ollama.

Welche Modelle infrage kommen

Der Katalog beider Werkzeuge umfasst die gängigen offenen Modellfamilien: Llama von Meta, Mistral Small von Mistral AI, Gemma von Google, Qwen von Alibaba und DeepSeek. Alle liegen in mehreren Größen vor, angegeben in Milliarden Parametern, und die Größe bestimmt fast alles: Speicherbedarf, Geschwindigkeit und Qualität.

Zur Orientierung, Stand September 2026 und nach den Angaben im Ollama-Katalog: Qwen3 reicht von einer Variante mit 0,6 Milliarden Parametern bis zu 235 Milliarden, die 8B-Version belegt rund 5 GB auf der Platte, die 14B-Version rund 9 GB. Mistral Small mit 24 Milliarden Parametern braucht etwa 14 GB, Gemma 4 gibt es in Stufen von etwa 2 bis 31 Milliarden Parametern, Llama 3.3 mit 70 Milliarden Parametern kommt auf gut 40 GB.

Ein Hinweis zu DeepSeek: Die kleinen Varianten von DeepSeek-R1, die auf Laptops laufen, sind destillierte Modelle auf Basis von Qwen oder Llama. Das eigentliche Modell mit 671 Milliarden Parametern belegt rund 400 GB und ist für normale Arbeitsplatzrechner ohne Bedeutung.

Hardware: Arbeitsspeicher, Grafikkarte, Quantisierung

Die entscheidende Größe ist der Speicher, in den das Modell passen muss: der Grafikspeicher (VRAM) einer Nvidia- oder AMD-Karte, oder auf Apple-Rechnern mit M-Prozessor der gemeinsame Arbeitsspeicher, den CPU und GPU teilen. Passt das Modell hinein, antwortet es flüssig; passt es nicht, rechnet der Prozessor mit, und aus Sekunden werden Minuten.

Damit Modelle überhaupt auf Alltagsrechner passen, werden sie quantisiert, also mit reduzierter Zahlengenauigkeit gespeichert. Die verbreitete 4-Bit-Quantisierung braucht grob ein Viertel des Speichers der Originalfassung, bei geringem Qualitätsverlust. Als Faustregel: Ein Modell mit 7 bis 8 Milliarden Parametern belegt so rund 5 GB, eines mit 14 Milliarden rund 9 GB, eines mit rund 30 Milliarden rund 20 GB, eines mit 70 Milliarden über 40 GB. Dazu kommt Speicher für den Kontext, also für lange Dokumente im Gespräch.

LM Studio empfiehlt nach Anbieterangaben mindestens 16 GB Arbeitsspeicher und unter Windows eine Grafikkarte mit mindestens 4 GB VRAM; Intel-Macs werden nicht mehr unterstützt. In der Praxis heißt das: Ein Büro-Laptop mit 16 GB führt Modelle bis etwa 8 Milliarden Parameter brauchbar aus, ein Mac mit 32 oder 64 GB gemeinsamem Speicher oder ein Rechner mit einer 24-GB-Grafikkarte kommt bis in die Klasse um 30 Milliarden. Darüber beginnt Workstation-Hardware.

Was das gegen ChatGPT und Claude wert ist

Ehrlich gesagt: deutlich weniger, sobald es anspruchsvoll wird. Die Modelle, die auf einem Laptop laufen, sind um Größenordnungen kleiner als die Modelle hinter ChatGPT oder Claude. Bei mehrstufigen Analysen, langem Kontext, komplexem Code oder Aufgaben mit vielen Randbedingungen ist der Abstand im Alltag deutlich spürbar, und kleine Modelle erfinden Fakten häufiger.

Für einen klar umrissenen Teil der Büroarbeit reicht es dennoch: Texte zusammenfassen, E-Mails vorsortieren, Dokumente nach Kategorien einordnen, Stichpunkte in einen ersten Entwurf verwandeln, Fragen zu einem hochgeladenen PDF beantworten. Modelle wie Mistral Small oder Gemma sind nach Anbieterangaben auf Deutsch trainiert; die Qualität ist ordentlich, erreicht aber nicht das Niveau der großen Cloud-Modelle, die wir im Vergleich der KI-Assistenten gegenübergestellt haben.

Der zweite Preis ist Geschwindigkeit. Auf passender Hardware antworten kleine Modelle schnell, auf knapper Hardware deutlich langsamer als jeder Cloud-Dienst. Wer beides braucht, lokale Verarbeitung und Spitzenqualität, muss in Hardware investieren oder die Aufgaben aufteilen.

Kosten und Datenschutz: Was der lokale Betrieb löst und was nicht

Die Software kostet nichts. Ollama steht unter MIT-Lizenz, LM Studio ist nach Anbieterangaben seit Juli 2025 auch für die Nutzung im Unternehmen kostenlos, lediglich Weiterverkauf und Betrieb als Dienst für Dritte sind ausgeschlossen. Beide Anbieter bieten inzwischen optionale Bezahldienste an, Ollama etwa Cloud-Modelle ab rund 20 US-Dollar im Monat, LM Studio eine Unternehmensstufe mit Single-Sign-on. Für den reinen lokalen Betrieb braucht man beides nicht. Die tatsächlichen Kosten stecken in der Hardware und in der Zeit der Person, die das Ganze einrichtet und pflegt.

Der Datenschutzvorteil ist real: Beim lokalen Betrieb verlassen Eingaben und Dokumente den Rechner nicht, beide Anbieter erklären das ausdrücklich. Es gibt keinen Auftragsverarbeiter und damit keinen AV-Vertrag, keine Frage nach dem Verarbeitungsort und keine Trainingsnutzung. Das ist derselbe Grund, aus dem ein lokal betriebenes Stable Diffusion für Bilder mit Personenbezug die sauberste Lösung ist. Achten Sie nur darauf, dass Cloud-Funktionen wie die „-cloud“-Modelle von Ollama abgeschaltet bleiben, sonst ist der Vorteil dahin.

Zwei Dinge löst der lokale Betrieb nicht. Erstens die Verantwortung: Die Verarbeitung gehört weiter ins Verarbeitungsverzeichnis, Zugriffsrechte und Löschfristen müssen intern geregelt werden, und die Kompetenzpflicht des AI Act gilt unabhängig davon, wo das Modell rechnet. Zweitens die Modelllizenzen: Mistral, Qwen und DeepSeek stehen unter Apache-2.0- oder MIT-Lizenz, Llama unter Metas Community-Lizenz mit Namensnennungspflicht und einer Nutzerschwelle, Gemma unter Googles Bedingungen mit einer Liste verbotener Anwendungen. Für Produkte, die auf einem Modell aufbauen, gehört das geprüft. Die übrigen Prüfpunkte stehen in unserem Leitfaden zu KI-Tools und DSGVO.

Für wen sich lokale KI lohnt

Für alle, die mit Daten arbeiten, die den Rechner nicht verlassen dürfen: Kanzleien, Praxen, Steuerberatung, Personalabteilungen, Forschung mit vertraulichem Material. Für Entwicklerteams, die eine KI-Funktion prototypisch bauen, bevor sie einen Anbieter wählen. Und für Betriebe mit vielen gleichförmigen Aufgaben, bei denen die Rechnung eines Cloud-Dienstes schnell wächst, das Sortieren oder Zusammenfassen tausender Dokumente etwa.

Nicht lohnend ist es für alle, die vor allem Spitzenqualität brauchen, keine passende Hardware haben oder niemanden im Haus, der Modelle auswählt, aktualisiert und Fragen beantwortet. Wer europäische Verarbeitung ohne eigenen Betrieb sucht, ist mit Le Chat von Mistral im Bezahltarif oft besser bedient als mit einem unterdimensionierten Laptop. Sinnvoll ist häufig die Mischung: Vertrauliches lokal, Anspruchsvolles ohne Personenbezug in der Cloud.

Kurzfassung: Ollama für Kommandozeile und Automatisierung, LM Studio für den Einstieg per Oberfläche, beide kostenlos. Ab 16 GB Arbeitsspeicher laufen kleine Modelle brauchbar, für mehr braucht es Grafikspeicher. Qualität deutlich unter ChatGPT und Claude, dafür verlassen keine Daten den Rechner.