20. Juli 2026
Lokale LLMs für KMU: Wann lohnt sich Ollama, Mistral oder Llama wirklich?
Lokale KI-Modelle versprechen Datenschutz und Kostenersparnis. Wir zeigen, ab wann sich der Betrieb eigener LLMs für Schweizer KMU wirklich rechnet.
Lokale LLMs — die ehrliche Antwort lautet: Es kommt nicht drauf an, wer Sie sind, sondern wieviel Tokens Sie verarbeiten.
Die Frage «Sollten wir KI-Modelle lokal betreiben?» taucht in fast jedem Beratungsmandat auf. Die Antwort, die wir nach einem Jahr Arbeit mit Mingly, DocMind und RAG-Wissen geben, ist unpopulär einfach: Lokale LLMs lohnen sich für KMU unter drei klar definierten Bedingungen — und unter keinen anderen.
Was «lokal» konkret bedeutet
Wenn wir von lokalen LLMs sprechen, meinen wir Open-Source-Modelle (Llama 3, Mistral Small, Qwen, DeepSeek) die Sie mit einem Tool wie Ollama auf eigener Hardware oder einem eigenen Cloud-Server betreiben. Die Inferenz läuft auf Ihrer Infrastruktur, Ihre Daten verlassen das Netzwerk nicht. Das klingt nach dem perfekten Datenschutz-Argument — und stimmt oft auch. Aber der Preis dafür ist real.
Bedingung 1: Ihr Token-Volumen rechtfertigt eigene Hardware
Das ist der klarste wirtschaftliche Auslöser — und der am häufigsten falsch gerechnete. Die Anschaffung ist dabei der kleinere Posten: Eine RTX 4090 ist in der Schweiz ab rund CHF 1'620 zu haben, die Nachfolgerin RTX 5090 ab rund CHF 3'300 (toppreise.ch, Abruf 20. Juli 2026). Dazu kommen Strom, Gehäuse und Ersatzteile — und der eigentliche Kostenblock, der Betrieb. Was wir bewusst nicht liefern, ist eine Break-Even-Zahl auf den Franken genau. Der Durchsatz eines lokalen Modells hängt an Quantisierung, Kontextlänge, Batch-Grösse und der Zahl paralleler Anfragen. Die Tokens-pro-Sekunde-Werte, die dazu kursieren, stammen fast durchwegs aus Marketing-Beiträgen von GPU-Hostern, die weder Rohdaten noch Methodik offenlegen. Wir haben für diesen Artikel gezielt nach reproduzierbaren Messungen für Modelle der 24-Milliarden-Klasse auf einer RTX 4090 gesucht und keine gefunden, die wir zitieren möchten. Wer Ihnen hier eine exakte Amortisationsdauer nennt, rechnet mit fremden Annahmen. Die belastbare Vorgehensweise ist unspektakulär: Lesen Sie Ihre tatsächlichen Token-Zahlen aus der Abrechnung Ihres heutigen Anbieters ab, rechnen Sie die Jahressumme hoch und stellen Sie ihr Hardware plus Betriebsaufwand gegenüber. Erst diese Rechnung mit Ihren Zahlen ist eine Entscheidungsgrundlage. Unsere Beobachtung aus Mandaten: Bei KMU mit 5–50 Mitarbeitenden liegt die Cloud-Rechnung meist im vierstelligen Bereich pro Jahr — und damit deutlich unter dem, was eigene Hardware samt Betreuung kostet.
Bedingung 2: Ihre Daten dürfen das Haus nicht verlassen
Das nDSG (Neues Datenschutzgesetz, in Kraft seit September 2023) und — für DACH-Unternehmen mit EU-Kundschaft — die DSGVO verlangen Transparenz darüber, wo Personendaten verarbeitet werden. Die Eidgenössische Datenschutzbehörde (EDÖB) hat klargestellt: «Das geltende Datenschutzgesetz ist auf KI-gestützte Datenbearbeitungen direkt anwendbar» (edoeb.admin.ch, 2025). Konkret bedeutet das: Für hochsensible Daten — Patientenakten, Anwaltsmandanten, Personalakten — ergibt ein lokales Modell regulatorischen Sinn. Der Auftragsverarbeiter-Vertrag, den OpenAI oder Anthropic anbieten, ist juristisch solide, aber manche Branchen wollen schlicht keine Drittländer-Übermittlung — auch wenn sie vertraglich abgesichert ist. Unser DocMind-Produkt ist exakt für diesen Use Case gebaut: RAG auf privaten Dokumenten, Qdrant-Sidecar auf Ihrem Server, keine Token verlässt die Infrastruktur.
Bedingung 3: Sie haben oder planen MLOps-Kapazität
Das ist die Bedingung, die am häufigsten unterschätzt wird. Ollama zu installieren dauert 10 Minuten. Ollama produktiv zu betreiben — mit Monitoring, Model-Updates, Fehlerbehandlung bei parallelen Anfragen, GPU-Überwachung und Backup-Strategie — ist eine dauerhafte Rolle, kein Projekt mit Enddatum. Wir haben das bei RAG-Wissen selbst erlebt: Der initiale Betrieb war einfach. Die laufende Maintenance — neue Modellversionen evaluieren, Quantisierungen vergleichen, Hardware-Ausfälle managen — ist echter Aufwand. Für Firmen ohne dediziertes MLOps-Team wird das zum wunden Punkt.
Der Entscheidungsbaum in drei Fragen
- Frage 1: Übersteigt Ihre hochgerechnete Jahresrechnung für Cloud-APIs die Summe aus Hardware, Strom und Betreuungsaufwand? (Mit Ihren Zahlen gerechnet, nicht mit fremden.) - Frage 2: Dürfen Ihre Daten aus regulatorischen oder Compliance-Gründen das Haus nicht verlassen — auch nicht an Vertragspartner in Drittstaaten? - Frage 3: Haben Sie eine Person (intern oder extern), die den Betrieb dauerhaft verantwortet? Wenn Sie alle drei Fragen mit Ja beantworten: Starten Sie mit Ollama und einem Modell der Mistral-Small- oder Qwen3.5-Klasse auf einer Karte mit ausreichend VRAM. Das ist der pragmatische Einstieg. Wenn Sie eine oder zwei Fragen mit Nein beantworten: Bleiben Sie bei Cloud-APIs, schliessen Sie einen soliden AVV ab, und investieren Sie die gesparte Betriebszeit in Use-Case-Entwicklung.
Welche Modelle funktionieren für KMU-Use-Cases tatsächlich?
Für alltägliche Aufgaben — Zusammenfassungen, E-Mail-Entwürfe, Code-Completion, Q&A auf internen Dokumenten — sind offene Modelle brauchbar geworden. Die Lücke zu den Cloud-Flaggschiffen zeigt sich bei komplexem mehrstufigem Reasoning. Eine seriöse Prozentzahl für «wie viel Prozent von Modell X» gibt es nicht: Solche Angaben hängen vollständig vom gewählten Benchmark ab, und die für Ihren Anwendungsfall relevante Messung ist die an Ihren eigenen Fragen. Die folgenden Grössenangaben stammen aus der Ollama-Modellbibliothek (Abruf 20. Juli 2026) und beziehen sich auf die übliche 4-Bit-Quantisierung Q4_K_M, sofern nicht anders vermerkt: - Mistral Small 3.2 (24B): Der Allrounder — rund 15 GB Download, braucht damit eine Karte mit 24 GB VRAM. Explizit mehrsprachig, gut für Agentic-Workflows und Function-Calling. - Qwen3.5 (9B): Rund 6.6 GB, läuft auf 8–12 GB VRAM und damit auf Consumer-Hardware der Mittelklasse. Der pragmatische Einstieg. - Qwen3.6 (27B): Die aktuellste offen gewichtete Qwen-Generation (Apache 2.0). In q8_0 rund 30 GB, in voller bf16-Präzision 56 GB. - Llama 3.3 (70B): Rund 43 GB und damit auf einer 48-GB-Karte lauffähig. Meta hat mit Llama 4 (Scout/Maverick) nachgelegt; die VRAM-Angaben dazu gehen in den verfügbaren Quellen weit auseinander, weshalb wir hier keine nennen. - Gemma 3 (4B/12B): 3.3 GB beziehungsweise 8.1 GB, von Google für über 140 Sprachen ausgelegt — die sparsamste Option für einfache Aufgaben. Eine Anmerkung zur Sorgfalt, weil sie in dieser Materie den Unterschied macht: Die oft zitierten «4.1 GB für Mistral Small» sind falsch — diese Zahl gehört zum älteren, deutlich kleineren Mistral 7B. Wer danach seine Hardware dimensioniert, kauft eine Karte, auf der das Modell nicht läuft. Für unser Mingly-Produkt (Multi-LLM Desktop App) haben wir ein lokales Modell als Fallback eingebaut — für Offline-Szenarien und datenschutzsensible Kunden, die Cloud-Calls aktiv abschalten wollen.
Was Cloud-APIs besser können — und lange noch besser können werden
Seien Sie ehrlich: Die aktuellen Cloud-Flaggschiffe — GPT-5.6 bei OpenAI, Claude Sonnet 5 und Opus 4.8 bei Anthropic, Gemini 3.1 Pro bei Google — kosten bei moderatem Volumen weniger als lokale Infrastruktur, sobald Sie Personalkosten einrechnen. Die Anbieter investieren Milliarden in Inference-Optimierung. Ein einzelnes KMU kann das nicht replizieren. Wo Cloud-Modelle klar führen: Reasoning, Multimodalität (Vision, Audio), sehr langer Kontext und — entscheidend — das Tempo bei Modellwechseln. Genau dieses Tempo ist der unterschätzte Betriebsaufwand auf der lokalen Seite: Allein zwischen Frühjahr 2025 und Sommer 2026 ist Qwen von Version 2.5 über 3, 3.5 auf 3.6 gesprungen und Meta von Llama 3.3 auf Llama 4. Jede dieser Generationen wollen Sie evaluieren, quantisieren, testen und deployen — sonst betreiben Sie in zwei Jahren ein Modell, das niemand mehr empfiehlt. Bei Cloud-APIs erscheint das in Ihrer Rechnung als nichts — der Provider macht das für Sie.
Unsere Empfehlung für Schweizer KMU 2026
Starten Sie mit Cloud-APIs (Anthropic Claude oder OpenAI), schliessen Sie einen AVV ab, und klassifizieren Sie Ihre Daten nach Schutzbedarf. Für den Grossteil der KMU-Use-Cases ist das die richtige Antwort — nicht, weil lokale LLMs schlecht sind, sondern weil der operative Aufwand die Vorteile überwiegt, solange das Volumen unter der Schwelle liegt. Wenn Sie in 12–18 Monaten an die Token-Volumen-Grenze stossen oder ein Use Case konkret keine Drittlanddaten-Übermittlung erlaubt: Dann ist Ollama mit Mistral oder Qwen der richtige nächste Schritt. Gerne begleiten wir diesen Evaluations-Prozess — unser Beratungsformat «KI-Strategie & Use-Case-Priorisierung» ist genau dafür gebaut.