20. Juli 2026
RAG-System für Ihr KMU: Wann es sich lohnt — und wann nicht
Bevor Sie 30'000 Franken in ein RAG-System investieren: Fünf Fragen, die Sie zuerst ehrlich beantworten sollten.
Die RAG-Euphorie ist in Schweizer KMU angekommen. Berater zeigen Demos, Software-Anbieter versprechen "Ihr Wissen jederzeit abrufbar", und LinkedIn ist voll mit Erfolgsgeschichten über Mitarbeiter, die plötzlich 60 Prozent weniger Zeit mit Suchen verbringen. Stimmt das? Manchmal ja. Aber in der Mehrzahl der Beratungsmandate, die wir bei digital opua begleiten, investieren Unternehmen in RAG-Systeme, bevor sie die Grundvoraussetzungen für deren Erfolg erfüllen. Das kostet Geld und erzeugt Ernüchterung — beides vermeidbar.
Was RAG ist — in zwei Sätzen
RAG steht für Retrieval-Augmented Generation. Ein Sprachmodell (GPT-4, Claude, Mistral) hat einen Wissens-Cutoff und weiss nichts über Ihr internes Handbuch, Ihre Preisliste oder das Protokoll vom letzten Montag. RAG überbrückt diese Lücke: Vor jeder Antwort durchsucht ein Retrieval-Layer Ihre Dokumente, findet die relevanten Passagen und übergibt sie dem Modell als Kontext. Das Modell antwortet dann auf Basis Ihrer Inhalte — nicht auf Basis veralteter Trainingsdaten.
Ob sich das für Ihr Unternehmen lohnt, hängt von fünf Fragen ab. Beantworten Sie mehr als drei mit Ja, ist RAG ein sinnvoller nächster Schritt. Ansonsten gibt es günstigere Alternativen.
Frage 1: Ändert sich Ihr Wissen regelmässig?
RAG ist die richtige Wahl, wenn Ihre Informationen — Produktkatalog, Richtlinien, Verträge, Preislisten — sich monatlich oder öfter ändern. Ein Sprachmodell lässt sich nicht wöchentlich neu trainieren. RAG erlaubt es, neue Dokumente in die Wissensbasis einzuspeisen, ohne das Modell anzufassen. Wenn Ihr Wissen hingegen stabil ist — ein Regelwerk, das sich kaum ändert — reichen oft einfachere Lösungen: Dokumente direkt als Kontext einreichen, oder ein gut konfiguriertes System-Prompt.
Frage 2: Bleibt Ihr Wissen intern?
Das ist die Datenschutz-Frage. Banken, Anwaltskanzleien, Unternehmen mit nDSG-Pflichten: Wenn Ihre Dokumente nicht in eine externe Cloud dürfen, brauchen Sie entweder eine selbst-gehostete Lösung oder einen Anbieter mit vertraglich zugesicherter EU-Datenhaltung. Hier hat sich Qdrant als Vektordatenbank bewährt — open-source, in Rust geschrieben, selbst hostbar und stabil im Produktionsbetrieb. Wir betreiben unsere interne Wissensdatenbank RAG-Wissen auf Qdrant. Der Setup-Aufwand ist substanziell, aber kontrollierbar — und für EU-Organisationen mit sensitiven Daten die richtige Architekturentscheidung.
Frage 3: Verbringen Mitarbeiter mehr als zwei Stunden pro Woche mit Wissenssuche?
Das ist die ROI-Basis. Ein RAG-System kostet in der einfachen Variante 12'000 bis 30'000 Franken Aufbau, dazu der laufende Betrieb (Grössenordnungen weiter unten). Wenn fünf Mitarbeiter täglich je 30 Minuten Suchzeit einsparen und ihr Stundensatz 80 Franken beträgt, sind das 200 Franken täglich — Break-even in 60 bis 150 Tagen. Wenn die Zeitersparnis kleiner ist, rechnet sich das System schlicht nicht. Machen Sie diesen Schnellrechner bevor Sie in Technologie investieren.
Frage 4: Können Sie Verantwortung für die Qualität Ihrer Dokumente übernehmen?
Das ist die häufigste versteckte Kostenfalle. In unseren eigenen Projekten entfiel regelmässig ein Drittel bis die Hälfte des Gesamtaufwands auf Datenaufbereitung — Dokumente strukturieren, Duplikate entfernen, veraltete Inhalte bereinigen, sinnvolles Chunking definieren. Ein RAG-System antwortet so gut wie Ihre Dokumente. Wer jahrelang Wissen in unstrukturierten Word-Dateien und E-Mail-Anhängen angehäuft hat, muss diesen Berg vor dem RAG-Aufbau abtragen. Das kostet Zeit und Disziplin — mehr als die meisten Projekte budgetieren.
Frage 5: Gibt es jemanden, der das System pflegt?
RAG-Systeme brauchen Betrieb: neue Dokumente einpflegen, Retrieval-Qualität prüfen, Halluzinationen erkennen. Mit unserem Pruefstand-Framework testen wir RAG-Antworten systematisch gegen definierte Erwartungen — weil wir wissen, dass ein System, das nach Go-Live nicht mehr kontrolliert wird, spätestens nach sechs Monaten falsche Antworten produziert, die niemand mehr hinterfragt. Wenn in Ihrem Unternehmen niemand diese Verantwortung tragen kann oder will, planen Sie externen Betrieb ein — oder lassen Sie das System.
Wann kein RAG sinnvoll ist
Es gibt klar definierte Situationen, in denen wir Kunden explizit abraten: - Wenn das Ziel primär Texterstellung ist (Marketingtexte, E-Mails): Hier reicht ein guter System-Prompt. - Wenn Ihr Wissen in weniger als 50 Dokumenten abbildbar ist: Fügen Sie die Dokumente direkt als Kontext ein — kein Vektorspeicher nötig. - Wenn Sie noch keine Klarheit über Ihren Use Case haben: RAG ist kein Allzweckwerkzeug. Beginnen Sie mit einem Use-Case-Workshop, bevor Sie in Infrastruktur investieren. - Wenn das Budget unter 15'000 Franken liegt: Für dieses Budget erhalten Sie einen sauberen Proof-of-Concept — kein produktives System. Seien Sie realistisch.
Unsere Erfahrung aus zwei produktiven Systemen
Wir betreiben zwei eigene RAG-Systeme. RAG-Wissen ist unsere interne Wissensdatenbank, auf die Berater und Entwickler täglich zugreifen. DocMind ist unser RAG-Frontend für private Unternehmensdaten — konzipiert für Organisationen, die Dokumente analysieren wollen, ohne sie an externe Anbieter zu senden, mit Qdrant als Sidecar und Offline-First-Architektur. Was wir aus mehreren Monaten Produktionsbetrieb gelernt haben: Die Qualität des Retrieval entscheidet mehr als die Wahl des Sprachmodells. Wir haben Dutzende Chunking-Strategien getestet. Ein schlechtes Chunking mit GPT-4o ist schlechter als ein gutes Chunking mit einem Open-Source-Modell. Und wir haben — wie im Artikel Weniger ist mehr: warum wir 949 Zeilen aus unserem RAG-System gelöscht haben beschrieben — 949 Zeilen Code gelöscht, nachdem wir erkannt hatten, dass Einfachheit besser retrievet als Cleverness.
Die Kosten-Realität für Schweizer KMU
Die folgenden Zahlen sind keine Marktstudie, sondern unsere Erfahrungswerte aus Beratungsmandaten und dem Betrieb eigener Systeme — als Grössenordnung für die erste Budgetierung, nicht als Offerte. Ein einfaches System — eine Datenquelle, Cloud-Vektordatenbank, Chat-Interface — liegt bei 12'000 bis 30'000 Franken Aufbau. Ein Produktionssystem mit mehreren Quellen, rollenbasiertem Zugriff und API-Anbindung bei 30'000 bis 60'000 Franken. Der laufende Betrieb bewegt sich je nach Abfragevolumen und Modellwahl zwischen einigen hundert und einigen tausend Franken monatlich. Was die meisten Teams unterschätzen, ist der Anteil der Datenvorbereitung. Wer ihn ignoriert, erlebt nach Sprint 3 Kostenüberraschungen — das ist keine Theorie, das ist was wir regelmässig sehen.
Agentic RAG: Für wann?
Ein Wort zur nächsten Stufe. Agentic RAG — RAG mit Multi-Agent-Orchestrierung, Selbstkorrektur und Evidenzprüfung — liefert bei mehrstufigen Fragen bessere Antworten als Standard-RAG, weil das System Zwischenergebnisse prüfen und nachrecherchieren kann. Es kostet dafür ein Mehrfaches an Modellaufrufen pro Frage und ist deutlich aufwändiger zu testen. Belastbare, herstellerunabhängige Vergleichszahlen zum Qualitätsgewinn kennen wir nicht — wer Ihnen eine konkrete Prozentzahl nennt, sollte die Messmethode mitliefern. Unsere Empfehlung: Verzichten Sie auf Agentic RAG in der ersten Iteration. Das lohnt sich erst, wenn Sie an Ihren eigenen Auswertungen sehen, wo Standard-RAG an seine Grenzen stösst — und dann messen Sie den Unterschied an Ihren Fragen, nicht an fremden Benchmarks.
Die fünf Fragen, nochmals kurz
Brauchen Sie wirklich ein RAG-System? Prüfen Sie: Ändert sich Ihr Wissen regelmässig? Muss es intern bleiben? Sparen Sie messbar Zeit ein? Können Sie Ihre Dokumente aufräumen? Haben Sie jemanden für den Betrieb? Drei Ja reichen für den Start. Weniger als drei, und Sie verbrennen Budget für ein System, das Sie in sechs Monaten wieder abschalten. Wenn Sie nach diesem Artikel mehr Fragen als vorher haben, ist das ein gutes Zeichen — die häufigste Fehlinvestition im KI-Bereich ist die Antwort vor der Frage.