16. November 2026
RAG-Wissen mit Qdrant: Wie wir Embedding-Modell und Sharding gewählt haben
Ein Collection-Design und ein Embedding-Modell entscheiden, ob ein RAG-System über mehrere Mandanten hinweg skaliert. Unsere Entscheidungen bei RAG-Wissen — mit Begründung.
RAG-Wissen ist unsere interne Wissensdatenbank — ursprünglich gebaut, um Mandats-Wissen über Kundenprojekte hinweg durchsuchbar zu machen, inzwischen auch Grundlage für Wissensabfragen bei einzelnen Kundenmandaten selbst. Zwei Architekturentscheidungen bestimmen, ob ein solches System nach dem dritten Kunden noch wartbar ist, oder ob jeder neue Mandant eine neue Baustelle eröffnet: die Wahl des Embedding-Modells und das Collection-Design in Qdrant, unserer Vektordatenbank. Beide haben wir nicht beim ersten Versuch richtig gemacht.
Die Embedding-Modell-Wahl: bge-m3 statt eines Cloud-Endpunkts
Unsere Inhalte sind durchgehend zweisprachig — Deutsch und Englisch, oft im selben Dokument. Wir setzen seit der zweiten RAG-Wissen-Generation auf BAAI/bge-m3, lokal über Ollama betrieben. Das Modell basiert auf der XLM-RoBERTa-Architektur, verarbeitet laut Modellbeschreibung auf ollama.com/library/bge-m3 Eingaben von kurzen Sätzen bis zu Dokumenten mit bis zu 8192 Token in einem Durchgang und erzeugt 1024-dimensionale Vektoren; die Modellkarte auf Hugging Face (BAAI/bge-m3) nennt Unterstützung für über 100 Sprachen und steht unter MIT-Lizenz. Für unseren Anwendungsfall war entscheidend, dass ein einzelnes Modell Deutsch und Englisch ohne Qualitätsabfall im selben Vektorraum abbildet — ein englisches Embedding-Modell hätte für deutsche Fachbegriffe systematisch schlechtere Trefferqualität geliefert, ein Modellwechsel pro Sprache hätte zwei Vektorräume und doppelte Infrastruktur bedeutet.
Erste Version: eine Collection pro Kunde — und warum das nicht skaliert
Unsere erste Qdrant-Architektur legte für jeden neuen Kunden eine eigene Collection an. Das wirkte zunächst nach der saubersten Isolation: keine Chance, dass eine Abfrage versehentlich Daten eines anderen Mandanten zurückgibt. In der Praxis zeigte sich der Nachteil erst bei Skalierung: Jede neue Collection brauchte eigene Indexparameter, eigenes Monitoring, eigene Backup-Jobs — und ein HNSW-Index pro Collection reserviert Arbeitsspeicher unabhängig von der tatsächlichen Datenmenge. Bei zehn kleinen Mandanten-Collections zahlten wir den Speicher-Overhead von zehn Indizes, für eine Datenmenge, die in einer einzigen Collection kaum ins Gewicht gefallen wäre.
Die Korrektur: Payload-Partitionierung statt Collection-pro-Mandant
Qdrants eigene Dokumentation zur Multitenancy empfiehlt für genau dieses Problem eine einzelne Collection mit Payload-basierter Partitionierung: ein Keyword-Payload-Index mit der Option `is_tenant=true` auf einem Mandanten-Feld sorgt dafür, dass Punkte desselben Mandanten physisch zusammen gespeichert werden und Abfragen effizient danach filtern können (Quelle: qdrant.tech/documentation/guides/multitenancy). Nach der Umstellung lief die Mandantentrennung weiterhin zuverlässig — durchgesetzt über einen Payload-Filter, der in jeder Query, jedem Update und jedem Delete mitgeführt werden muss, nicht optional. Das ist der Preis dieses Modells: Die Isolation liegt jetzt in der Anwendungslogik, nicht mehr automatisch in der Collection-Grenze. Wer diesen Filter in einer einzigen Codepfad vergisst, hat ein Datenleck zwischen Mandanten — deshalb kapseln wir den Zugriff ausschliesslich über eine interne Query-Schicht, die den Tenant-Filter zentral erzwingt, statt ihn an jeder Aufrufstelle neu zu setzen.
Skalierung über reine Trennung hinaus: Tiered Multitenancy
Für die grössten Mandanten reicht Payload-Filterung allein irgendwann nicht mehr — ihre Abfragen sollen nicht mit denen kleinerer Mandanten um dieselben Shard-Ressourcen konkurrieren. Seit Qdrant 1.16 lässt sich das direkt in einer Collection lösen: kleine Mandanten teilen sich einen Fallback-Shard, grosse Mandanten erhalten eigene, dedizierte Shards — konfiguriert über Custom Sharding, das Abfragen gezielt auf eine Shard-Gruppe lenkt (Quelle: qdrant.tech/documentation/production-operations/multitenant-search). Für uns heisst das: Neue, kleine Kundenprojekte starten im gemeinsamen Fallback-Shard ohne zusätzlichen Konfigurationsaufwand. Wächst ein Mandant – etwa weil ein Kunde seine komplette interne Dokumentation einspeist – verschieben wir ihn gezielt auf einen eigenen Shard, ohne die Collection-Struktur für alle anderen anzufassen.
Was wir falsch eingeschätzt hatten
Zwei Annahmen aus der ersten Version haben sich nicht bestätigt. Erstens dachten wir, Collection-pro-Mandant sei der sicherere Weg, um einen Datenleck zwischen Kunden auszuschliessen — tatsächlich ist eine zentral erzwungene Query-Schicht mit Payload-Filter genauso sicher, aber deutlich günstiger im Betrieb. Zweitens unterschätzten wir den Aufwand eines Embedding-Modellwechsels: Ein neues Modell bedeutet nicht nur neue Berechnungen, sondern das vollständige Neu-Einbetten aller historischen Dokumente, weil alte und neue Vektoren nicht im selben Raum vergleichbar sind. Seit wir mit bge-m3 auf ein Modell mit stabiler, aktiv gepflegter Versionierung gesetzt haben, planen wir Modellwechsel bewusst als eigenes Projekt mit Re-Indexierungsfenster — nicht als Nebeneffekt eines Dependency-Updates.
Häufig gestellte Fragen
Lohnt sich Payload-Partitionierung schon für zwei oder drei Mandanten? Für die reine Trennung kaum — der Vorteil zeigt sich erst, wenn die Zahl der Collections den Betriebsaufwand treibt, erfahrungsgemäss ab einer niedrigen zweistelligen Mandantenzahl. Brauchen wirklich alle RAG-Systeme ein mehrsprachiges Embedding-Modell? Nein — wer ausschliesslich einsprachige Inhalte verarbeitet, bekommt mit einem spezialisierten einsprachigen Modell oft bessere Trefferqualität als mit einem multilingualen Allrounder wie bge-m3. Ist Qdrant für jede RAG-Grössenordnung die richtige Wahl? Für kleine, einmalige Dokumentenmengen ist der Betriebsaufwand einer eigenen Vektordatenbank oft nicht gerechtfertigt — dort lohnt sich der Blick auf einfachere Lösungen, bevor man überhaupt sharded.
Die zwei Entscheidungen, die RAG-Wissen über mehrere Mandanten hinweg wartbar halten: ein mehrsprachiges Embedding-Modell mit stabiler Versionierung statt eines Cloud-Endpunkts pro Sprache, und Payload-Partitionierung statt einer Collection pro Kunde, ergänzt um Tiered Multitenancy für die grossen Fälle. Bei digital opua GmbH bringen wir diese Entscheidungen direkt in unsere RAG-Beratung ein — als Architekturfragen, die vor dem ersten Piloten geklärt werden sollten, nicht danach.
Quellen: Ollama Model Library, «bge-m3» (ollama.com/library/bge-m3) — Hugging Face Modellkarte, BAAI/bge-m3 (huggingface.co/BAAI/bge-m3) — Qdrant Documentation, «Configure Multitenancy» (qdrant.tech/documentation/guides/multitenancy) — Qdrant Documentation, «Multitenant Search» (qdrant.tech/documentation/production-operations/multitenant-search)
Weiterlesen
- DocMind: Warum vertrauliche Dokumente unser Netz nie verlassenDocMind verarbeitet vertrauliche Firmendokumente vollständig offline. Die Architektur dahinter — und warum Sch…
- Braucht Marketing ein eigenes Data Warehouse? Meistens nicht — aber Zugang zum eigenen WissenAgenturen empfehlen derzeit auffällig oft ein «Marketing Data Warehouse». Was dabei entsteht, ist meistens ein…
- Die Schweizer KI-Landschaft 2026: Weit verbreitet, aber selten strukturiertSechs von zehn Schweizer Firmen nutzen KI bereits, die meisten punktuell. Was die UBS-Umfrage und der neue Swi…