Warum Ihr RAG-System in der Produktion immer wieder scheitert

Ein Legal-Team bei einer großen europäischen Bank hat acht Monate damit verbracht, ein Retrieval-Augmented-Generation-System aufzubauen, mit dem Analysten interne Regulierungsdokumente abfragen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen. Die Demo war überzeugend. In der Produktion haben die Analysten die Nutzung innerhalb von sechs Wochen eingestellt. Das Modell lieferte laufend plausibel klingende Antworten, die die falsche Policy-Version zitierten, jurisdiktionsspezifische Klauseln übersahen und gelegentlich Inhalte aus zwei separaten Dokumenten vermischten, als wären sie eines. Das zugrunde liegende Sprachmodell war in Ordnung. Das Problem lag im Retrieval-Layer.

Dieses Muster ist inzwischen so verbreitet, dass es in Enterprise-AI-Teams einen Namen hat: „Demo-to-Deployment Decay“. Die Architektur, die im kontrollierten Umfeld glänzt, bricht still zusammen, sobald sie auf die Unordnung echten Organisationswissens trifft.

Was in Enterprise RAG tatsächlich schiefgeht

Die Grundidee von RAG ist einfach: Statt sich vollständig darauf zu verlassen, was ein LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen → während des Trainings memoriert hat, rufen Sie zur Abfragezeit relevante Dokumente ab und geben sie als Kontext mit. Das reduziert Halluzinationen, hält Antworten an aktuellen Informationen verankert und vermeidet die Kosten für das Fine-TuningFine-TuningFine-tuning adapts a pre-trained model to a specific task or domain by continuing training on a smaller, targeted dataset, improving accuracy and style for that use case.Vollständige Definition ansehen → großererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → Modelle auf proprietären Daten. Auf dem Papier löst das echte Probleme.

In der Praxis konzentrieren sich die meisten Fehler an drei Stellen, die mit dem LLM selbst wenig zu tun haben.

Die Retrieval-Qualität verschlechtert sich mit der Skalierung

Der Standardansatz nutzt dichte Vektor-Embeddings, um semantisch ähnliche Chunks zu finden. Das funktioniert gut, wenn Ihr Korpus sauber, einheitlich formatiert und klein genug ist, dass Cosine Similarity zuverlässig die richtige Passage nach oben bringt. Dokumentenbestände in Unternehmen sind nichts davon. Finanzberichte, interne Wikis, SharePoint-Archive und Confluence-Spaces sind in unterschiedlichen Stilen und auf unterschiedlichen Abstraktionsebenen geschrieben und enthalten oft widersprüchliche oder veraltete Informationen. Eine Abfrage zu „aktuellen Eigenkapitalanforderungen“ kann ein Policy-Brief von 2019 höher ranken als das Update von 2025, weil das ältere Dokument mehr der exakten Terminologie verwendet.

Hybrid Retrieval, also die Kombination aus dichter semantischer Suche und sparsen keyword-basierten Methoden wie BM25, adressiert einen Teil davon. Cohere und Unternehmen wie Weaviate (ein Anbieter von Vektordatenbanken, was bei der Bewertung ihrer veröffentlichten Benchmarks zu beachten ist) haben deutliche Genauigkeitsgewinne durch hybride Ansätze dokumentiert. Aber Hybrid Retrieval erhöht die Tuning-Komplexität, und die meisten Teams unterschätzen, wie viel domänenspezifisches Prompt EngineeringPrompt EngineeringPrompt engineering is the practice of designing and refining text inputs to guide large language models toward accurate, relevant, and reliable outputs.Vollständige Definition ansehen → nötig ist, damit der abgerufene Kontext tatsächlich nutzbar wird.

Die Chunking-Strategie wird unterschätzt

Wie Sie Dokumente vor der Indexierung aufteilen, macht einen enormen Unterschied. Chunking mit fixer Zeichenlänge, der Standard in den meisten RAG-Tutorials und Starter-Libraries, zerstört die logische Struktur von Dokumenten. Ein Chunk kann mitten im Satz beginnen, eine Tabelle durchschneiden oder eine regulatorische Anforderung von ihrer Ausnahmeklausel trennen. Das Modell versucht dann, über strukturell zerbrochenen Input zu schlussfolgern.

Contextual Chunking, bei dem die Grenzen Überschriften, Absätze und semantische Einheiten respektieren, liefert merklich besseres Retrieval. Manche Teams gehen weiter mit „Late Chunking“ oder Parent-Document Retrieval, wo kleine Chunks für die Suche indexiert werden, dem Modell aber der umgebende größere Kontext übergeben wird. Das ist keine neue Idee, fehlt aber in den meisten Produktions-Deployments, weil es bewusste Dokumentenvorverarbeitung statt Default-PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen →-Einstellungen erfordert.

Knowledge-Graph-Integration ist die Richtung, in die ernsthafte Deployments gehen

In Domänen mit strukturierten Beziehungen, etwa Supply-Chain-Daten, Compliance-Hierarchien oder Produktkatalogen, übersieht reines Vektor-Retrieval relevante Entitätsbeziehungen. GraphRAG, ein Ansatz, zu dem Microsoft Research Ende 2024 publiziert hat, kombiniert Knowledge Graphs mit klassischem Retrieval, um das Schlussfolgern über vernetzte Entitäten zu verbessern. Frühe Anwender in Pharma und Financial Services berichten von besserer Genauigkeit bei Multi-Hop-Fragen, deren Antwort zwei oder mehr zusammenhängende Fakten über Dokumente hinweg verknüpfen muss. Aufbau und Pflege des Graphen bedeuten erheblichen Vorabaufwand, aber beim richtigen Use Case rechtfertigen die Präzisionsgewinne das.

Was das für Teams bedeutet, die RAG-Systeme bauen oder einkaufen

Der Enterprise-AI-Markt 2026 ist überflutet mit RAG-nahen Produkten: vertikalspezifische Tools von Glean, Guru und dutzenden anderen, RAG-Features auf Plattformebene direkt in Microsoft Copilot und Google Workspace, sowie Open-Source-Orchestrierungs-Frameworks wie LlamaIndex und LangChain. Jeder Anbieter verspricht „intelligentes Dokumentenverständnis“. Die meisten teilen die oben beschriebenen Schwachstellen, auch wenn ihr Marketing das nicht tut.

Für Teams, die solche Systeme evaluieren oder bereits betreiben, sind ein paar Denkverschiebungen relevant.

Die Evaluationsmetriken müssen sich ändern. Die meisten Teams messen, ob das Modell eine Antwort liefert. Messen sollten sie, ob die Antwort im abgerufenen Kontext verankert ist und ob der abgerufene Kontext überhaupt der richtige war. Retrieval-Genauigkeit und Generierungs-Genauigkeit als getrennte Metriken zu führen, zeigt, wo der Fehler wirklich sitzt. Tools wie RAGAS (ein Open-Source-Evaluationsframework) bieten einen strukturierten Ausgangspunkt.

Document Governance ist heute ein Problem der AI-Infrastruktur. Veraltete Dokumente, doppelte Versionen und inkonsistente Metadaten sind nicht bloß Ärgernisse des Informationsmanagements. Sie verschlechtern die RAG-Performance direkt. Teams, die vor dem Deployment in die Bereinigung und Verschlagwortung ihrer Knowledge Base investieren, erzielen messbar bessere Ergebnisse als solche, die davon ausgehen, das Modell werde es schon richten.

Das Argument „die Context Windows werden größer, also wird RAG irrelevant“ kursiert weiter und bleibt weiter falsch. Ja, Anthropics Claude und Googles Gemini unterstützen inzwischen Context Windows von einer Million TokensTokensA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen → und mehr. Eine ganze Knowledge Base in einen Prompt zu stopfen, ist in der Skalierung weiterhin prohibitiv teuer, bringt bei großen Korpora eigene Retrieval-by-Attention-Probleme mit sich und hilft bei der Aktualität von Dokumenten überhaupt nicht. RAG verschwindet nicht, es wird ausgefeilter.

Was Sie damit tun

• Prüfen Sie Ihre Chunking-Strategie, bevor Sie irgendetwas anderes anfassen. Wenn Ihr Default-Setup Chunks mit fixer Größe verwendet, bringt diese einzige Änderung die unmittelbarste Verbesserung.
• Bauen Sie getrennte Evaluations-Pipelines für Retrieval und Generierung. Wenn Sie heute nur eine Sache messen können, messen Sie den Retrieval-Recall an einer Stichprobe echter User-Queries.
• Behandeln Sie Dokumentenqualität als Voraussetzung, nicht als Nachgedanken. Ein RAG-System ist nur so gut wie der Korpus, den es durchsucht.
• Wenn ein Anbieter Ihnen eine Demo zeigt, fragen Sie konkret, wie der Testkorpus aussah, wie er gechunkt wurde und welche Retrieval-Methode zum Einsatz kam. Demo-Korpora sind fast immer sauberer als Produktionsdaten.
• Für Domänen mit reichen Entitätsbeziehungen: Nehmen Sie GraphRAG in Ihre Evaluations-Roadmap für 2026 auf, aber seien Sie ehrlich zu den Kosten der Graph-Pflege.

Die Teams, die 2026 konstant Wert aus RAG ziehen, nutzen keine grundlegend anderen Modelle. Sie investieren sorgfältiger in die Infrastruktur rund um das Retrieval: sauberere Daten, klügeres Chunking, ehrliche Evaluation. Das LLM am Ende der Pipeline ist oft das kleinste Problem.