Agentic RAG: Retrieval innerhalb der Agent-Loop

Fragen Sie einen Chatbot „Kann ein Contractor internationale Flüge abrechnen?", dann greift einfaches Retrieval die drei Textabschnitte, die Ihrer Frage am ähnlichsten sehen, packt sie in den Prompt und antwortet. Wenn die eigentliche Regel in einem Abschnitt „Contractor Travel" steht, in dem das Wort „expense" nie vorkommt, erhalten Sie eine selbstsichere, falsche Antwort.

Agentic RAGRAGVerfahren, mit dem ein KI-Modell aus Ihren eigenen Dokumenten antwortet, indem es relevante Passagen abruft, bevor es eine Antwort erzeugt.Vollständige Definition ansehen → löst das, indem die KI wie ein Researcher arbeitet und nicht wie ein Automat. Sie sucht, liest, was zurückkommt, merkt, dass die Antwort dünn ist, und sucht erneut mit besseren Begriffen. Dieselbe 500-seitige Policy-Bibliothek. Sehr unterschiedliches Ergebnis.

Zuerst das Vokabular

RAG steht für Retrieval-Augmented Generation. Im Klartext: Bevor die KI antwortet, schlägt sie in Ihren Dokumenten nach und nutzt, was sie findet. So bleiben Antworten in Ihren tatsächlichen Inhalten verankert statt im Gedächtnis des Modells.

Retrieval heißt hier: Suche in einer Vektordatenbank, einem Speicher, in dem Ihre Dokumente in Passagen zerlegt und nach Bedeutung indexiert sind, sodass eine Suche nach „Erstattung" auch eine Passage über „Kostenrückzahlung" hervorbringt.

One-shot RAG führt genau eine Suche aus und antwortet dann. Agentic RAG setzt das Retrieval in eine Loop, sodass die KI mehrfach suchen und selbst entscheiden kann, wann sie genug hat.

One-shot RAG: schnell, günstig, manchmal falsch

Hier der klassische Ablauf für die Contractor-Frage:

1. Die Frage in eine Suche umwandeln.
2. Die 3 bis 5 besten passenden Passagen abrufen.
3. Sie dem Modell übergeben.
4. Modell antwortet.

Das funktioniert gut, wenn die Antwort an einer offensichtlichen Stelle steht. „Wie hoch ist unsere PTO-Anspruchsrate?" steht fast immer in einem Absatz. Eine Suche findet es. Fertig. Ein Modellaufruf, geringe Kosten, schnell.

Das Problem sind Fragen, die über mehrere Abschnitte reichen. Unsere Contractor-Frage braucht eigentlich drei Fakten:

• Sind Contractor überhaupt reisekostenerstattungsberechtigt?
• Welche Regeln gelten für internationale Reisen?
• Gibt es eine Pflicht zur Vorabgenehmigung?

Das kann in drei verschiedenen Kapiteln stehen. Eine einzige Suche, optimiert auf „contractor expense international flights", liefert vielleicht zwei relevante Passagen und eine über Kilometerpauschalen im Inland. Das Modell antwortet auf Basis unvollständiger Belege und klingt dabei überzeugt.

Agentic RAG: Die KI gräbt weiter

Geben Sie dem Modell jetzt ein Tool, das es aufrufen kann: eine Funktion search_policies. Ein Tool ist einfach eine Aktion, die das Modell auslösen darf, etwa eine Suche starten und Ergebnisse zurückbekommen. Entscheidend: Das Modell wählt selbst, *wann* und *was* es sucht, und es kann das mehrfach tun.

Hier dieselbe Contractor-Frage, agentic:

1. Suche: „contractor travel reimbursement eligibility." Findet: Contractor sind berechtigt, wenn die Reise vorab genehmigt ist.
2. Lesen und Lücke erkennen: Berechtigung ist bestätigt, aber noch nichts zu internationalen Regeln.
3. Erneute Suche: „international flights travel policy limits." Findet: Internationale Reisen über 2.000 $ brauchen die Freigabe eines VPVPEine klare Aussage darüber, welchen Nutzen Ihr Produkt liefert, welche Probleme es löst und warum Kunden sich für Sie und nicht für Alternativen entscheiden sollten.Vollständige Definition ansehen →.
4. Erneute Suche: „pre-approval process contractor." Findet das Genehmigungsformular und die Fristen.
5. Antwort: „Ja, unter zwei Bedingungen..." mit Verweis auf alle drei Passagen.

Die KI hat entschieden, dass sie drei Abfragen braucht. Niemand hat das hart codiert. Sie hat die Zwischenergebnisse gelesen und als unzureichend beurteilt. Genau um dieses Urteil geht es.

So sieht die Loop aus

Das Muster ist providerneutral. Jedes große Agent-SDK (OpenAI Agents SDK, Claude Agent SDK, Googles ADK) implementiert dieselbe Form: dem Modell ein Tool geben, es das Tool aufrufen lassen, Ergebnisse zurückspeisen, wiederholen, bis es aufhört. Die genaue Syntax finden Sie in den Provider-Deep-Dive-Blöcken. Die Kernidee:

tools = [{
    "name": "search_policies",
    "description": "Search the company policy library. Returns top passages.",
    "parameters": {"query": "string"}
}]

messages = [{"role": "user", "content": "Can a contractor expense international flights?"}]

for step in range(5):  # Loop begrenzen, damit sie nicht endlos läuft
    response = model.generate(messages, tools=tools)

    if response.tool_call:
        results = search_policies(response.tool_call.query)   # Ihre Vektor-DB
        messages.append(response)
        messages.append({"role": "tool", "content": results})
        # erneut durchlaufen: das Modell liest die Ergebnisse und entscheidet über den nächsten Schritt
    else:
        print(response.text)   # das Modell hat sich für eine Antwort entschieden, wir sind fertig
        break

Lesen Sie die Loop wörtlich: Das Modell bittet entweder um eine Suche oder gibt eine endgültige Antwort. Sucht es, führen wir die Suche aus, geben die Ergebnisse zurück und gehen erneut durch. Das range(5) ist eine Sicherheitsgrenze, damit ein verwirrter Agent nicht endlos sucht.

Wenn Sie vor der Agent-Loop eine solide, herstellerneutrale Einführung in RAG-Konzepte wollen: Die Hugging Face RAG-Dokumentation ist kostenlos und verständlich.

Wann die zusätzliche Loop sich lohnt

Die Loop ist nicht kostenlos. Jede Suche und jeder Modellaufruf kosten Zeit und Geld. Drei Runden kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen aus einer Antwort in 2 Sekunden für einen Cent eine Antwort in 8 Sekunden für vier Cent machen. Multipliziert über tausende Fragen pro Tag fällt das ins Gewicht.

Nutzen Sie diese grobe Orientierung.

Greifen Sie zu Agentic RAG, wenn:

• Die Antwort mehrere Abschnitte umfasst. Policy-Fragen, Rechtsfragen und „Vergleiche A mit B"-Fragen tun das meist.
• Die Wortwahl selten übereinstimmt. Nutzer sagen „Flüge abrechnen", das Dokument sagt „erstattungsfähige Flugreisen". Iteration erlaubt dem Agenten, neue Formulierungen zu probieren.
• Falsch sein teuer ist. Compliance-, medizinische, finanzielle oder Vertragsfragen rechtfertigen die zusätzliche Sorgfalt.
• Sie Quellenangaben brauchen. Ein Agent, der mehrere Passagen sammelt, kann jede einzelne benennen.

Bleiben Sie bei One-shot RAG, wenn:

• Die Antwort an einer Stelle steht. Definitionen, Einzelfakten, FAQ-artige Fragen.
• Das Volumen riesig und der Einsatz gering ist. Ein Support-Bot, der eine Million Mal „Wie sind Ihre Öffnungszeiten?" beantwortet, sollte nicht loopen.
• Latenz kritisch ist. Ein Live-Telefonassistent kann nicht für vier Suchen pausieren.

Ein praktischer Mittelweg: standardmäßig One-shot laufen lassen und die Loop nur auslösen, wenn das erste Ergebnisset schwach aussieht. Viele Teams bewerten die abgerufenen Passagen und übergeben die Kontrolle an den Agenten, wenn der Top-Treffer unter einer Konfidenzschwelle liegt. Meistens günstig, gründlich, wenn es zählt.

Die Loop zuverlässig machen

Ein Agent, der frei suchen kann, kann auch entgleisen: zehnmal suchen, Nebenpfaden folgen oder dieselbe Query wiederholen. Drei GuardrailsGuardrailsRegeln und Kontrollen, die ein KI-System in sicheren, rechtskonformen und markengerechten Grenzen halten und unerwünschte Ausgaben blockieren.Vollständige Definition ansehen → halten ihn nützlich.

1. Iterationen begrenzen

Setzen Sie ein hartes Limit (das range(5) oben). Hat der Agent nach fünf Suchen nicht geantwortet, zwingen Sie ihn, mit dem Vorhandenen zu antworten und geringe Konfidenz zu markieren. Besser ein begrenztes „das habe ich gefunden" als eine Endlos-Loop.

2. Sagen Sie ihm, wann ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → aufhören soll

Der System-Prompt sollte das Aufhören explizit machen. Etwa so:

„Durchsuche die Policy-Bibliothek so oft wie nötig. Entscheide nach jedem Ergebnis: Habe ich genug, um vollständig zu antworten und Quellen zu nennen? Wenn ja, antworte. Wenn nein, suche mit anderen Begriffen. Nicht mehr als 5 Suchen. Wenn du weiter unsicher bist, sage, was fehlt."

Ohne das suchen manche Modelle einmal und hören auf, andere suchen endlos. Die Anweisung formt das Verhalten.

3. Query variieren, nicht wiederholen

Ein häufiger Fehler: Der Agent führt dieselbe Suche zweimal aus und bekommt dieselben schwachen Ergebnisse. Gutes PromptingPromptingPrompt Engineering ist die Praxis, Texteingaben so zu gestalten und zu verfeinern, dass große Sprachmodelle präzise, relevante und verlässliche Ergebnisse liefern.Vollständige Definition ansehen → schubst ihn zum *Umformulieren*: Synonyme probieren, auf einen Abschnitt einschränken oder eine zusammengesetzte Frage in Teile zerlegen. Aus „Contractor international flight approval" werden drei gezielte Suchen, nicht dreimal dieselbe.

Ein konkretes Vorher-Nachher

Frage: „Kann ein Contractor internationale Flüge abrechnen?"

One-shot-RAG-Antwort:

„Contractor können für vorab genehmigte Reisen erstattet werden." (Die Regel zur Freigabe bei internationalen Reisen komplett verpasst. Technisch richtig, praktisch unvollständig.)

Agentic-RAG-Antwort:

„Ja, unter zwei Bedingungen. Contractor sind bei vorab genehmigten Reisen erstattungsberechtigt (Travel Policy, Abschn. 3.1). Internationale Flüge über 2.000 $ brauchen vor der Buchung die Genehmigung eines VP (Abschn. 4.2). Reichen Sie das Vorabgenehmigungsformular mindestens 10 Werktage vorher ein (Abschn. 4.5)."

Die zweite Antwort brauchte drei Suchen und kostete ein paar Cent mehr. Bei einer compliance-sensiblen Frage ist das ein einfacher Handel. Bei „Wann öffnet das Büro?" wäre es Verschwendung.

Key Takeaways

• Agentic RAG = Retrieval in einer Loop. Das Modell sucht, liest und sucht erneut, bis es genug hat, statt einmal nachzuschlagen und zu hoffen.
• Methode zur Frage passend wählen. One-shot für Einzelfakten, hohes Volumen, geringen Einsatz. Agentic für Fragen über mehrere Abschnitte, mit hohem Einsatz oder viel Quellenbedarf.
• Die Loop immer begrenzen. Ein hartes Limit (zum Beispiel 5 Suchen) plus eine klare „wann aufhören"-Anweisung verhindert ausufernde Kosten und Endlos-Loops.
• Prompten Sie auf Umformulieren, nicht Wiederholen. Sagen Sie dem Agenten, er soll Suchbegriffe variieren, damit jede Iteration neue Belege bringt.
• Denken Sie über ein Hybrid nach. Standardmäßig One-shot, Eskalation in die Agent-Loop nur, wenn die ersten Ergebnisse schwach aussehen. Das hält die Kosten niedrig und schützt die Qualität dort, wo sie zählt.