Den richtigen Ansatz wählen: Prompt, RAG, Fine-tuning oder Agent

Ein Startup hat vier Monate und $80,000 investiert, um ein Modell per Fine-tuningFine-tuningFine-Tuning passt ein vortrainiertes Modell an eine bestimmte Aufgabe oder Domäne an, indem das Training auf einem kleineren, gezielten Datensatz fortgesetzt wird. Das verbessert Genauigkeit und Stil für den jeweiligen Anwendungsfall.Vollständige Definition ansehen → auf Kundenfragen zu seinem Produkt zu trainieren. Dann brachte ein Wettbewerber dieselbe Funktion an einem Wochenende heraus, indem ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → seine Hilfedokumente in einen Prompt kopierte. Der Wettbewerber gewann. Die Wahl des falschen Ansatzes ist der teuerste Fehler in einem KI-Projekt, und er lässt sich fast immer vermeiden.

Es gibt vier gängige Wege, mit Large Language Models zu bauen (LLMs, die KI hinter ChatGPT, Claude und Gemini). Jeder löst ein anderes Problem. Die meisten greifen zur komplizierten Variante, wo die einfache funktioniert hätte.

Das ändern wir jetzt.

Die vier Ansätze in einfachen Worten

Prompting. Sie schreiben gute Anweisungen und schicken sie an das Modell. Kein Setup, kein Code nötig.

RAG (Retrieval-Augmented Generation). Sie geben dem Modell Ihre eigenen Dokumente zu lesen, bevor es antwortet. „Retrieval“ heißt, dass es Dinge nachschlägt; „augmented“ heißt, dass es das Gefundene nutzt, um eine bessere Antwort zu schreiben.

Fine-tuning. Sie trainieren das Modell mit vielen Beispielen, damit es einen Stil, ein Format oder ein spezialisiertes Verhalten dauerhaft übernimmt.

Agenten. Sie lassen das Modell Aktionen ausführen: im Web suchen, eine E-Mail senden, eine Datenbank abfragen, andere Tools nutzen, in einer Schleife, bis eine Aufgabe erledigt ist.

In dieser Reihenfolge sollten Sie sie in Betracht ziehen: erst Prompt, dann RAG, dann Agent, und Fine-tuning fast zuletzt. Der einfachste Ansatz, der funktioniert, ist der richtige.

Ein Entscheidungsbaum, den Sie wirklich nutzen kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen

Wir verankern alles in einem realen Szenario: Sie leiten eine mittelgroße Anwaltskanzlei und wollen, dass KI beim Entwerfen von Verträgen und bei Fragen dazu hilft.

Gehen Sie den Baum Schritt für Schritt durch.

Frage 1: Schafft das ein kluger, gut geschriebener Prompt?

Probieren Sie das zuerst. Immer.

Moderne Modelle (OpenAIs GPT-5-Familie, Anthropics Claude-4.x-Familie, Googles Gemini 3) sind ab Werk extrem leistungsfähig. Wenn Ihre Aufgabe auf Allgemeinwissen oder logischem Denken beruht, reicht vielleicht schon ein Prompt.

Für die Kanzlei: „Erklären Sie den Unterschied zwischen einer Freistellungs- und einer Gewährleistungsklausel in einfachen Worten“ braucht null Setup. Einfach fragen.

from openai import OpenAI
client = OpenAI()

response = client.responses.create(
    model="gpt-5",
    input="Explain the difference between an indemnity "
          "and a warranty clause in a commercial contract, "
          "in plain English, for a non-lawyer."
)
print(response.output_text)

Wenn ein Prompt Ihre Frage zuverlässig beantwortet, hören Sie hier auf. Sie sind fertig. Bauen Sie nichts weiter.

Wer tiefer einsteigen will, wie man Prompts schreibt, die funktionieren: Die Anthropic-Dokumentation zum Prompt Engineering ist kostenlos und ausgezeichnet.

Frage 2: Braucht es IHRE spezifischen Informationen?

Das Modell kennt Ihre Verträge, Ihre Mandanten und Ihre internen Richtlinien nicht. Wenn die Antwort in Ihren Dokumenten steckt, brauchen Sie RAG.

Für die Kanzlei: „Wie lang ist die Kündigungsfrist im Vertrag mit dem Mandanten Henderson?“ Das Modell hat diesen Vertrag nie gesehen. Also geben Sie ihm den Vertrag.

So funktioniert RAGRAGVerfahren, mit dem ein KI-Modell aus Ihren eigenen Dokumenten antwortet, indem es relevante Passagen abruft, bevor es eine Antwort erzeugt.Vollständige Definition ansehen → in drei Schritten:

1. Zerlegen Sie Ihre Dokumente in Abschnitte (chunks) und speichern Sie sie in einer durchsuchbaren Datenbank (einer „Vektordatenbank“, die Text nach Bedeutung findet, nicht nur nach Schlüsselwörtern).
2. Wenn eine Frage eingeht, rufen Sie die relevantesten Abschnitte ab.
3. Fügen Sie diese Abschnitte in den Prompt ein, damit das Modell auf Basis Ihrer echten Daten antwortet.

Eine minimale Version ist einfach geschicktes Einfügen:

relevant_clause = search_contracts("Henderson termination notice")

prompt = f"""Using ONLY the contract text below, answer the question.
If the answer isn't present, say so.

CONTRACT TEXT:
{relevant_clause}

QUESTION: What is the termination notice period?"""

response = client.responses.create(model="gpt-5", input=prompt)
print(response.output_text)

RAG ist 2026 das Arbeitspferd der Business-KI. Kundensupport, interne Wissensdatenbanken, Q&A zu Dokumenten: Das meiste davon ist RAG. Es hält die Antworten an Ihren echten, aktuellen Daten fest und reduziert erfundene Antworten (sogenannte „Halluzinationen“).

Abkürzung für kleine Dokumentbestände: Heutige Modelle haben riesige Kontextfenster (Gemini-Modelle verarbeiten rund eine Million TokensTokensEin Token ist die grundlegende Texteinheit, die Sprachmodelle verarbeiten, oft ein Wortfragment, ein ganzes Wort oder ein Satzzeichen und nicht ein einzelnes Zeichen.Vollständige Definition ansehen →, grob ein paar tausend Seiten). Wenn Sie nur eine Handvoll Dokumente haben, können Sie die Vektordatenbank weglassen und alles direkt einfügen. Bauen Sie die komplexe RAG-PipelinePipelineAlle aktiven Verkaufschancen über die Phasen des Vertriebsprozesses hinweg, zusammen mit ihrem gesamten potenziellen Wert und ihrer Abschlusswahrscheinlichkeit.Vollständige Definition ansehen → erst, wenn Ihr Dokumentenstapel zu groß dafür ist.

Frage 3: Muss es HANDELN, nicht nur antworten?

Wenn die Aufgabe Handlungen in der realen Welt umfasst (mehrere Schritte, Einsatz von Tools, Entscheidungen unterwegs), brauchen Sie einen Agenten.

Für die Kanzlei: „Prüfe diesen neuen Vertrag, markiere jede Klausel, die unseren Standardbedingungen widerspricht, prüfe, ob es mit der Gegenpartei frühere Streitigkeiten in unserem System gab, und entwirf eine zusammenfassende E-Mail an den Partner.“ Das ist nicht eine einzelne Antwort. Es ist eine Abfolge von Aktionen mit Tool-Einsatz.

Ein Agent arbeitet in einer Schleife: denken, handeln, Ergebnis beobachten, erneut denken, bis die Aufgabe erledigt ist.

response = client.responses.create(
    model="gpt-5",
    input="Review the attached contract. Flag clauses that "
          "conflict with our standard terms, look up the "
          "counterparty in our disputes database, and draft "
          "a summary email to the partner.",
    tools=[
        {"type": "file_search"},      # den Vertrag lesen
        {"type": "function", "name": "query_disputes_db"},
        {"type": "function", "name": "draft_email"}
    ]
)

Agenten sind mächtig und 2026 das heiße Thema, aber sie sind schwerer zu kontrollieren und können auf überraschende Weise scheitern. Geben Sie einem Agenten nur die Tools, die er wirklich braucht, und lassen Sie alles Riskante von einem Menschen freigeben (etwa das Versenden dieser E-Mail). Starten Sie Agenten mit engem Rahmen.

Frage 4: Brauchen Sie einen konsistenten STIL oder ein FORMAT, an das sich das Modell einfach nicht hält?

Hier kommt Fine-tuning ins Spiel, und es steht aus gutem Grund am Ende.

Fine-tuning heißt, dem Modell Hunderte oder Tausende Beispiele zu zeigen, bis ein Verhalten in Fleisch und Blut übergeht. Es ist das richtige Werkzeug, wenn:

• Sie einen ganz bestimmten Ton oder ein bestimmtes Format brauchen, und zwar jedes einzelne Mal (den exakten Stil Ihrer Kanzlei beim Vertragsentwurf).
• Sie viele hochwertige Beispiele zum Trainieren haben.
• PromptingPromptingPrompt Engineering ist die Praxis, Texteingaben so zu gestalten und zu verfeinern, dass große Sprachmodelle präzise, relevante und verlässliche Ergebnisse liefern.Vollständige Definition ansehen → und RAG tatsächlich nicht ausgereicht haben, und das nicht nur beim ersten Versuch.

Für die Kanzlei: Wenn Sie 2,000 frühere Verträge in der unverwechselbaren Sprache Ihrer Kanzlei haben und jeder Entwurf exakt dazu passen soll, kann Fine-tuning diesen Stil fest einbauen.

Der zentrale Unterschied, den viele falsch verstehen: Fine-tuning vermittelt *Stil und Verhalten*, keine *Fakten*. Für Wissen taugt es schlecht. Wenn Sie per Fine-tuning Informationen über den Henderson-Vertrag hinzufügen wollen, wird das Modell selbstbewusst Details erfinden. Für Fakten nutzen Sie RAG. Für Stil ziehen Sie Fine-tuning in Betracht.

# Fine-tuning beginnt mit Beispielpaaren, nicht mit echten Fragen
{"messages": [
    {"role": "user", "content": "Draft a confidentiality clause."},
    {"role": "assistant", "content": "<your firm's exact house style here>"}
]}
# Sie liefern Hunderte davon und trainieren dann ein eigenes Modell.

Fine-tuning kostet am meisten Zeit, Daten und Geld. 2026 brauchen es weniger Projekte, als man annimmt, weil Basismodelle und RAG immer besser werden. Greifen Sie nur dazu, wenn die einfacheren Werkzeuge versagt haben.

Alles zusammen: Die Ansätze lassen sich kombinieren

Das sind keine Konkurrenten. Die besten Systeme kombinieren sie.

Das fertige Tool unserer Kanzlei könnte so aussehen: ein Agent, der per RAG Verträge liest, auf einem per Fine-tuning angepassten Modell für den Hausstil läuft, alles gesteuert durch sorgfältig geschriebene Prompts.

Aber das hat die Kanzlei nicht am ersten Tag gebaut. Sie begann mit einem Prompt. Dann kam RAG dazu, als die eigenen Dokumente gebraucht wurden. Dann ein Agent, als das System handeln musste. Fine-tuning hat sie erst in Betracht gezogen, als alles andere stabil lief.

Um genau diese Reihenfolge geht es. Jeder Schritt bringt mehr Kosten und Komplexität, also müssen Sie sich jede Stufe auf der Leiter verdienen.

Kurzübersicht

• Prompt: Allgemeinwissen oder logisches Denken. Null Setup. *„Erkläre diese Klausel.“*
• RAG: Antworten aus Ihren eigenen Dokumenten. *„Was steht in unserem Henderson-Vertrag?“*
• Agent: mehrstufige Aufgaben und Tool-Einsatz. *„Prüfen, Datenbank checken, E-Mail entwerfen.“*
• Fine-tuning: konsistenter Stil oder konsistentes Format aus vielen Beispielen. *„Schreib immer in unserem Hausstil.“*

Das Wichtigste in Kürze

1. Beginnen Sie immer mit einem Prompt. Er ist kostenlos, sofort verfügbar und überraschend leistungsfähig. Die meisten Ideen sollten Sie hier testen, bevor Sie irgendetwas bauen.
2. RAG für Fakten, Fine-tuning für Stil. Diese beiden zu verwechseln ist der häufigste und teuerste Fehler. Ihre Dokumente gehören in RAG, Ihr Ton ins Fine-tuning.
3. Verdienen Sie sich jede Stufe auf der Leiter. Erst Prompt, dann RAG, dann Agent, und Fine-tuning fast zuletzt. Jeder Schritt kostet mehr, also steigen Sie nur auf, wenn der einfachere nachweislich scheitert.
4. Bei kleinen Dokumentbeständen lassen Sie RAG ganz weg. Mit den großen Kontextfenstern von heute können Sie ein paar Dokumente direkt in den Prompt kopieren. Bauen Sie die Pipeline erst, wenn der Stapel zu groß wird.
5. Kombinieren Sie die Ansätze in echten Systemen, aber fügen Sie sie einzeln hinzu. Validieren Sie jede Schicht, bevor Sie die nächste darauf setzen.