Outputs evaluieren: Woher wissen Sie, dass es funktioniert?

Sie haben ein Tool gebaut, das Kundenbewertungen zusammenfasst. Sie haben es zweimal getestet, es sah gut aus, Sie haben es live gestellt. Drei Wochen später zeigt Ihnen jemand eine Zusammenfassung, die eine Fünf-Sterne-Bewertung als „negativ“ einstuft. Wie lange passierte das schon? Sie haben keine Ahnung, weil Sie es nie gemessen haben.

Genau das ist die Falle. „Sah gut aus“ ist ein Gefühl, keine Metrik. Um ein KI-System zu verbessern, brauchen Sie eine Bewertungsmethode, die nicht von Ihrer Laune an diesem Nachmittag abhängt.

Dieses Werkzeug heißt Eval (kurz für „Evaluation“): ein wiederholbarer Test, der misst, wie gut Ihre KI eine bestimmte Aufgabe erledigt.

Warum „sieht gut aus“ scheitert

Large Language Models sind nicht deterministisch. Das heißt, derselbe Prompt kann jedes Mal leicht unterschiedliche Antworten liefern. Ein einzelner Output sagt Ihnen also fast nichts über die nächsten hundert.

Außerdem ändern Sie ständig etwas: Sie justieren einen Prompt, wechseln von GPT-5 zum günstigeren GPT-5 mini, ergänzen eine Anweisung. Jede Änderung kann einem Fall helfen und einen anderen unbemerkt kaputtmachen. Ohne Score fliegen Sie blind.

Ein Eval löst das. Sie bauen einmal ein kleines Set an Testfällen und führen es bei jeder Änderung erneut aus. Der Score steigt oder fällt. Jetzt kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie tatsächlich verbessern.

Die Grundidee: ein Test-Set

Ein Test-Set ist eine Sammlung von Beispiel-Inputs, jeweils gepaart mit dem, wie ein guter Output aussieht. Für einen Summarizer ist die einfachste Variante eine Reihe von Frage-Antwort-Paaren.

Der Trick ist folgender. Statt eine ganze Zusammenfassung zu benoten (schwierig und unscharf), schreiben Sie konkrete Fragen, die sich mit einer korrekten Zusammenfassung beantworten lassen müssen.

Angenommen, Sie fassen diese Produktbewertung zusammen:

„Der Mixer ist kraftvoll und zerkleinert Eis mühelos, aber ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → ist extrem laut und der Deckel leckt, wenn man ihn über die Hälfte füllt. Der Versand hat zwei Wochen gedauert.“

Sie schreiben Fragen, deren Antworten die Zusammenfassung überstehen sollten:

Wenn Sie anhand der Zusammenfassung alle vier korrekt beantworten können, hat sie die wichtigen Fakten erhalten. Lässt sie den undichten Deckel weg, fällt Ihnen das auf.

So wird aus einer vagen Frage („Ist das eine gute Zusammenfassung?“) eine konkrete, zählbare („Wie viele dieser Fakten sind erhalten geblieben?“).

Ein echtes Eval bauen, Schritt für Schritt

Bauen wir ein winziges. Sie brauchen drei Dinge:

1. Inputs: eine Handvoll Bewertungen (fangen Sie mit 10 bis 20 an, nicht mit 1.000).
2. Checks: Frage-Antwort-Paare für jeden Input.
3. Ein Scorer: etwas, das über pass oder fail entscheidet.

Schritt 1: Inputs und erwartete Fakten sammeln

Speichern Sie sie als einfache Daten. Um das zu lesen, brauchen Sie keine Programmierkenntnisse:

test_cases = [
    {
        "review": "The blender is powerful and crushes ice easily, "
                  "but it is extremely loud and the lid leaks if you "
                  "fill it past the halfway line. Shipping took two weeks.",
        "must_include": ["loud", "leak", "powerful"],
    },
    {
        "review": "Battery lasts all day and the screen is bright. "
                  "Setup was confusing and customer support never replied.",
        "must_include": ["battery", "setup", "support"],
    },
]

Die Liste must_include ist eine vereinfachte Version Ihrer „Antworten“: Schlüsselfakten, die die Zusammenfassung erwähnen muss.

Schritt 2: Die Zusammenfassungen generieren

Hier rufen wir ein Modell auf. Dieses Beispiel nutzt die Responses APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen → von OpenAI, das Muster ist für Claude oder Gemini aber identisch.

from openai import OpenAI
client = OpenAI()

def summarize(review):
    response = client.responses.create(
        model="gpt-5-mini",
        instructions="Summarize this product review in one sentence. Keep the key pros and cons.",
        input=review,
    )
    return response.output_text

Schritt 3: Bewerten

Der einfachste denkbare Scorer: Enthält die Zusammenfassung jedes geforderte Keyword?

def score(summary, must_include):
    hits = [word for word in must_include if word.lower() in summary.lower()]
    return len(hits) / len(must_include)

total = 0
for case in test_cases:
    summary = summarize(case["review"])
    s = score(summary, case["must_include"])
    total += s
    print(f"Score: {s:.2f} | {summary}")

print(f"\nAverage score: {total / len(test_cases):.2f}")

Führen Sie es aus. Vielleicht erhalten Sie einen Durchschnitt von 0.83. Diese Zahl ist Ihre Baseline. Ändern Sie nun Ihren Prompt, führen Sie es erneut aus und beobachten Sie, wie sich die Zahl bewegt. Steigt sie, ist das gut. Sinkt sie, haben Sie gerade etwas kaputtgemacht, und Sie haben es bemerkt, bevor Ihre Nutzer es tun.

Keyword-Matching ist grob. Für den Anfang ist das in Ordnung.

Die Prüfung auf das Wort „leak“ übersieht eine Zusammenfassung, in der „the lid lets liquid through“ steht. Keyword-Scoring ist plump, aber kostenlos, schnell und fängt offensichtliche Regressionen ab. Fangen Sie hier an.

Wenn Sie darüber hinausgewachsen sind, ist der nächste Schritt ein LLM-as-judge: Sie lassen ein zweites KI-Modell den Output benoten. Sie geben ihm die Kundenbewertung, die Zusammenfassung und ein Bewertungsraster und bitten um einen Score.

def judge(review, summary):
    prompt = f"""Original review: {review}

Summary: {summary}

Does the summary capture the main pros AND cons? 
Answer only PASS or FAIL."""
    response = client.responses.create(
        model="gpt-5",
        input=prompt,
    )
    return response.output_text.strip()

Das erfasst Bedeutung, nicht nur exakte Wörter. Der Haken: Auch der Judge ist eine KI und kann sich irren. Gleichen Sie seine Noten bei einigen Fällen stichprobenartig mit Ihrem eigenen Urteil ab, bevor Sie ihm vertrauen.

Scores wie ein Profi lesen

Eine einzelne Zahl ist ein Anfang, aber es kommt darauf an, wie Sie sie betrachten.

Verfolgen Sie sie über die Zeit. Speichern Sie den Durchschnitt jedes Laufs. Eine Tabellenkalkulation reicht völlig. Wenn der Score nach Ihrer „Verbesserung“ des Prompts von 0.85 auf 0.72 fällt, machen Sie die Änderung rückgängig.

Schauen Sie auf die Fehlschläge, nicht auf den Durchschnitt. Der Durchschnitt von 0.83 verbirgt, welche Fälle gescheitert sind. Lesen Sie immer die schlechtesten. Dort lernen Sie, womit Ihre KI Probleme hat: lange Bewertungen, Sarkasmus, mehrere Sprachen.

Nehmen Sie bewusst schwierige Fälle auf. Wenn ein Nutzer eine schlechte Zusammenfassung meldet, beheben Sie sie nicht einfach. Nehmen Sie sie als festen Fall in Ihr Test-Set auf. Ihr Eval wird jedes Mal schlauer, wenn etwas schiefgeht. Diese Sammlung nennt man manchmal ein golden set: Ihr verlässlicher Bestand an Beispielen.

Legen Sie Ihre Bestehensgrenze fest. Reicht 0.83, um live zu gehen? Das hängt davon ab, was auf dem Spiel steht. Memes zusammenfassen: klar. Medizinische Anweisungen zusammenfassen: auf keinen Fall. Sie setzen den Schwellenwert anhand der Kosten eines Fehlers.

Kurz zur Haltung

Evals fühlen sich wie Zusatzarbeit an, wenn Sie es kaum erwarten können, etwas live zu stellen. Sie sind kein Overhead. Sie sind das, was Ihnen erlaubt, schnell voranzukommen, ohne unbemerkt etwas kaputtzumachen.

Denken Sie ans Kochen. Das Gericht einmal abzuschmecken ist „sah gut aus“. Ein Rezept mit abgewogenen Zutaten und einem Timer ist ein Eval. Mit dem Rezept kochen Sie dasselbe gute Essen hundertmal und verbessern es gezielt.

Fangen Sie absurd klein an. Zehn Testfälle und ein Keyword-Check schlagen null. Ausbauen können Sie es immer.

Wenn Sie einen ausführlicheren, trotzdem gut lesbaren Leitfaden suchen: Die OpenAI-Evals-Dokumentation zeigt, wie man strukturierte Evals mit dem OpenAI-Tooling durchführt, und die Konzepte lassen sich auf jedes Modell übertragen, das Sie nutzen.

Wo das zu ChatGPT, Claude und Gemini passt

Sie brauchen nicht immer Code. Wenn Sie im Chat-Interface einen Prototyp bauen, können Sie ein einfaches Eval von Hand durchführen:

1. Fügen Sie Ihren Zusammenfassungs-Prompt ein.
2. Geben Sie ihm Ihre 10 Testbewertungen nacheinander.
3. Gehen Sie bei jeder die Frage-Antwort-Paare durch und zählen Sie pass/fail.

Alle drei großen Tools (ChatGPT, Claude und Gemini) erlauben es außerdem, eine Datei mit Beispielen hochzuladen und das Modell seinen eigenen Batch anhand eines von Ihnen geschriebenen Bewertungsrasters benoten zu lassen. Das ist ein manuelles LLMLLMEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen →-as-judge. Es ist langsamer als Code, erfordert aber null Setup und ist ein völlig brauchbarer Einstieg, bevor Sie automatisieren.

Die Haltung ist überall dieselbe: Definieren Sie in konkreten, überprüfbaren Begriffen, was „gut“ bedeutet, bevor Sie dem Output vertrauen.

Das Wichtigste in Kürze

• Ersetzen Sie „sieht gut aus“ durch eine Zahl. Bauen Sie ein kleines Test-Set aus Inputs und den Fakten, die ein guter Output enthalten muss, und bewerten Sie dagegen.
• Fangen Sie winzig und grob an. Zehn Testfälle mit einfachem Keyword-Matching sind unendlich besser als kein Eval. Ausbauen können Sie später.
• Führen Sie Ihr Eval nach jeder Änderung an Prompt oder Modell erneut aus, und verfolgen Sie den Score über die Zeit, damit Ihnen stille Regressionen auffallen.
• Lesen Sie die Fehlschläge, nicht nur den Durchschnitt. Nehmen Sie jeden schlechten Fall aus der Praxis in Ihr golden set auf, damit Ihr Eval mit der Zeit schärfer wird.
• Richten Sie Ihre Bestehensgrenze danach aus, was auf dem Spiel steht. Eine Zusammenfassung von Memes und eine Zusammenfassung von Dosierungsanweisungen verdienen nicht denselben Schwellenwert.