Scoping, Daten und Erfolgskriterien

Ein Team hat einmal sechs Wochen damit verbracht, ein KI-Tool zum Auslesen von Rechnungen zu bauen. In der Demo lief es hervorragend. Dann kamen echte Rechnungen: eingescannte Belege, Währungen in drei Formaten, ein Lieferant, der Daten als „3.4.26“ schrieb. Niemand hatte sich darauf verständigt, was „funktioniert“ bedeutet, also konnte niemand sagen, ob das Tool fertig war. Es kam zu spät und wurde dann eingestellt.

In dieser Lektion geht es darum, das zu vermeiden. Bevor Sie eine Zeile Code oder einen einzigen Prompt schreiben, entscheiden Sie zwei Dinge: wie „gut“ aussieht (Ihre Erfolgskriterien) und welche Daten Sie tatsächlich haben. Wir verwenden durchgehend ein Beispiel, ein Tool zur Rechnungsextraktion.

Der Fehler, den fast alle machen

Die meisten starten ein KI-Projekt mit der Lösung: „Nutzen wir GPT, um unsere Rechnungen zu lesen.“ Das ist der falsche erste Schritt.

Fangen Sie stattdessen mit dem Ergebnis an. Ein Ergebnis ist das, was Sie in der realen Welt erreichen wollen, schlicht formuliert:

„Wir wollen aufhören, Rechnungssummen manuell in unser Buchhaltungssystem zu tippen. Eine Person verbringt damit 4 Stunden pro Tag.“

Beachten Sie: Von KI ist hier keine Rede. Das ist gut. Jetzt kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie fragen: Was müsste KI leisten, um das zu lösen, und woran würden wir erkennen, dass es funktioniert?

Scoping: Schrumpfen Sie das Problem, bis es konkret ist

Scoping heißt, eine enge Grenze um genau das zu ziehen, was Ihr Tool tun und nicht tun wird. Ein breiter Scope bringt Projekte um. Ein enger Scope bringt sie live.

Vager Scope: „Alle unsere Rechnungen automatisch verarbeiten.“

Enger Scope: „Fünf Felder (Lieferantenname, Rechnungsnummer, Datum, Gesamtbetrag, Währung) aus PDF-Rechnungen unserer 20 größten Lieferanten, auf Englisch, in eine Tabelle übertragen.“

Die enge Version ist diese Woche baubar. Sie benennt die Felder (die konkreten Daten, die Sie wollen), das Eingabeformat (PDF) und die Grenze (Top-20-Lieferanten, nur Englisch). Alles außerhalb dieser Grenze ist ein „später“-Problem, und das laut zu sagen, gehört zum Job.

Schreiben Sie auf, was außerhalb des Scopes liegt

Seien Sie bei Ausschlüssen explizit. Für das Rechnungs-Tool:

• Handschriftliche Rechnungen: raus.
• Andere Sprachen als Englisch: vorerst raus.
• Mehrseitige Rechnungen mit Positionstabellen: raus für v1.

Ausschlüsse schriftlich festzuhalten verhindert das langsame Ausufern, bei dem jemand fragt „kann es nicht auch noch diesen einen Sonderfall abdecken?“ und das Projekt aufbläht.

Erfolgskriterien: Definieren Sie „gut“ als Zahl

Die Regel lautet: Was Sie nicht messen können, können Sie nicht abschließen.

„Rechnungen genau lesen“ ist kein Erfolgskriterium. Das ist ein Wunsch. Machen Sie daraus etwas Zählbares.

Erfolgskriterium: Das Tool extrahiert mindestens 95 % der Felder korrekt über ein Test-Set von 100 echten Rechnungen.

Jetzt hat „fertig“ eine Definition. Sie können das Tool laufen lassen, die richtigen Antworten zählen und eine Zahl bekommen. Unter 95 %: weiterarbeiten. Ab 95 %: ausliefern.

Wie Sie die Zahl wählen

Erfinden Sie die 95 % nicht aus der Luft. Verankern Sie sie in der Realität:

• Was ist die menschliche Baseline? Wenn eine müde Mitarbeiterin, die um 17 Uhr tippt, 97 % der Felder richtig hat, liegt Ihre Messlatte in dieser Gegend.
• Was kostet ein Fehler? Ein falscher Lieferantenname ist ärgerlich. Ein falscher Gesamtbetrag von 40.000 $ ist ein Desaster. Bei Feldern mit hohem Risiko wollen Sie vielleicht ein strengeres Ziel.

Das führt zu einem klügeren Kriterium, das gewichtet, was zählt:

99 % korrekt bei Gesamtbetrag und Währung, 95 % beim Rest, und jede Extraktion mit geringer Confidence wird zur menschlichen Prüfung markiert.

Der letzte Teil ist wichtig. Ein Tool, das sagt „bei diesem bin ich unsicher“, ist deutlich sicherer als eines, das selbstbewusst rät. Bauen Sie die Markierung von Anfang an ein.

Entscheiden Sie vor dem Bauen, wie Sie messen

Sie brauchen ein Test-Set: eine feste Sammlung echter Beispiele, bei denen ein Mensch die korrekten Antworten eingetragen hat. Das ist Ihr Lösungsschlüssel.

Für das Rechnungs-Tool heißt das: 100 echte Rechnungen nehmen und für jede die fünf korrekten Felder manuell in einer Tabelle erfassen. Ja, per Hand. Das ist langweilig und es ist die wertvollste Stunde des ganzen Projekts. Ohne sie raten Sie.

Der Google „People + AI Guidebook“ hat einen klaren, kostenlosen Abschnitt zur Definition von Erfolg und Reward Functions für KI-Produkte, falls Sie tiefer einsteigen wollen.

Prüfen Sie Ihre Daten, bevor Sie ihnen vertrauen

Jetzt die zweite Hälfte: Daten. Ihr KI-Tool ist nur so gut wie das, was Sie hineingeben. Prüfen Sie vor dem Bauen, was Sie tatsächlich haben.

Öffnen Sie 30 echte Rechnungen und schauen Sie hin. Nicht theoretisieren. Hinschauen. Sie werden jedes Mal Überraschungen finden:

• 12 sind saubere digitale PDFs.
• 9 sind Scans, leicht schief, eine steht auf dem Kopf.
• 5 sind mit dem Handy abfotografiert.
• 3 nutzen ein Datumsformat, mit dem Sie nicht gerechnet haben.
• 1 ist die „Rechnung“ eines Lieferanten, die eigentlich eine weitergeleitete E-Mail ist.

Diese fünf Minuten haben Ihr Projekt gerade neu geformt. Handyfotos und Scans brauchen einen anderen Verarbeitungsweg als saubere PDFs. Die auf dem Kopf stehende wird scheitern, wenn Sie es nicht einplanen.

Drei Fragen für jeden Datensatz

1. Ist er repräsentativ? Entsprechen Ihre 30 Stichproben dem, was das Tool in der Produktion sehen wird? Wenn Sie nur mit sauberen PDFs testen, aber 40 % der echten Rechnungen Scans sind, ist Ihr 95-%-Wert eine Lüge.
2. Ist er gelabelt? Haben Sie die korrekten Antworten (die „Labels“), gegen die Sie prüfen können? Wenn nicht, ist das Ihre erste Aufgabe.
3. Ist er erlaubt? Dürfen Sie diese Daten rechtlich und ethisch in einen KI-Service geben? Rechnungen enthalten Lieferantennamen, Bankdaten, manchmal personenbezogene Informationen. Prüfen Sie, ob Sie sie an eine externe APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen → senden dürfen oder ob sie im Haus bleiben müssen.

Der dritte Punkt ist 2026 real. Tools wie ChatGPT, Claude und Gemini bieten Business-Tarife, die nicht auf Ihren Daten trainieren, aber kostenlose Consumer-Tarife tun es womöglich. Wissen Sie, welchen Sie nutzen, bevor Sie die Finanzunterlagen eines Kunden hochladen.

Alles zusammensetzen: ein erster lauffähiger Test

Sobald Sie Scope, eine Erfolgszahl und ein geprüftes Test-Set haben, ist Ihr erster Build winzig: ein paar Rechnungen durch ein Modell laufen lassen und sehen, wie nah Sie landen. Moderne Modelle wie Claude und Gemini nehmen ein Dokument und einen Prompt direkt an, der „Code“ ist also im Wesentlichen eine klare Anweisung.

Hier ein minimales Beispiel mit der Anthropic API. Es fordert die Felder als strukturierte Daten (JSON) zurück, was das Scoring gegen Ihren Lösungsschlüssel einfach macht.

import anthropic, json

client = anthropic.Anthropic()  # nutzt Ihren API-Key aus der Umgebung

prompt = """Extract these fields from the invoice text below.
Return ONLY valid JSON with keys: vendor, invoice_number, date, total, currency.
If a field is missing or unclear, use null. Do not guess.

INVOICE TEXT:
{invoice_text}
"""

invoice_text = "ACME Corp  Invoice #4471  Date: 12 Jan 2026  Total: 1,250.00 USD"

msg = client.messages.create(
    model="claude-sonnet-4-5",
    max_tokens=300,
    messages=[{"role": "user", "content": prompt.format(invoice_text=invoice_text)}],
)

result = json.loads(msg.content[0].text)
print(result)
# {'vendor': 'ACME Corp', 'invoice_number': '4471',
#  'date': '2026-01-12', 'total': 1250.00, 'currency': 'USD'}

Zwei Designentscheidungen tragen hier die Lektion:

• „Do not guess.“ Das drängt das Modell zu null statt zu selbstbewusst falschen Antworten, was Ihre Markierung für die menschliche Prüfung speist.
• Strukturierte JSON-Ausgabe. Weil die Antwort als benannte Felder zurückkommt, können Sie sie automatisch mit Ihrem Lösungsschlüssel in der Tabelle vergleichen und diese 95-%-Zahl berechnen.

Scoring gegen Ihren Lösungsschlüssel

Die Scoring-Schleife ist nur Treffer zählen:

def score(predicted, correct):
    fields = ["vendor", "invoice_number", "date", "total", "currency"]
    hits = sum(1 for f in fields if predicted.get(f) == correct[f])
    return hits / len(fields)

# Über alle 100 Test-Rechnungen laufen lassen, die Scores mitteln.
# Dieser Mittelwert IST Ihre Erfolgsmetrik.

Lassen Sie es über alle 100 laufen, mitteln Sie die Ergebnisse, und Sie haben eine ehrliche Zahl. Jetzt können Sie entscheiden: den Prompt verbessern, Scans separat behandeln oder ausliefern.

🎬 [VIDEO: „How to Evaluate LLMLLMEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen → Outputs“ - youtube.com - ein praktischer Durchgang zum Aufbau eines kleinen Test-Sets und zum Scoring der Modellgenauigkeit, bevor Sie skalieren]

Das Mindset

Der ganze Punkt ist, Meinungen durch Belege zu ersetzen. „Fühlt sich ganz gut an“ wird zu „liegt bei 91 %, und alle Fehler sind Handyfotos“. Der zweite Satz sagt Ihnen genau, was als Nächstes zu reparieren ist.

Gut definieren, Daten prüfen, das Kleinste bauen, das eine Zahl liefert, dann verbessern. Jedes ernsthafte KI-Projekt, vom Ein-Personen-Rechnungs-Tool bis zum unternehmensweiten System, läuft auf dieser Schleife.

Key Takeaways

• Starten Sie mit dem Ergebnis, nicht mit dem Tool. Benennen Sie zuerst das Resultat in der realen Welt („keine Rechnungen mehr per Hand tippen“), dann entscheiden Sie, was KI dafür leisten muss.
• Scope eng ziehen und Ausschlüsse aufschreiben. Fünf Felder aus englischen PDFs Ihrer 20 größten Lieferanten geht diese Woche live. „Alle Rechnungen“ geht nie live.
• Machen Sie „gut“ zu einer Zahl mit einem Test-Set. Labeln Sie 100 echte Beispiele per Hand und messen Sie dagegen. „95 % der Felder korrekt, Gesamtbetrag und Währung bei 99 %“ ist eine Ziellinie; „genau“ ist keine.
• Prüfen Sie Daten, indem Sie sie ansehen. Öffnen Sie 30 echte Beispiele, bevor Sie bauen. Prüfen Sie, ob sie repräsentativ, gelabelt und im gewählten KI-Tool rechtlich zulässig sind.
• Fordern Sie strukturierte Ausgabe und „don't guess“. JSON-Felder machen das Scoring automatisch, und Fälle mit geringer Confidence zur menschlichen Prüfung zu markieren hält teure Fehler aus der Produktion.