Halluzinationen und Verifikation bei kritischen Aufgaben

# Halluzinationen und Verifikation bei kritischen Aufgaben

2023 wurden zwei Anwälte aus New York zu einer Geldstrafe von 5.000 Dollar verurteilt, nachdem sie einen Schriftsatz eingereicht hatten, der sechs Gerichtsverfahren zitierte, die es nicht gab. ChatGPT hatte sie erfunden, samt gefälschter Zitate und gefälschter Aktenzeichen. Die Anwälte haben nicht geprüft. Der Richter schon.

Das ist das Kernproblem, in eine Geschichte gepackt. KI-Modelle kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen selbstbewusste, flüssige, völlig falsche Informationen produzieren. Wir nennen das eine Halluzination: Das Modell erzeugt Inhalte, die richtig klingen, aber faktisch falsch oder komplett erfunden sind.

Eine erfundene Statistik in einem Brainstorming kostet Sie nichts. Derselbe Fehler in einer Patientenakte, einem Vertrag oder einer Steuererklärung kann eine Karriere beenden oder einem Menschen schaden. Diese Lektion zeigt Ihnen, wie Sie Ihren Prüfaufwand an das Risiko anpassen.

Warum Halluzinationen entstehen

Ein großes Sprachmodell (die KI hinter ChatGPT, Claude und Gemini) ist eine Vorhersagemaschine. Es sagt das nächste wahrscheinliche Wort auf Basis von Mustern in seinen Trainingsdaten voraus. Es schlägt keine Fakten in einer Datenbank nach. Es produziert Text, der einer korrekten Antwort *ähnelt*.

Deshalb sind Halluzinationen so gefährlich: Das Modell hat keinen internen Alarm, der sagt „Jetzt rate ich.“ Eine echte Quellenangabe und eine erfundene sehen gleich selbstbewusst aus.

Modelle sind 2026 besser als früher. Tools wie ChatGPT, Claude und Gemini zitieren inzwischen Quellen und durchsuchen das Web. Aber „besser“ heißt nicht „gelöst“. Die Fabrikationsrate ist gesunken, auf null ist sie nicht.

Die Denkweise der gestuften Verifikation

Sie müssen nicht jedes Wort einer KI überprüfen. Das würde KI unbrauchbar machen. Stellen Sie stattdessen eine Frage, bevor Sie auf einem Output aufbauen:

Was passiert, wenn das falsch ist?

Die Antwort bestimmt Ihre Prüfstufe.

Stufe 1: geringes Risiko (kurz drüberschauen)

Die Kosten eines Fehlers sind trivial oder leicht rückgängig zu machen.

• Brainstorming von Blog-Titeln
• Entwurf einer informellen E-Mail, die Sie ohnehin noch einmal lesen
• Zusammenfassung eines Artikels für Ihr eigenes Verständnis
• Ideen für eine Geburtstagsfeier sammeln

Verifikation: Einmal kurz auf offensichtlichen Unsinn prüfen. Das war's. Wenn eine Statistik aus dem Brainstorming schief wirkt, lassen Sie sie weg oder prüfen Sie sie später.

Stufe 2: mittleres Risiko (Aussagen stichprobenartig prüfen)

Ein Fehler wäre peinlich, würde echte Zeit kosten oder Kollegen in die Irre führen, ist aber nicht gefährlich oder rechtlich bindend.

• Eine Marktübersicht für ein internes Team-Meeting
• Eine Anleitung, die Sie im Firmenblog veröffentlichen
• Produktvergleiche als Recherche für eine Kaufentscheidung
• Der Entwurf eines Förderantrags

Verifikation: Prüfen Sie jede konkrete, überprüfbare Aussage. Namen, Zahlen, Daten, Zitate und Statistiken. Öffnen Sie eine zweite Quelle für alles, was Sie als Fakt darstellen werden.

Eine einfache Gewohnheit: Bitten Sie das Modell, Fakten von Interpretation zu trennen.

> „Liste jede Tatsachenbehauptung aus deiner letzten Antwort als Aufzählungspunkt auf, mit der jeweiligen konkreten Quelle. Markiere alles, bei dem du unsicher bist.“

Prüfen Sie dann die Aufzählungspunkte, nicht den Prosatext.

Stufe 3: hohes Risiko (alles unabhängig verifizieren)

Ein Fehler kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnte einem Menschen schaden, gegen Gesetze verstoßen, erheblich Geld kosten oder Vertrauen zerstören.

• Medizin: Medikamentendosierungen, Diagnosen, Wechselwirkungen
• Recht: Urteilszitate, Vertragsklauseln, gesetzliche Fristen
• Finanzen: Steuerberatung, Investitionszahlen, aufsichtsrechtliche Meldungen
• Sicherheit: Anleitungen zu Elektrik, Chemikalien, Statik

Verifikation: Behandeln Sie den KI-Output wie einen *Entwurf eines ungeprüften Praktikanten*. Jeder einzelne Fakt muss gegen eine belastbare, unabhängige Quelle bestätigt werden. Ein Arzt prüft eine Arzneimitteldatenbank. Ein Anwalt zieht das tatsächliche Urteil. Ein Steuerberater prüft gegen das aktuelle Steuerrecht.

In Stufe 3 hat die KI nicht das letzte Wort. Das haben ein qualifizierter Mensch und eine Primärquelle.

Konkrete Szenarien

Medizin. Sie fragen eine KI: „Wie hoch ist die maximale Tagesdosis von Paracetamol für einen Erwachsenen?“ Sie antwortet „4.000 mg“. Das ist zufällig ein gängiger Wert, aber Dosierungen hängen von der Lebergesundheit, Alkoholkonsum und anderen Medikamenten ab. Im klinischen Umfeld prüfen Sie gegen eine Quelle wie die FDA-Label-Datenbank oder eine klinische Referenz, niemals nur gegen den Chatbot.

Recht. Sie fragen nach Urteilen, die Ihre Argumentation stützen. Das Modell liefert drei mit perfekt aussehenden Zitaten. Bevor irgendetwas in einen Schriftsatz geht, suchen Sie jedes Urteil in der echten Gerichtsdatenbank oder einem Dienst wie CourtListener. Wenn Sie es nicht finden, existiert es nicht.

Finanzen. Eine KI nennt Ihnen eine Obergrenze für einen steuerlichen Abzug. Steuerregeln ändern sich jährlich und unterscheiden sich regional. Sie prüfen gegen die aktuelle offizielle Vorgabe (in den USA IRS.gov) oder gegen eine zugelassene Fachperson.

Das Muster ist immer gleich: Die KI beschleunigt den Entwurf, aber die Quelle der Wahrheit ist nie die KI.

Halluzinationen reduzieren, bevor Sie prüfen

Verifikation ist Ihr Sicherheitsnetz. Gutes PromptingPromptingPrompt engineering is the practice of designing and refining text inputs to guide large language models toward accurate, relevant, and reliable outputs.Vollständige Definition ansehen → verringert die Zahl der Fehler, die Sie abfangen müssen.

1. Geben Sie dem Modell das Quellmaterial. Wenn Sie das echte Dokument einfügen und Fragen dazu stellen, hat das Modell viel weniger Raum zu erfinden. Das nennt man Grounding.

2. Fordern Sie es auf, Unsicherheit zuzugeben. Ergänzen Sie: „Wenn du unsicher bist oder keine verlässliche Quelle hast, sag es. Rate nicht.“ Moderne Modelle halten sich gut an diese Anweisung.

3. Nutzen Sie Tools, die zitieren. 2026 bieten Gemini, ChatGPT und Claude alle Websuche-Modi mit klickbaren Quellen. Schalten Sie sie für Faktenarbeit ein. Und dann *klicken Sie die Quellen an*. Eine Quellenangabe, die Sie nicht öffnen, ist keine Verifikation.

4. Fragen Sie nach der Begründung und prüfen Sie sie. Eine falsche Schlussfolgerung hat oft einen sichtbar falschen Schritt.

Hier ein kleines Beispiel, das über eine APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Vollständige Definition ansehen → eine Struktur mit „Konfidenz und Quellen“ im Output erzwingt:

from openai import OpenAI

client = OpenAI()

prompt = """Answer the question below.
Then add two sections:
FACTS: every checkable claim as a bullet, each with a source.
CONFIDENCE: low / medium / high, and say what would change your answer.

Question: What is the standard statute of limitations for
breach of written contract in California?"""

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": prompt}],
)

print(response.choices[0].message.content)

Der strukturierte Output macht die Verifikation schnell: Sie prüfen die FACTS-Punkte und behandeln alles mit „low“-Konfidenz als ungeprüft, bis es belegt ist.

Eine Prüfgewohnheit aufbauen

Das größte Risiko ist nicht das Modell. Es ist der Automation Bias: unsere menschliche Neigung, einer selbstbewussten, gut formatierten Antwort zu vertrauen, nur weil eine Maschine sie produziert hat. Glattes Format fühlt sich wie Korrektheit an. Ist es aber nicht.

Bauen Sie kleine Rituale ein, die diesen Reflex unterbrechen.

Das 3-Fragen-Tor

Bevor ein KI-Output Ihre Hände verlässt, fragen Sie:

1. Welche Stufe ist das? (Was passiert, wenn es falsch ist?)

2. Welche konkreten Aussagen sind überprüfbar? (Namen, Zahlen, Daten, Quellenangaben, Zitate.)

3. Habe ich sie gegen eine unabhängige Quelle bestätigt?

Bei Stufe 1 dauert das zehn Sekunden. Bei Stufe 3 ist es die ganze Arbeit.

Achten Sie auf die Warnsignale für Halluzinationen

Bestimmte Outputs verdienen besonderes Misstrauen:

• Konkrete Quellenangaben und URLs. Modelle erfinden diese häufig. Immer anklicken.
• Präzise Statistiken ohne Quelle. „73 % der Nutzer bevorzugen…“ Woher kommt das?
• Aktuelle Ereignisse. Modelle kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen veraltet sein oder aktuelle Details zusammenfabulieren.
• Nischige oder obskure Themen. Weniger Trainingsdaten bedeuten mehr Raten.
• **Alles, was Sie sich *wünschen*, dass es wahr ist.** Ihr eigener Bias plus die Sprachgewandtheit des Modells ist eine gefährliche Mischung.

Machen Sie jemanden verantwortlich

In einem Team oder einer Organisation benennen Sie für jeden risikoreichen KI-Output einen menschlichen Verantwortlichen. „Die KI hat es geschrieben“ ist keine Verteidigung. Die Anwälte aus New York haben das auf die harte Art gelernt. Jemand gibt es frei, und dieser Jemand hat geprüft.

Für einen tieferen, praxisnahen Rahmen dazu ist das NIST AI Risk Management Framework eine kostenlose, anerkannte Ressource zum Management von KI-Risiken in echten Organisationen.

Alles zusammen: ein kurzer Workflow

Angenommen, Sie schreiben eine kundenseitige FAQ zu einem Finanzprodukt.

1. Entwurf mit KI. Fügen Sie Ihre echten Produktunterlagen ein und lassen Sie die FAQ ausschließlich aus diesen Unterlagen schreiben.

2. Stufe bestimmen. Kundenseitige Finanzinformationen sind Stufe 3.

3. Aussagen extrahieren. Lassen Sie das Modell jede Tatsachenbehauptung mit der Quelle aus Ihren Unterlagen auflisten.

4. Unabhängig verifizieren. Prüfen Sie jede gegen die Quelldokumente und die aktuellen Vorschriften.

5. Menschliche Freigabe. Eine qualifizierte Person prüft und genehmigt vor der Veröffentlichung.

Die KI hat 70 % der Arbeit schnell gemacht. Sie haben die 30 % gemacht, die alle schützen.

Die wichtigsten Punkte

• Passen Sie die Verifikation an das Risiko an. Fragen Sie „Was passiert, wenn das falsch ist?“, bevor Sie handeln. Kurz drüberschauen bei geringem Risiko; alles unabhängig verifizieren bei medizinischen, rechtlichen und finanziellen Aufgaben.
• In Stufe 3 ist die KI nie die Quelle der Wahrheit. Bestätigen Sie jeden Fakt gegen eine belastbare, unabhängige Quelle und lassen Sie einen qualifizierten Menschen freigeben.
• Achten Sie auf die Warnsignale. Quellenangaben, URLs, präzise Statistiken, aktuelle Ereignisse und Nischenthemen sind die Stellen, an denen sich Halluzinationen häufen. Klicken Sie jede Quelle an; vertrauen Sie nicht dem Format.
• Reduzieren Sie Fehler, bevor Sie sie abfangen müssen. Grounden Sie das Modell in echtem Quellmaterial, fordern Sie es auf, Unsicherheit zuzugeben, und nutzen Sie Suchmodi mit Quellenangaben, die Sie dann auch öffnen.
• Hüten Sie sich vor Automation Bias. Eine selbstbewusste, glatte Antwort ist keine geprüfte Antwort. Benennen Sie für risikoreiche Outputs einen menschlichen Verantwortlichen.