Halluzinationen und Verifikation bei kritischen Aufgaben

2023 wurden zwei New Yorker Anwälte zu 5.000 Dollar Strafe verurteilt, nachdem sie einen Schriftsatz eingereicht hatten, der sechs Gerichtsurteile zitierte, die es nicht gab. ChatGPT hatte sie erfunden, samt gefälschter Zitate und gefälschter Aktenzeichen. Die Anwälte haben nicht geprüft. Der Richter schon.

Das ist das Kernproblem in einer Geschichte. KI-Modelle kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen selbstbewusste, flüssige und vollkommen falsche Informationen produzieren. Wir nennen das eine Halluzination: das Modell erzeugt Inhalte, die richtig klingen, aber faktisch falsch oder komplett erfunden sind.

Eine erfundene Statistik im Brainstorming kostet Sie nichts. Derselbe Fehler in einer Patientenakte, einem Vertrag oder einer Steuererklärung kann eine Karriere beenden oder einem Menschen schaden. Diese Lektion zeigt Ihnen, wie Sie Ihren Prüfaufwand an die Tragweite anpassen.

Warum Halluzinationen entstehen

Ein Large Language ModelLarge Language ModelEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen → (die KI hinter ChatGPT, Claude und Gemini) ist eine Vorhersagemaschine. Es sagt das nächste wahrscheinliche Wort auf Basis von Mustern in seinen Trainingsdaten voraus. Es schlägt keine Fakten in einer Datenbank nach. **Es produziert Text, der einer korrekten Antwort *ähnelt***.

Genau deshalb sind Halluzinationen so gefährlich: Das Modell hat keinen internen Alarm, der sagt „jetzt rate ich“. Eine echte und eine erfundene Quellenangabe sehen gleich selbstbewusst aus.

Die Modelle von 2026 sind besser als früher. Tools wie ChatGPT, Claude und Gemini geben inzwischen Quellen an und durchsuchen das Web. Aber „besser“ heißt nicht „gelöst“. Die Fabrikationsrate ist gesunken, sie ist nicht bei null.

Die abgestufte Verifikations-Denkweise

Sie müssen nicht jedes Wort einer KI überprüfen. Damit wäre KI nutzlos. Stellen Sie stattdessen eine Frage, bevor Sie auf Basis eines Outputs handeln:

Was passiert, wenn das falsch ist?

Die Antwort bestimmt Ihre Prüfstufe.

Stufe 1: geringe Tragweite (kurzer Blick, weiter)

Die Kosten eines Fehlers sind unbedeutend oder leicht rückgängig zu machen.

• Brainstorming von Blog-Titeln
• Entwurf einer informellen E-Mail, die Sie ohnehin noch lesen
• Zusammenfassung eines Artikels für Ihr eigenes Verständnis
• Ideen für eine Geburtstagsfeier

Verifikation: Schnelles Durchlesen auf offensichtlichen Unsinn. Das ist alles. Wirkt eine Statistik aus dem Brainstorming schief, lassen Sie sie weg oder prüfen sie später.

Stufe 2: mittlere Tragweite (Behauptungen stichprobenartig prüfen)

Ein Fehler wäre peinlich, würde echte Zeit kosten oder Kollegen in die Irre führen, ist aber nicht gefährlich oder rechtlich bindend.

• Eine Marktzusammenfassung für ein internes Teammeeting
• Eine Anleitung, die Sie im Firmenblog veröffentlichen
• Produktvergleich als Recherche für eine Kaufentscheidung
• Der Entwurf eines Förderantrags

Verifikation: Prüfen Sie jede konkrete, überprüfbare Behauptung. Namen, Zahlen, Daten, Zitate und Statistiken. Öffnen Sie eine zweite Quelle für alles, was Sie als Fakt darstellen.

Eine einfache Gewohnheit: Lassen Sie das Modell Fakten von Interpretation trennen.

„Listen Sie jede faktische Behauptung aus Ihrer letzten Antwort als Bulletpoint auf, mit der konkreten Quelle für jede. Markieren Sie alles, bei dem Sie unsicher sind.“

Dann verifizieren Sie die Bulletpoints, nicht den Fließtext.

Stufe 3: hohe Tragweite (alles unabhängig prüfen)

Ein Fehler könnte einem Menschen schaden, gegen Gesetze verstoßen, viel Geld kosten oder Vertrauen zerstören.

• Medizin: Medikamentendosierungen, Diagnosen, Wechselwirkungen
• Recht: Urteilszitate, Vertragsklauseln, gesetzliche Fristen
• Finanzen: Steuerberatung, Investitionszahlen, regulatorische Meldungen
• Sicherheit: Anleitungen zu Elektrik, Chemikalien, statischen Arbeiten

Verifikation: Behandeln Sie den KI-Output wie einen *Entwurf eines ungeprüften Praktikanten*. Jeder einzelne Fakt muss gegen eine autoritative, unabhängige Quelle bestätigt werden. Ein Arzt prüft eine Arzneimitteldatenbank. Ein Anwalt zieht das tatsächliche Urteil. Ein Steuerberater prüft gegen das aktuelle Steuerrecht.

In Stufe 3 hat die KI nicht das letzte Wort. Ein qualifizierter Mensch und eine Primärquelle haben es.

Konkrete Szenarien

Medizin. Sie fragen eine KI: „Was ist die maximale Tagesdosis von Paracetamol für einen Erwachsenen?“ Sie antwortet „4.000 mg“. Das ist zufällig ein gängiger Wert, aber Dosierungen hängen von der Leberfunktion, Alkoholkonsum und anderen Medikamenten ab. Im klinischen Kontext prüfen Sie gegen eine Quelle wie die FDA-Label-Datenbank oder eine klinische Referenz, niemals nur den Chatbot.

Recht. Sie fragen nach Urteilen, die Ihre Argumentation stützen. Das Modell liefert drei mit perfekt aussehenden Zitaten. Bevor irgendetwas in einen Schriftsatz geht, schlagen Sie jeden Fall in der tatsächlichen Gerichtsdatenbank oder einem Dienst wie CourtListener nach. Wenn Sie ihn nicht finden, existiert ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → nicht.

Finanzen. Eine KI nennt Ihnen eine Obergrenze für einen Steuerabzug. Steuerregeln ändern sich jährlich und variieren regional. Sie prüfen gegen die aktuelle offizielle Vorgabe (in den USA IRS.gov) oder einen zugelassenen Fachmann.

Das Muster ist immer gleich: die KI beschleunigt den Entwurf, aber die Quelle der Wahrheit ist nie die KI.

Halluzinationen reduzieren, bevor Sie prüfen

Verifikation ist Ihr Sicherheitsnetz. Gutes Prompting verringert die Zahl der Fehler, die Sie abfangen müssen.

1. Geben Sie dem Modell das Quellmaterial. Wenn Sie das tatsächliche Dokument einfügen und dazu Fragen stellen, bleibt dem Modell viel weniger Raum zum Erfinden. Das nennt man Grounding.

2. Fordern Sie es auf, Unsicherheit zuzugeben. Ergänzen Sie: „Wenn Sie unsicher sind oder keine belastbare Quelle haben, sagen Sie es. Raten Sie nicht.“ Moderne Modelle halten sich gut an diese Anweisung.

3. Nutzen Sie Tools, die Quellen angeben. 2026 bieten Gemini, ChatGPT und Claude alle Websuche-Modi mit klickbaren Quellen. Schalten Sie sie für faktische Arbeit ein. Und dann *klicken Sie die Quellen an*. Eine Quellenangabe, die Sie nicht öffnen, ist keine Verifikation.

4. Fragen Sie nach der Begründung und prüfen Sie sie. Eine falsche Schlussfolgerung hat oft einen sichtbar falschen Schritt.

Hier ein kleines Beispiel mit einer APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen →, das eine Struktur aus „Konfidenz und Quellen“ in den Output erzwingt:

from openai import OpenAI

client = OpenAI()

prompt = """Answer the question below.
Then add two sections:
FACTS: every checkable claim as a bullet, each with a source.
CONFIDENCE: low / medium / high, and say what would change your answer.

Question: What is the standard statute of limitations for
breach of written contract in California?"""

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": prompt}],
)

print(response.choices[0].message.content)

Der strukturierte Output macht die Verifikation schnell: Sie prüfen die FACTS-Punkte und behandeln alles mit „low“-Konfidenz als unbestätigt, bis es belegt ist.

Eine Prüfgewohnheit aufbauen

Das größte Risiko ist nicht das Modell. Es ist der Automation Bias: unsere menschliche Neigung, einer selbstbewussten, gut formatierten Antwort zu vertrauen, nur weil eine Maschine sie produziert hat. Sauberes Layout fühlt sich wie Korrektheit an. Es ist keine.

Bauen Sie kleine Rituale, die diesen Reflex unterbrechen.

Das 3-Fragen-Gate

Bevor ein KI-Output Ihre Hände verlässt, fragen Sie:

1. Welche Stufe ist das? (Was passiert, wenn es falsch ist?)
2. Welche konkreten Behauptungen sind überprüfbar? (Namen, Zahlen, Daten, Quellenangaben, Zitate.)
3. Habe ich diese gegen eine unabhängige Quelle bestätigt?

Bei Stufe 1 dauert das zehn Sekunden. Bei Stufe 3 ist es die eigentliche Arbeit.

Achten Sie auf die Halluzinations-Warnsignale

Bestimmte Outputs verdienen zusätzliches Misstrauen:

• Konkrete Quellenangaben und URLs. Modelle erfinden diese häufig. Immer anklicken.
• Präzise Statistiken ohne Quelle. „73 % der Nutzer bevorzugen...“ Woher kommt das?
• Aktuelle Ereignisse. Modelle können veraltet sein oder aktuelle Details konfabulieren.
• Nischen- oder Randthemen. Weniger Trainingsdaten bedeuten mehr Raten.
• **Alles, was Sie *gerne* wahr hätten.** Ihr eigener Bias plus die Sprachgewandtheit des Modells sind eine gefährliche Mischung.

Machen Sie jemanden verantwortlich

Benennen Sie im Team oder in der Organisation für jeden kritischen KI-Output einen menschlichen Verantwortlichen. „Die KI hat es geschrieben“ ist keine Verteidigung. Die New Yorker Anwälte haben das auf die harte Art gelernt. Jemand gibt frei, und dieser Jemand hat geprüft.

Für einen tieferen, praxisnahen Rahmen dazu ist das NIST AI Risk Management Framework eine kostenlose, anerkannte Ressource zum Umgang mit KI-Risiken in realen Organisationen.

Alles zusammen: ein schneller Workflow

Angenommen, Sie schreiben eine kundenorientierte FAQ zu einem Finanzprodukt.

1. Entwurf mit KI. Fügen Sie Ihre echten Produktunterlagen ein und lassen Sie die FAQ ausschließlich daraus schreiben.
2. Stufe bestimmen. Kundenorientierte Finanzinformationen sind Stufe 3.
3. Behauptungen extrahieren. Lassen Sie das Modell jede faktische Aussage mit ihrer Quelle aus Ihren Unterlagen auflisten.
4. Unabhängig verifizieren. Bestätigen Sie jede gegen die Quelldokumente und die aktuellen Vorschriften.
5. Menschliche Freigabe. Eine qualifizierte Person prüft und genehmigt vor der Veröffentlichung.

Die KI hat 70 % der Arbeit schnell gemacht. Sie haben die 30 % gemacht, die alle schützen.

Kernpunkte

• Passen Sie die Verifikation der Tragweite an. Fragen Sie „Was passiert, wenn das falsch ist?“, bevor Sie handeln. Kurzer Blick bei geringer Tragweite; alles unabhängig prüfen bei medizinischen, rechtlichen und finanziellen Themen.
• In Stufe 3 ist die KI nie die Quelle der Wahrheit. Bestätigen Sie jeden Fakt gegen eine autoritative, unabhängige Quelle und lassen Sie einen qualifizierten Menschen freigeben.
• Achten Sie auf die Warnsignale. Quellenangaben, URLs, präzise Statistiken, aktuelle Ereignisse und Nischenthemen sind die Stellen, an denen sich Halluzinationen häufen. Klicken Sie jede Quelle an; trauen Sie nicht dem Layout.
• Fehler reduzieren, bevor Sie sie abfangen. Grounden Sie das Modell in echtem Quellmaterial, fordern Sie es auf, Unsicherheit zuzugeben, und nutzen Sie Suchmodi mit Quellenangaben, und öffnen Sie diese dann auch.
• Vorsicht vor Automation Bias. Eine selbstbewusste, saubere Antwort ist keine geprüfte Antwort. Benennen Sie für kritische Outputs einen menschlichen Verantwortlichen.