Halluzinationen: warum selbstbewusste Antworten falsch sein können

2023 reichte ein New Yorker Anwalt namens Steven Schwartz einen Schriftsatz ein, der sechs Gerichtsurteile zitierte: *Varghese v. China Southern Airlines*, *Martinez v. Delta Air Lines* und vier weitere. Sie hatten Namen, Aktenzeichen, Zitate und Richter. Sie sahen perfekt aus.

Sie waren auch komplett erfunden. ChatGPT hatte jedes einzelne davon erfunden. Der Richter verhängte gegen Schwartz und seinen Kollegen eine Geldbuße von 5.000 Dollar, und die Geschichte ging um die Welt.

Der beunruhigende Teil: ChatGPT hat nicht „gelogen“. Es hat genau das getan, wofür es gebaut wurde. Zu verstehen, warum, ist das Nützlichste, was Sie über KI lernen kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen.

Was eine Halluzination tatsächlich ist

Eine Halluzination liegt vor, wenn ein KI-Modell Text produziert, der flüssig, selbstbewusst und falsch ist. Nicht „falsch“ wie ein Tippfehler. Falsch wie das Erfinden eines Gerichtsurteils, eines Forschungspapiers, eines Zitats oder einer Statistik, die es nie gegeben hat.

Das Wort ist etwas irreführend. Das Modell „sieht“ nichts. Es generiert die plausibelst klingenden nächsten Wörter, und manchmal ist die plausibelst klingende Antwort nicht die wahre.

Warum das passiert

Ein großes Sprachmodell (ein „LLMLLMEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen →“, die Technologie hinter ChatGPT, Claude und Gemini) tut im Kern eines: Es sagt das nächste Wort voraus, immer wieder, auf Basis von Mustern, die es aus riesigen Textmengen gelernt hat.

Es hat keine Faktendatenbank, in der es nachschlägt. Es hat *Muster*. Wenn Sie nach einer juristischen Fundstelle fragen, weiß es, wie eine Fundstelle aussieht: ein Fallname, „v.“, zwei Parteien, ein Gericht, ein Jahr. Also produziert es etwas, das genau die Form einer echten Fundstelle hat, ganz unabhängig davon, ob dieser Fall existiert.

Stellen Sie sich einen brillanten Improvisationsschauspieler vor. Fragen Sie nach einem bulgarischen Science-Fiction-Film aus den 1990ern, und ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → nennt selbstbewusst einen, beschreibt die Handlung und lobt den Hauptdarsteller. Die Darbietung ist tadellos. Der Film ist Fiktion.

Warum sie so selbstbewusst klingen

Genau das hat den Anwalt getäuscht, und es täuscht am Anfang jeden.

LLMs sind darauf trainiert, klaren, flüssigen, autoritativ klingenden Text zu produzieren. Sie sind nicht darauf trainiert, Zweifel präzise auszudrücken. Ein Modell hat kein eingebautes Gefühl für „das weiß ich wirklich“ gegenüber „das rate ich“. Beides kommt in derselben glatten, professionellen Stimme heraus.

Eine erfundene Fundstelle liest sich also genau wie eine echte. Kein Flackern, kein Zögern, kein „ich glaube, bin aber nicht sicher“. Flüssigkeit ist nicht dasselbe wie Korrektheit, aber unser Gehirn behandelt beides gleich.

Deshalb ist „es klang so sicher“ der schlechteste Grund, einer Antwort zu vertrauen.

Wo Halluzinationen am gefährlichsten sind

Manche Fragen sind deutlich riskanter als andere. Passen Sie auf, wenn Sie fragen nach:

• Konkreten Fundstellen, Quellen oder URLs. Modelle erfinden gern plausibel aussehende Links und Papertitel.
• Exakten Zahlen, Daten und Statistiken. „73 % der Unternehmen“ klingt präzise. Oft ist es geraten.
• Zitaten, die realen Personen zugeschrieben werden. Leicht zu fabrizieren, schwer zu erkennen.
• Juristischen, medizinischen oder finanziellen Details. Hohe Einsätze, und das Modell hat keine Zulassung.
• Aktuellen Ereignissen außerhalb des Trainings des Modells, es sei denn, es durchsucht aktiv das Web.
• Nischen- oder Randthemen, für die es wenig Trainingsdaten gab.

Das Muster: Je konkreter und überprüfbarer eine Aussage ist, desto eher sollten Sie sie prüfen.

Ein echtes Beispiel zum Ausprobieren

Fragen Sie einen beliebigen Chatbot das:

„Gib mir drei peer-reviewte Studien zum Effekt von Büropflanzen auf die Produktivität im Büro, mit Autoren und Zeitschriftennamen.“

Sie bekommen oft saubere, selbstbewusste, wunderschön formatierte Fundstellen. Versuchen Sie dann, sie auf Google Scholar zu finden. Manche sind vielleicht echt. Manche haben echte Autoren, aber einen erfundenen Titel. Manche existieren überhaupt nicht. Diese eine Übung lehrt die Lektion besser als jede Warnung.

Die einfachen Gewohnheiten, die das abfangen

Sie müssen nicht technisch sein, um sich zu schützen. Sie brauchen ein paar Reflexe.

1. Behandeln Sie KI-Output als Entwurf, nicht als Urteil

Das Modell gibt Ihnen einen Startpunkt. Sie sind die Redaktion. Bei allem, was zählt, prüfen Sie, bevor Sie es verwenden.

2. Fragen Sie nach Quellen, und prüfen Sie sie dann wirklich

„Was ist deine Quelle?“ zu fragen hilft ein wenig, aber das Modell kann auch Quellen erfinden. Der entscheidende Schritt ist das Anklicken. Wenn ein Link nicht öffnet oder ein Fall in keiner echten Datenbank auftaucht, lassen Sie die Aussage weg.

3. Nutzen Sie Tools, die das Web durchsuchen

2026 können ChatGPT, Claude und Gemini alle im Web browsen und lebende Seiten zitieren. Das reduziert Halluzinationen bei aktuellen Fakten drastisch, weil das Modell echte Quellen liest statt Muster abzurufen. Schalten Sie das für alles Faktische ein:

• In ChatGPT nutzen Sie den Suchmodus oder die Research-Tools.
• In Claude aktivieren Sie die Websuche.
• In Gemini wird aus der Google-Suche gezogen und Links werden angezeigt.

Klicken Sie immer die angezeigten Links an. Eine zitierte Quelle ist nur nützlich, wenn dort tatsächlich steht, was das Modell behauptet.

4. Bitten Sie das Modell, eigene Unsicherheit zu markieren

Dieser Prompt hilft:

„Beantworte die Frage. Liste dann auf, bei welchen konkreten Aussagen du sicher bist und bei welchen du unsicher bist oder möglicherweise rätst.“

Es ist nicht perfekt, bringt aber oft die wackeligen Teile zum Vorschein.

5. Gegenprüfen mit zwei Modellen

Wenn ChatGPT und Gemini unabhängig voneinander dieselbe Antwort geben, kann Ihr Vertrauen steigen. Wenn sie sich widersprechen, haben Sie genau die Stelle gefunden, die Sie untersuchen müssen.

Eine leicht technische Gewohnheit: die Antwort grounden

Wenn Sie irgendwann mit den KI-Tools bauen (über deren Entwicklerschnittstelle, genannt APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen →, ein Weg für Programme, Anfragen an das Modell zu senden), können Sie Halluzinationen reduzieren, indem Sie dem Modell den Quelltext selbst mitgeben. Das nennt man Grounding: Statt das Modell zum Erinnern aufzufordern, geben Sie ihm die Fakten und sagen ihm, es soll nur daraus antworten.

Hier die Idee in einem kurzen Python-Snippet mit der OpenAI-API:

from openai import OpenAI

client = OpenAI()

source_text = """
Our return policy: customers can return items within 30 days
for a full refund. Electronics must be returned within 14 days.
"""

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {
            "role": "system",
            "content": (
                "Answer ONLY using the provided policy text. "
                "If the answer is not in the text, say 'Not specified.'"
            ),
        },
        {"role": "user", "content": source_text + "\nHow long do I have to return a laptop?"},
    ],
)

print(response.choices[0].message.content)

Die Anweisung „wenn die Antwort nicht im Text steht, sage 'Not specified'“ gibt dem Modell die Erlaubnis, zuzugeben, dass es es nicht weiß. Diese eine Zeile verhindert viel selbstbewusstes Raten. Das Modell sollte hier „14 days“ antworten und sich weigern, eine Richtlinie zu erfinden, die Sie ihm nie gegeben haben.

Sie brauchen nicht zu programmieren, um diese Idee zu nutzen. Auch im Chatfenster funktioniert es genauso, das echte Dokument einzufügen und zu sagen „antworte nur aus diesem Text“.

Was Halluzinationen nicht sind

Eine kurze Klarstellung, weil oft das Falsche verantwortlich gemacht wird.

Eine Halluzination ist kein Bug, der nächsten Monat weggepatcht wird. Sie ist ein Nebeneffekt der Funktionsweise dieser Modelle. Neuere Modelle halluzinieren 2026 weniger, besonders bei Websuche, aber kein Modell ist bei null. Bauen Sie Ihre Gewohnheiten so auf, als könnte es immer passieren, denn es kann.

Es ist auch keine Böswilligkeit des Modells. Es gibt keine Absicht. Es ist Mustervervollständigung, die bei einer selbstbewussten Unwahrheit gelandet ist.

Zurück zum Anwalt

Schwartz' eigentlicher Fehler war nicht, ChatGPT zu benutzen. Viele Anwälte nutzen KI gut. Sein Fehler war, selbstbewusstem Output bei einer Aufgabe mit hohem Einsatz und hoher Überprüfbarkeit zu vertrauen, ohne eine einzige Fundstelle zu prüfen.

Eine Suche in einer juristischen Datenbank hätte es in Minuten aufgedeckt. Das Werkzeug war in Ordnung. Was fehlte, war die Gewohnheit der Überprüfung.

Das ist die ganze Lektion: Die KI ist ein schneller, flüssiger, manchmal falscher Assistent. Ihr Urteil ist die Sicherheitsprüfung.

Key Takeaways

• Flüssigkeit ist nicht Korrektheit. Eine selbstbewusste, geschliffene Antwort kann komplett erfunden sein. Vertrauen Sie nie dem Tonfall als Beweis.
• Prüfen Sie alles Konkrete und alles mit hohem Einsatz: Fundstellen, Zahlen, Zitate, Links sowie juristische, medizinische oder finanzielle Aussagen. Klicken Sie sich zu einer echten Quelle durch.
• Schalten Sie die Websuche ein in ChatGPT, Claude oder Gemini für faktische Fragen, und prüfen Sie die zitierten Links, statt ihnen blind zu vertrauen.
• Grounden Sie das Modell, indem Sie den echten Quelltext einfügen und es anweisen, nur daraus zu antworten und „not specified“ zu sagen, wenn die Antwort fehlt.
• Behandeln Sie jede KI-Antwort als Entwurf, den Sie redigieren, nicht als Urteil, das Sie veröffentlichen. Sie sind jedes Mal die letzte Kontrolle.