Halluzinationen: warum selbstbewusste Antworten falsch sein können

# Halluzinationen: warum selbstbewusste Antworten falsch sein kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen

2023 reichte ein New Yorker Anwalt namens Steven Schwartz einen Schriftsatz ein, in dem ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → sechs Gerichtsentscheidungen zitierte: *Varghese v. China Southern Airlines*, *Martinez v. Delta Air Lines* und vier weitere. Sie hatten Namen, Aktenzeichen, Zitate und Richter. Sie sahen perfekt aus.

Sie waren auch komplett erfunden. ChatGPT hatte jede einzelne davon erfunden. Der Richter verhängte gegen Schwartz und seinen Kollegen eine Geldbuße von 5.000 Dollar, und die Geschichte ging um die Welt.

Das Beunruhigende daran: ChatGPT hat nicht „gelogen“. Es hat genau das getan, wofür es gebaut wurde. Zu verstehen, warum, ist das Nützlichste, was Sie über KI lernen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen.

Was eine Halluzination tatsächlich ist

Eine Halluzination liegt vor, wenn ein KI-Modell Text produziert, der flüssig, selbstbewusst und falsch ist. Nicht „falsch“ wie ein Tippfehler. Falsch wie das Erfinden einer Gerichtsentscheidung, einer Studie, eines Zitats oder einer Statistik, die es nie gegeben hat.

Das Wort ist etwas irreführend. Das Modell „sieht“ keine Dinge. Es erzeugt die am plausibelsten klingenden nächsten Wörter, und manchmal ist die am plausibelsten klingende Antwort nicht die wahre.

Warum das passiert

Ein großes Sprachmodell (ein „LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen →“, die Technologie hinter ChatGPT, Claude und Gemini) macht im Kern eine Sache: Es vorhersagt das nächste Wort, immer wieder, auf Basis von Mustern, die es aus riesigen Textmengen gelernt hat.

Es hat keine Faktendatenbank, in der es nachschlägt. Es hat *Muster*. Wenn Sie nach einer juristischen Fundstelle fragen, weiß es, wie eine Fundstelle aussieht: ein Fallname, „v.“, zwei Parteien, ein Gericht, ein Jahr. Also produziert es etwas, das genau wie eine echte Fundstelle geformt ist, ob dieser Fall existiert oder nicht.

Stellen Sie sich einen brillanten Improvisationsschauspieler vor. Fragen Sie nach einem bulgarischen Science-Fiction-Film aus den 1990ern, und ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → wird selbstbewusst einen nennen, die Handlung beschreiben und den Hauptdarsteller loben. Die Darbietung ist fehlerlos. Der Film ist erfunden.

Warum sie so selbstbewusst klingen

Genau das hat den Anwalt getäuscht, und am Anfang täuscht es jeden.

LLMs sind darauf trainiert, klaren, flüssigen, autoritativ klingenden Text zu produzieren. Sie sind nicht darauf trainiert, Zweifel zutreffend auszudrücken. Ein Modell hat kein eingebautes Gefühl für „das weiß ich wirklich“ versus „ich rate“. Beides kommt in derselben geschliffenen, professionellen Stimme heraus.

Eine erfundene Fundstelle liest sich also genau wie eine echte. Kein Flackern, kein Zögern, kein „ich glaube, bin aber nicht sicher“. Flüssigkeit ist nicht dasselbe wie Korrektheit, aber unser Gehirn behandelt beides gleich.

Deshalb ist „es klang so sicher“ der schlechtestmögliche Grund, einer Antwort zu vertrauen.

Wo Halluzinationen am gefährlichsten sind

Manche Fragen sind deutlich riskanter als andere. Passen Sie auf, wenn Sie nach Folgendem fragen:

• Konkrete Fundstellen, Quellen oder URLs. Modelle erfinden gern plausibel aussehende Links und Titel von Studien.
• Exakte Zahlen, Daten und Statistiken. „73 % der Unternehmen“ klingt präzise. Oft ist es geraten.
• Zitate, die realen Personen zugeschrieben werden. Leicht zu erfinden, schwer zu erkennen.
• Juristische, medizinische oder finanzielle Details. Hoher Einsatz, und das Modell hat keine Zulassung.
• Aktuelle Ereignisse außerhalb des Trainingszeitraums des Modells, es sei denn, es durchsucht aktiv das Web.
• Nischen- oder Randthemen, zu denen es wenig Trainingsdaten gab.

Das Muster: Je konkreter und überprüfbarer eine Aussage ist, desto mehr sollten Sie sie prüfen.

Ein echtes Beispiel zum Ausprobieren

Fragen Sie einen beliebigen Chatbot das:

> „Nenne mir drei peer-reviewte Studien zur Wirkung von Büropflanzen auf die Produktivität im Büro, mit Autoren und Zeitschriftennamen.“

Sie bekommen oft saubere, selbstbewusste, wunderschön formatierte Fundstellen. Versuchen Sie dann, sie auf Google Scholar zu finden. Manche sind vielleicht echt. Manche haben echte Autoren, aber einen erfundenen Titel. Manche existieren überhaupt nicht. Diese einzige Übung lehrt die Lektion besser als jede Warnung.

Die einfachen Gewohnheiten, die das auffangen

Sie müssen nicht technisch sein, um sich zu schützen. Sie brauchen einige Reflexe.

1. Behandeln Sie KI-Output als Entwurf, nicht als Urteil

Das Modell liefert Ihnen einen Ausgangspunkt. Sie sind der Redakteur. Bei allem, was zählt, prüfen Sie, bevor Sie es verwenden.

2. Fragen Sie nach Quellen und prüfen Sie sie dann tatsächlich

„Was ist deine Quelle?“ zu fragen hilft ein wenig, aber das Modell kann Quellen auch erfinden. Der entscheidende Schritt ist das Anklicken. Wenn ein Link nicht öffnet oder ein Fall in keiner echten Datenbank auftaucht, verwerfen Sie die Aussage.

3. Nutzen Sie Tools, die das Web durchsuchen

2026 kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen ChatGPT, Claude und Gemini alle im Web browsen und live Seiten zitieren. Das reduziert Halluzinationen bei aktuellen Fakten drastisch, weil das Modell echte Quellen liest statt Muster abzurufen. Schalten Sie das für alles Faktische ein:

• In ChatGPT nutzen Sie den Suchmodus oder die Research-Tools.
• In Claude aktivieren Sie die Websuche.
• In Gemini wird aus der Google-Suche gezogen und Links werden angezeigt.

Klicken Sie immer die angezeigten Links an. Eine zitierte Quelle ist nur nützlich, wenn dort tatsächlich steht, was das Modell behauptet.

4. Bitten Sie das Modell, seine eigene Unsicherheit zu markieren

Dieser Prompt hilft:

> „Beantworte die Frage. Liste dann auf, bei welchen konkreten Aussagen du sicher bist und bei welchen du unsicher bist oder möglicherweise rätst.“

Es ist nicht perfekt, aber es bringt oft die wackeligen Stellen zum Vorschein.

5. Gegenprüfen mit zwei Modellen

Wenn ChatGPT und Gemini unabhängig voneinander dieselbe Antwort geben, kann Ihr Vertrauen steigen. Wenn sie sich widersprechen, haben Sie genau die Stelle gefunden, die zu untersuchen ist.

Eine leichte technische Gewohnheit: die Antwort grounden

Wenn Sie selbst mit den KI-Tools bauen (über deren Entwicklerschnittstelle, genannt APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Vollständige Definition ansehen →, ein Weg für Programme, Anfragen an das Modell zu senden), kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Sie Halluzinationen reduzieren, indem Sie dem Modell den Quelltext selbst mitgeben. Das nennt man Grounding: Statt das Modell abrufen zu lassen, geben Sie ihm die Fakten und sagen ihm, es soll nur daraus antworten.

Hier die Idee in einem kurzen Python-Snippet mit der OpenAI APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Vollständige Definition ansehen →:

from openai import OpenAI

client = OpenAI()

source_text = """
Our return policy: customers can return items within 30 days
for a full refund. Electronics must be returned within 14 days.
"""

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {
            "role": "system",
            "content": (
                "Answer ONLY using the provided policy text. "
                "If the answer is not in the text, say 'Not specified.'"
            ),
        },
        {"role": "user", "content": source_text + "\nHow long do I have to return a laptop?"},
    ],
)

print(response.choices[0].message.content)

Die Anweisung „wenn die Antwort nicht im Text steht, sage 'Not specified'“ gibt dem Modell die Erlaubnis zuzugeben, dass es etwas nicht weiß. Diese einzige Zeile verhindert viel selbstbewusstes Raten. Das Modell sollte hier „14 days“ antworten und sich weigern, eine Regelung zu erfinden, die Sie ihm nie gegeben haben.

Sie müssen nicht programmieren, um diese Idee zu nutzen. Auch im Chatfenster funktioniert es genauso, wenn Sie das eigentliche Dokument einfügen und sagen „antworte nur aus diesem Text“.

Was Halluzinationen nicht sind

Eine kurze Klarstellung, weil oft das Falsche dafür verantwortlich gemacht wird.

Eine Halluzination ist kein Bug, der nächsten Monat weggepatcht wird. Sie ist ein Nebeneffekt der Funktionsweise dieser Modelle. Neuere Modelle halluzinieren 2026 weniger, besonders bei Websuche, aber kein Modell liegt bei null. Bauen Sie Ihre Gewohnheiten so auf, als kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önne es immer passieren, denn das kann es.

Es ist auch keine Bösartigkeit des Modells. Es gibt keine Absicht. Es ist Mustervervollständigung, die bei einer selbstbewussten Unwahrheit gelandet ist.

Zurück zum Anwalt

Schwartz' eigentlicher Fehler war nicht, ChatGPT zu nutzen. Viele Anwälte nutzen KI gut. Sein Fehler war, selbstbewusstem Output bei einer Aufgabe mit hohem Einsatz und hoher Überprüfbarkeit zu vertrauen, ohne eine einzige Fundstelle zu prüfen.

Eine Suche in einer juristischen Datenbank hätte es in Minuten aufgedeckt. Das Werkzeug war in Ordnung. Was fehlte, war die Gewohnheit der Überprüfung.

Das ist die ganze Lektion: Die KI ist ein schneller, flüssiger, manchmal falscher Assistent. Ihr Urteil ist die Sicherheitsprüfung.

Die wichtigsten Erkenntnisse

• Flüssigkeit ist nicht Korrektheit. Eine selbstbewusste, geschliffene Antwort kann komplett erfunden sein. Vertrauen Sie dem Ton nie als Beweis.
• Prüfen Sie alles Konkrete und alles mit hohem Einsatz: Fundstellen, Zahlen, Zitate, Links und juristische, medizinische oder finanzielle Aussagen. Klicken Sie bis zur echten Quelle durch.
• Schalten Sie die Websuche ein in ChatGPT, Claude oder Gemini bei Faktenfragen, und prüfen Sie die zitierten Links, statt ihnen blind zu vertrauen.
• Grounden Sie das Modell, indem Sie den eigentlichen Quelltext einfügen und es anweisen, nur daraus zu antworten und „nicht angegeben“ zu sagen, wenn die Antwort fehlt.
• Behandeln Sie jede KI-Antwort als Entwurf, den Sie redigieren, nicht als Urteil, das Sie veröffentlichen. Sie sind jedes Mal die letzte Prüfung.