Hallucination
Auch: AI hallucination, confabulation, fabrication
Eine Hallucination liegt vor, wenn ein KI-Modell Output erzeugt, der flüssig und selbstbewusst klingt, aber faktisch falsch, erfunden oder nicht durch die Quelldaten gedeckt ist.
Was es ist
Eine Hallucination tritt auf, wenn ein generatives KI-Modell (etwa ein Large Language Model oder ein Bildgenerator) Inhalte produziert, die plausibel klingen, aber falsch, erfunden oder in keiner realen Quelle verankert sind. Das Modell lügt nicht im menschlichen Sinne: Es sagt wahrscheinliche Token-Sequenzen voraus, und manchmal entspricht der statistisch wahrscheinlichste Output nicht der Realität.
Hallucinations treten in verschiedenen Formen auf:
- Faktische Fehler: ein falsches Datum, eine falsche Statistik oder eine falsche Zuschreibung.
- Erfundene Quellen: Zitate, URLs, Gerichtsurteile oder Studien, die es nicht gibt.
- Logische Widersprüche: Aussagen, die früheren Aussagen innerhalb derselben Antwort widersprechen.
- Nicht gedeckte Behauptungen: selbstbewusste Antworten zu Themen außerhalb des bereitgestellten Kontexts.
Warum das wichtig ist
Hallucinations sind eine der größten Hürden für den vertrauenswürdigen Einsatz von KI. In Bereichen mit hohem Risiko sind die Folgen gravierend:
- Finance: eine erfundene Ergebniszahl oder eine falsch zitierte Regulierung führt zu schlechten Entscheidungen.
- Healthcare und Recht: erfundene Referenzen können realen Schaden oder Sanktionen verursachen.
- Marketing: falsche Produktaussagen setzen eine Marke Compliance- und Reputationsrisiken aus.
Da Modelle Hallucinations im gleichen flüssigen, selbstbewussten Ton präsentieren wie korrekte Antworten, können Nutzer sie nicht am Stil erkennen. Damit liegt die Prüfung beim Menschen.
Wie damit in der Praxis umgegangen wird
Teams reduzieren Hallucinations mit mehreren Techniken:
- Retrieval Augmented Generation (RAG): Antworten in vertrauenswürdigen Dokumenten verankern, damit das Modell realen Kontext zitiert.
- Prompt Design: das Modell anweisen, bei Unsicherheit „Ich weiß es nicht“ zu sagen.
- Guardrails und Validierung: Outputs gegen Datenbanken, Schemas oder Regeln prüfen.
- Human Review: bei kritischen Outputs einen Menschen im Loop behalten.
- Evaluation: Hallucination-Raten vor dem Rollout mit Benchmarks messen.
Konkretes Beispiel
Sie fragen einen Chatbot: „Welche Studie hat bewiesen, dass dieses Supplement Schlaflosigkeit heilt?“ Das Modell antwortet selbstbewusst und zitiert „Journal of Sleep Medicine, 2019, Dr. Lena Park“. Die Quellenangabe wirkt seriös, aber es gibt weder diesen Artikel noch diese Autorin noch dieses Ergebnis. Das Modell hat eine glaubwürdig aussehende Referenz erfunden. Ein Prüfer, der die Quelle kontrolliert, entdeckt die Hallucination, bevor sie beim Kunden landet.
Siehe auch
Häufige Fragen
Was ist eine KI-Hallucination?
Eine KI-Hallucination ist Output eines generativen Modells, der flüssig und selbstbewusst klingt, aber falsch, erfunden oder durch keine reale Quelle gedeckt ist. Das Modell lügt nicht: Es sagt wahrscheinliche Token-Sequenzen voraus, und die statistisch wahrscheinlichste Antwort entspricht manchmal nicht der Realität. Häufige Formen sind falsche Daten oder Statistiken, erfundene Quellenangaben, Selbstwidersprüche innerhalb einer Antwort und selbstbewusste Antworten zu Themen außerhalb des bereitgestellten Kontexts.
Warum erkenne ich nicht einfach am Ton, ob eine Antwort halluziniert ist?
Weil Modelle Hallucinations in genau demselben flüssigen, selbstbewussten Register erzeugen wie korrekte Antworten. Der Stil sagt nichts über die faktische Richtigkeit, ein gut geschriebener Absatz ist also kein Beweis dafür, dass der Inhalt stimmt. Deshalb bleibt die Prüfung Aufgabe des Menschen und ist nichts, was Sie an Ihr Leseempfinden delegieren können.
Was ist der Unterschied zwischen einem faktischen Fehler und einer erfundenen Quelle?
Ein faktischer Fehler ist ein falsches Datum, eine falsche Statistik oder eine falsche Zuschreibung zu etwas, das tatsächlich existiert. Eine erfundene Quelle ist ein vollständig erfundenes Zitat, eine erfundene URL, ein erfundenes Gerichtsurteil oder eine erfundene Studie ohne reales Gegenstück. Erfundene Quellen sind gefährlicher, weil sie überprüfbar aussehen und oft unkontrolliert durchgehen, besonders im Rechts- und Healthcare-Bereich, wo eine falsche Referenz Sanktionen oder realen Schaden auslösen kann.
Wie reduzieren Teams Hallucinations konkret?
In der Praxis werden fünf Techniken eingesetzt: Retrieval Augmented Generation (RAG), um Antworten in vertrauenswürdigen Dokumenten zu verankern, Prompt Design, das das Modell anweist, bei Unsicherheit zuzugeben, dass es die Antwort nicht kennt, Guardrails, die den Output gegen Datenbanken, Schemas oder Regeln validieren, Human Review für kritische Outputs und Evaluation, die Hallucination-Raten vor dem Rollout an Benchmarks messt. Sie ergänzen sich statt zu konkurrieren, und keine davon beseitigt das Risiko vollständig.
Können Sie ein konkretes Beispiel für eine erfundene Quellenangabe geben?
Fragen Sie einen Chatbot, welche Studie bewiesen hat, dass ein Supplement Schlaflosigkeit heilt, und er antwortet möglicherweise selbstbewusst mit dem Zitat „Journal of Sleep Medicine, 2019, Dr. Lena Park“. Die Referenz wirkt seriös, aber es gibt weder diesen Artikel noch diese Autorin noch dieses Ergebnis. Ein Prüfer, der die Quelle öffnet, entdeckt die Hallucination, bevor sie beim Kunden landet, und genau deshalb steht Human Review im Workflow.