Model risk: wenn Ihre KI selbstbewusst falsch liegt

# Model risk: wenn Ihre KI selbstbewusst falsch liegt

Ein Safety-Monitor in einem mittelgroßen Biotech-Unternehmen meldete einmal einen Anstieg „leichter“ unerwünschter Ereignisse und gab sie zwei Wochen lang automatisch frei. Das KI-Triage-Modell tat genau das, wofür es trainiert worden war. Es war nur nicht auf die neue Dosierungsformulierung trainiert, die in jenem Quartal eingeführt wurde. Niemand bemerkte es, bis ein menschlicher Prüfer das Muster von Hand entdeckte. Das Modell war nicht kaputt. Es lag selbstbewusst falsch, und das ist schlimmer.

Das ist model risk: die Möglichkeit, dass ein produktives KI-System falsche oder irreführende Ergebnisse liefert, unbemerkt, während es scheinbar normal funktioniert. In der Pharmabranche, wo Modelle inzwischen Pharmakovigilanz (die Wissenschaft der Erkennung und Überwachung von Arzneimittelnebenwirkungen), Matching für klinische Studien und Zulassungsanträge berühren, steht dieses Risiko in seiner Tragweite neben dem klinischen und finanziellen Risiko. Es bekommt nur weit weniger Aufmerksamkeit im Vorstand.

Drei Fehlermodi, die man benennen sollte, bevor sie einen benennen

Drift

Drift bedeutet, dass sich die reale Welt verändert, das Modell aber nicht. Ein Modell, das auf Meldungen unerwünschter Ereignisse aus 2023 trainiert wurde, unterstellt die Arzneimittelformulierung, die Patientenpopulation und die Meldemuster jener Zeit. Ändern Sie den Herstellungsprozess, ergänzen Sie eine neue Indikation oder erweitern Sie auf die Patientenpopulation eines neuen Landes, und die Annahmen des Modells veralten unbemerkt.

Zwei Varianten lohnt es sich zu unterscheiden:

• Data drift: Die statistischen Eigenschaften der Eingangsdaten ändern sich (neue Patientendemografie, neue Laborgeräte, neue Kodierstandards wie MedDRA-Updates, das Medical Dictionary for Regulatory Activities zur Klassifikation unerwünschter Ereignisse).
• Concept drift: Die Beziehung zwischen Inputs und Ergebnissen ändert sich (eine Arzneimittelinteraktion, die letztes Jahr irrelevant war, ist es jetzt nicht mehr, weil eine Begleitmedikation neu zugelassen wurde).

Keine von beiden kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →ündigt sich an. Accuracy-Metriken, die auf alten Validierungssets berechnet werden, sehen noch lange gut aus, nachdem die Performance in der Praxis längst abgebaut hat.

Halluzination

Halluzination, ein Begriff aus der Forschung zu Large Language Models (LLMLLMEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen →), bedeutet, dass das Modell Output erzeugt, der flüssig, konkret und falsch ist. Bei der Zusammenfassung von Fallnarrativen zu unerwünschten Ereignissen kann ein LLMLLMEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen → einen Kausalzusammenhang erfinden („der Hautausschlag des Patienten wurde wahrscheinlich durch Drug X verursacht“), der durch die Quellmeldung nicht gestützt wird. Beim Patienten-Matching für Studien kann ein Modell ein Eignungskriterium zitieren, das im Protokoll nicht existiert.

Gefährlich ist das genau deshalb, weil der Output wie sorgfältige menschliche Argumentation klingt. Ein müder Prüfer, der täglich 200 KI-generierte Fallzusammenfassungen durchsieht, wird ein erfundenes Detail in flüssiger Prosa nicht immer bemerken.

Bias in den Trainingsdaten

Wenn die Trainingsdaten eine Population unterrepräsentieren, schneidet das Modell für diese Population schlechter ab, unbemerkt. Ein gut dokumentiertes Muster: Datensätze klinischer Studien waren historisch in Richtung männlicher, weißererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → und jüngerer Teilnehmer verzerrt, relativ zur tatsächlichen Krankheitslast (siehe die Guidance der FDA zu Diversität in klinischen Studien für die regulatorische Antwort). Ein Patienten-Matching-Modell, das auf dieser Historie trainiert wurde, findet geeignete Patienten aus unterrepräsentierten Gruppen schlechter und erkennt unerwünschte Ereignisse schlechter, die sich je nach Demografie unterschiedlich äußern.

Bias sieht nicht wie eine Fehlermeldung aus. ErErDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → sieht aus wie eine leicht niedrigere Match-Rate für eine Subgruppe, die niemandem auffällt, weil niemand das dashboard so segmentiert hat.

Wo es am meisten weh tut: zwei Use Cases

Triage unerwünschter Ereignisse (AE). Pharmakovigilanz-Teams nutzen KI, um eingehende Fallmeldungen nach Schweregrad zu klassifizieren und „schwerwiegende“ Fälle für die beschleunigte Meldung an die Behörden weiterzuleiten (in den USA gehen beschleunigte Meldungen nach 21 CFR 314.80 an die FDA; in der EU an EudraVigilance, die Sicherheitsdatenbank der Europäischen Arzneimittelagentur). Ein Modell mit Drift oder Bias kann schwerwiegende Fälle als Routine fehlklassifizieren und damit eine Meldung verzögern, die Behörden bei schwerwiegenden, unerwarteten Reaktionen innerhalb von 15 Kalendertagen erwarten. Das ist kein Effizienzproblem. Das ist ein Compliance- und Patientensicherheitsproblem.

Patienten-Matching für Studien. KI-Modelle durchsuchen elektronische Patientenakten, um Patienten zu finden, die den Eignungskriterien einer Studie entsprechen. Ein Modell, das überwiegend auf strukturierten Daten von Universitätskliniken trainiert wurde, kann bei Akten von Krankenhäusern der Grundversorgung mit unordentlicherer Dokumentation schlecht abschneiden, dabei systematisch Patienten ausschließen, die sonst qualifiziert wären, und die Studieneinschreibung von der realen Population wegverzerren.

Die Governance-Antwort: benennen, bevor es passiert

Die Regulierung holt auf. Das Discussion Paper der FDA zu AI/ML in der Arzneimittelentwicklung (2023) und ihr Digital Health Center skizzieren Erwartungen an Transparenz, Monitoring und menschliche Aufsicht, wobei umfassende bindende Regeln speziell für Pharma-KI sich Anfang 2026 noch weiterentwickeln und nicht vollständig kodifiziert sind. In der EU klassifiziert der AI Act (in Kraft seit 2024, mit gestuften Pflichten bis 2027) viele gesundheitsbezogene KI-Systeme als „hochriskant“, was Anforderungen an Risikomanagementsysteme, Data GovernanceData GovernanceData Governance umfasst die Regeln, Rollen und Prozesse, die sicherstellen, dass Daten in einer Organisation korrekt, sicher, klar definiert und verantwortungsvoll genutzt werden.Vollständige Definition ansehen →, menschliche Aufsicht und Post-Market-Monitoring auslöst. Pharmakovigilanz-KI fällt angesichts ihres Bezugs zur Patientensicherheit plausibel in diese Hochrisikokategorie.

Die praktische Governance-Antwort dreht sich, unabhängig vom genauen regulatorischen Zeitplan, um einige konkrete Kontrollen:

1. Model Cards und Dokumentation: eine laufend geführte Aufzeichnung darüber, welche Daten das Modell trainiert haben, seine bekannten Grenzen und der vorgesehene Einsatzzweck (siehe Googles ursprünglichen Model-Cards-Vorschlag für die Vorlage, auf die sich die Branche größtenteils geeinigt hat).

2. Drift-Monitoring im Produktivbetrieb: automatisierte statistische Tests, die Live-Input-Verteilungen mit Trainingsverteilungen vergleichen, mit Alerts, nicht nur mit quartalsweiser manueller Prüfung.

3. Human-in-the-loop-Freigabe: Keine AE-Triage-Klassifikation und kein Studien-Match sollte zu einer regulatorischen MaMaEinsatz von Software, um wiederkehrende Marketingaufgaben und Kampagnen zu automatisieren und Personalisierung in großem Maßstab über Kanäle wie E-Mail, Web und Social zu ermöglichen.Vollständige Definition ansehen →ßnahme oder einem Patientenkontakt führen, ohne dass ein qualifizierter Mensch sie überstimmen kann.

4. Performance-Audits nach Subgruppen: Accuracy, Sensitivität und False-Negative-Raten nach demografischen Subgruppen berichtet, nicht nur aggregiert.

Ein vereinfachter Drift-Check, wie ihn ein Data-Science-Team tatsächlich monatlich laufen lassen würde, sieht so aus:

from scipy.stats import ks_2samp

# Vergleich der Verteilung eines Schlüssel-Features (z. B. Patientenalter)
# zwischen Trainingsdaten und den Produktionsdaten des letzten Monats
statistic, p_value = ks_2samp(training_ages, production_ages_last_month)

if p_value < 0.01:
    print("Significant distribution shift detected: investigate before trusting outputs")

Das ist der Kolmogorov-Smirnov-Test, eine Standardmethode der Statistik zum Vergleich zweier Verteilungen. ErErDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → erkennt Halluzination oder Bias nicht von allein, aber ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → ist eine günstige erste Stolperdraht-Sicherung für Drift.

Die Checkliste vor dem Deployment aufbauen

Bevor ein KI-Modell im Produktivbetrieb AE-Triage oder Patienten-Matching berührt, sollte ein governance-orientiertes Team folgende Fragen beantworten kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen:

• Provenienz: Welche Daten haben dieses Modell trainiert, und repräsentieren sie unsere aktuelle Patientenpopulation und die aktuelle Arzneimittelformulierung?
• Validierung: Wurde die Performance auf einem Holdout-Set getestet, das die Unordnung der Praxis abbildet (fehlende Felder, nicht englischsprachige Akten, Dokumentation aus Häusern der Grundversorgung), und nicht nur auf saubere Benchmark-Daten?
• Erklärbarkeit: Lässt sich der Output des Modells auf konkrete Inputs zurückführen, sodass ein Prüfer einen markierten Fall plausibilisieren kann, statt ihm blind zu vertrauen?
• Eskalationspfad: Gibt es einen klaren, schnellen Weg für einen Menschen, das Modell zu überstimmen oder zu stoppen, wenn etwas falsch aussieht?
• Monitoring-Frequenz: Wer verantwortet das Drift-Monitoring, und wie oft wird es tatsächlich geprüft, nicht nur protokolliert?

Nichts davon beseitigt model risk. Das Ziel ist, Fehler sichtbar und schnell korrigierbar zu machen, statt wie im Biotech-Fall am Anfang dieser Lektion zwei Wochen lang unbemerkt zu bleiben.

🎬 [VIDEO: "The dangers of AI hallucinations in healthcare" - youtube.com - eine kurze Erklärung, wie generative KI plausible, aber falsche klinische Inhalte erzeugt, und warum Fachexperten eingebunden bleiben müssen]

Key Takeaways

• Model risk in der Pharma-KI zeigt sich als Drift (die Welt ändert sich, das Modell nicht), Halluzination (flüssiger, aber erfundener Output) und Bias in den Trainingsdaten (unbemerkt schlechtere Performance für unterrepräsentierte Gruppen).
• Die Triage unerwünschter Ereignisse und das Patienten-Matching für Studien sind Use Cases mit hohem Einsatz, weil Fehler hier regulatorische Meldungen verzögern oder Studienpopulationen verzerren, statt Nutzer nur zu behelligen.
• Der EU AI Act behandelt viele Gesundheits-KI-Systeme als hochriskant und verlangt Risikomanagement und menschliche Aufsicht; die US-Erwartungen entwickeln sich, Stand 2026, über FDA-Guidance statt über eine einzige bindende Regel.
• Konkrete Guardrails existieren und sind im Verhältnis zum Risiko günstig: Model Cards, automatisiertes Drift-Monitoring, verpflichtende menschliche Freigabe und Performance-Audits auf Subgruppenebene.
• Die Kerndisziplin ist, Fehler schnell sichtbar zu machen. Ein falsches Modell ist beherrschbar; ein unbemerkt falsches Modell nicht.