Modellrisiko im klinischen und im Laborumfeld

# Modellrisiko im klinischen und im Laborumfeld

2021 prüften Forscher Dutzende Modelle zur COVID-19-Thoraxbildgebung und stellten fest, dass nicht ein einziges klinisch brauchbar war. Viele hatten gelernt, das Krankenhaus zu erkennen, nicht die Krankheit: Ein Modell, das dort trainiert wurde, wo kranke Patienten liegend aufgenommen wurden, hatte einfach gelernt, dass „liegend gleich COVID" bedeutet. Anderswo eingesetzt, brach es zusammen. Das ist Modellrisiko, und in der Medizin kostet es nicht nur Geld. Es führt zu Fehldiagnosen bei Menschen.

Was „Modellrisiko" hier bedeutet

Modellrisiko ist das Risiko, dass ein KI-System falsche oder schädliche Outputs erzeugt und Sie auf dieser Basis handeln. Im Banking sind die Folgen finanziell. In Biotech und Medtech sind die Folgen ein übersehener Tumor, eine falsche Medikamentendosis oder eine gescheiterte klinische Studie, die Jahre an PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen →-Wert verbrennt.

Drei Fehlermodi verursachen den größten Teil des realen Schadens. Lernen Sie, sie zu benennen.

1. Dataset shift

Dataset shift liegt vor, wenn die Daten, die ein Modell im Produktivbetrieb sieht, von seinen Trainingsdaten abweichen. Die Welt bewegt sich; das Modell nicht.

Varianten, denen Sie begegnen werden:

• Covariate shift: Die Input-Verteilung ändert sich. Ein Pathologie-Modell, das auf Präparaten einer Scanner-Marke trainiert wurde, sieht unscharfere Präparate eines neuen Scanners, und die Confidence bricht ein.
• Label shift: Der Mix der Outcomes ändert sich. Ein Sepsis-Prädiktor, der auf einer Patientenpopulation von 2019 justiert wurde, liefert schlechtere Ergebnisse, wenn sich der Case Mix nach einer neuen Aufnahmepolitik verschiebt.
• Concept drift: Die Beziehung zwischen Input und Outcome ändert sich. Neue Behandlungsleitlinien bedeuten, dass dieselben Laborwerte jetzt ein anderes Risiko implizieren.

Das Epic Sepsis Model ist die klassische Warnung. Eine externe Validierung, veröffentlicht in *JAMA Internal Medicine* (2021), fand, dass es deutlich schlechter abschnitt als vom Anbieter beworben: Beim verwendeten Alert-Schwellenwert übersah es die meisten Sepsisfälle und überflutete Kliniker gleichzeitig mit Alerts. Die Studienzusammenfassung finden Sie über PubMed.

2. Verzerrte Trainingskohorten

Wenn Ihre Trainingsdaten eine Gruppe unterrepräsentieren, liefert das Modell für diese Gruppe schlechtere Ergebnisse, und das unbemerkt.

Das am häufigsten zitierte Beispiel: Pulsoximeter und Hauttyp. Studien (darunter ein viel beachteter Brief im *NEJM* von 2020) zeigten, dass die Geräte die Sauerstoffsättigung bei schwarzen Patienten überschätzten und so gefährlich niedrige Werte verdeckten. Das Muster lässt sich auf KI übertragen: Ein Dermatologie-Klassifikator, der überwiegend auf heller Haut trainiert wurde, übersieht Melanome auf dunkler Haut.

Kohortenbias trifft auch die Wirkstoffforschung. Ein Modell, das auf genomischen Daten mit Übergewicht europäischer Abstammung trainiert wurde (Stand 2026 noch die Mehrheit der öffentlichen Datensätze), kann Targets vorschlagen, die sich nicht über Populationen hinweg übertragen lassen, und so nachgelagerte Studienbudgets verschwenden.

3. Stille Modelldegradation

Die unheimliche Variante. Das Modell stürzt nicht ab. Es wird einfach schlechter, und niemand merkt es, weil die Outputs weiterhin plausibel aussehen.

Ursachen: Änderungen in der vorgelagerten Daten-PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen → (ein Labor benennt ein Feld um, Einheiten wechseln von mg/dL auf mmol/L), saisonale Veränderungen der Population, ein Firmware-Update an einem Gerät. Ohne Monitoring kann die Performance monatelang driften, bevor ein Audit oder ein schlechtes Outcome es sichtbar macht.

Das Risiko bewerten: ein einfaches Framework

Regulierer wollen, dass Sie Risiken vor dem Deployment kategorisieren und bewerten, nicht danach. Nutzen Sie zwei Achsen aus dem klinischen Risikomanagement (ISO 14971, der Standard für das Risikomanagement von Medizinprodukten), angewandt auf KI.

Risk score = Severity x Probability x Detectability gap

• Severity: Wie schlimm ist ein falscher Output? (1 = kosmetisch, 5 = Tod des Patienten oder Scheitern der Studie)
• Probability: Wie wahrscheinlich ist der Fehlermodus? (1 = selten, 5 = häufig)
• Detectability gap: Wie wahrscheinlich bleibt ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → unbemerkt? (1 = sofort erkannt, 5 = völlig still)

Durchgerechnetes Beispiel

Ein Radiologie-Triage-Tool, das Arbeitslisten neu priorisiert.

• Severity: eine übersehene intrakranielle Blutung ist katastrophal. Score 5.
• Probability: Covariate shift durch einen neuen CT-Scanner ist innerhalb eines Jahres plausibel. Score 3.
• Detectability gap: kein Drift-Monitoring vorhanden, Fehler sind still. Score 5.

Risk score = 5 x 3 x 5 = 75 von maximal 125.

Jetzt kommt Drift-Monitoring mit wöchentlichen Performance-Checks dazu. Der Detectability gap sinkt auf 2.

Neuer Score = 5 x 3 x 2 = 30.

Dasselbe Modell, dasselbe klinische Risiko, aber der Guardrail hat das gemessene Risiko um 60 Prozent gesenkt. Genau das ist das Argument, das Sie einem Regulierer oder einem Board vortragen: Die Zahl hat sich wegen einer konkreten MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßnahme bewegt.

*(Dieses Scoring-SchemaSchemaA schema is the formal blueprint that defines how data is structured, named, typed, and related within a database, file, or message.Vollständige Definition ansehen → ist ein Lehrinstrument, keine regulatorisch vorgeschriebene Formel.)*

Was die Regulierer tatsächlich verlangen

Namen, die Sie für 2026 kennen müssen.

USA, FDA (Food and Drug Administration). KI-basierte Medizinprodukte werden als SaMD (Software as a Medical Device) reguliert. Die FDA hat bis heute über 1.000 KI/ML-basierte Geräte freigegeben (Quelle ist die laufend geführte Liste der FDA, die periodisch aktualisiert wird; behandeln Sie jede einzelne Zahl als Schätzung). Das zentrale moderne Instrument ist der Predetermined Change Control Plan (PCCP): Sie erklären vorab, wie Ihr Modell aktualisiert und überwacht wird, sodass ein Retraining keine völlig neue Einreichung erfordert. Die FDA hat die PCCP-Guidance im Dezember 2024 finalisiert.

Europa. Zwei Ebenen greifen ineinander:

• Die EU-Medizinprodukteverordnung (MDR) und die IVDR (In Vitro Diagnostic Regulation) regeln Sicherheit und Leistung von Produkten.
• Der EU AI Act (seit 2024 in Kraft, mit Übergangsfristen bis 2026 und 2027) klassifiziert die meiste medizinische KI als hochriskant und ergänzt Anforderungen an Data GovernanceData GovernanceData governance is the set of policies, roles, and processes that ensure data is accurate, secure, well-defined, and used responsibly across an organization.Vollständige Definition ansehen →, menschliche Aufsicht, Logging und Post-Market-Monitoring zusätzlich zu MDR/IVDR.

Die praktische Konsequenz: In Europa muss ein medizinisches KI-Produkt sowohl die Produktvorschriften als auch den AI Act erfüllen. Sie überlappen sich, sind aber nicht identisch.

Guardrails, die Sie vor dem Deployment durchlaufen sollten

Konkrete Checks, grob in dieser Reihenfolge.

Externe Validierung. Testen Sie mit Daten von Standorten, Scannern und Populationen, auf denen das Modell nie trainiert wurde. Bricht die Performance stark ein, haben Sie Covariate shift eingebaut.

Subgruppen-Performance. Berichten Sie Genauigkeit aufgeschlüsselt nach Alter, Geschlecht, Abstammung, Hauttyp, Gerätetyp. Ein einzelner Schlagzeilen-AUC (Area Under the Curve, ein MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ß für Klassifikator-Genauigkeit von 0,5 bis 1,0) verdeckt genau die Fehler, durch die Menschen zu Schaden kommen.

Kalibrierung, nicht nur Genauigkeit. Ein Modell kann Patienten korrekt ranken und trotzdem falsche Wahrscheinlichkeiten ausgeben. „90 Prozent Risiko" muss bedeuten, dass 90 von 100 solchen Patienten die Erkrankung tatsächlich haben.

Drift-Monitoring im Produktivbetrieb. Das ist die Abhilfe gegen stille Degradation. Verfolgen Sie Input- und Output-Verteilungen über die Zeit und alarmieren Sie bei Abweichungen.

Hier die minimale Variante, mit einem Standard-Statistiktest zur Erkennung von Covariate shift in einem Input-Feature:

from scipy.stats import ks_2samp

# reference = Feature-Werte aus Training/Validierung
# live      = dasselbe Feature aus dem letzten Produktionsfenster
stat, p_value = ks_2samp(reference_feature, live_feature)

if p_value < 0.01:
    alert("Distribution shift detected: investigate before trusting outputs")

Der Kolmogorov-Smirnov-Test vergleicht zwei Verteilungen. Ein sehr kleiner p-Wert bedeutet, dass die Live-Daten nicht mehr wie Ihre Referenzdaten aussehen. Das ist Ihre Frühwarnung, keine Diagnose.

🎬 [VIDEO: "The Problem with AI in Healthcare" - youtube.com - verständlicher Überblick, wie medizinische KI-Modelle an realen Daten scheitern und warum Validierung zählt]

Governance: wem gehört das Risiko

Ein Modell ohne Owner ist eine Haftung ohne Adresse. Erstklassige KI-Governance in Biotech vergibt drei Rollen explizit:

• Model owner (meist klinisch oder R&D): verantwortlich für den Intended Use und dafür, das Modell abzuschalten, wenn es driftet.
• Validierung/Qualität: unabhängige Prüfung, mappt Kontrollen auf die Anforderungen von MDR, IVDR, FDA und AI Act.
• MLOps/Monitoring: betreibt die Drift-Alerts, loggt jede Prediction, hält den Audit Trail, den der AI Act verlangt.

Zwei weitere Punkte ohne Verhandlungsspielraum:

Menschliche Aufsicht. Ein Kliniker muss das Modell sehen, hinterfragen und übersteuern kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen. Der EU AI Act schreibt das für Hochrisikosysteme vor. Automation Bias (Menschen, die sich der Maschine beugen) ist selbst ein Risiko, gegen das man designen muss.

Logging und Nachvollziehbarkeit. Jeder Input, Output, jede Modellversion und jedes Override sollte protokolliert werden. Wenn etwas schiefgeht, und das wird passieren, müssen Sie rekonstruieren kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, was das Modell gesehen und entschieden hat.

Key Takeaways

• Benennen Sie die drei Killer: dataset shift (die Welt ändert sich), verzerrte Kohorten (die Daten waren nie repräsentativ) und stille Degradation (es bricht leise). Die meisten Fehler nach dem Deployment sind einer davon.
• Bewerten Sie das Risiko vor dem Launch, mit Severity mal Probability mal Detectability gap. Guardrails rechtfertigen sich, indem sie den Detectability gap senken, und Sie kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen die Bewegung der Zahl zeigen.
• In Europa stapelt sich die Regulierung: MDR/IVDR plus EU AI Act (medizinische KI ist hochriskant). In den USA reguliert die FDA KI als SaMD, mit einem PCCP, der es erlaubt, Modell-Updates vorab genehmigen zu lassen.
• Validieren Sie extern und nach Subgruppen. Ein starker Gesamt-AUC, der schwache Performance auf dunkler Haut oder mit einem neuen Scanner verdeckt, ist nicht sicher, sondern gefährlich mit gutem Marketing.
• Monitoring im Produktivbetrieb oder Blindflug. Drift-Erkennung plus vollständiges Logging plus ein namentlich benannter Model owner ist die minimal glaubwürdige Governance für jedes eingesetzte klinische oder Labormodell.