Biotech & MedTech · Modellrisiko im klinischen und im Laborumfeld

2021 testeten Forscher dutzende COVID-19-Modelle für Thorax-Bildgebung und stellten fest, dass kein einziges klinisch verwendbar war. Viele hatten gelernt, das Krankenhaus zu erkennen, nicht die Krankheit: Ein Modell, das dort trainiert wurde, wo kranke Patienten liegend aufgenommen wurden, hatte einfach gelernt, dass „liegend gleich COVID" bedeutet. Woanders eingesetzt, versagte es. Das ist Modellrisiko, und in der Medizin kostet es nicht nur Geld. Es führt zu Fehldiagnosen bei Menschen.

Was „Modellrisiko" hier bedeutet

Modellrisiko ist das Risiko, dass ein KI-System falsche oder schädliche Outputs erzeugt und Sie auf dieser Basis handeln. Im Banking sind die Folgen finanziell. In Biotech und Medtech ist die Folge ein übersehener Tumor, eine falsche Medikamentendosis oder eine gescheiterte klinische Studie, die jahrelangen PipelinePipelineAlle aktiven Verkaufschancen über die Phasen des Vertriebsprozesses hinweg, zusammen mit ihrem gesamten potenziellen Wert und ihrer Abschlusswahrscheinlichkeit.Vollständige Definition ansehen →-Wert verbrennt.

Drei Fehlermodi verursachen den größten Teil des realen Schadens. Lernen Sie, sie zu benennen.

1. Dataset shift

Dataset shift tritt auf, wenn die Daten, die ein Modell in Produktion sieht, von den Trainingsdaten abweichen. Die Welt bewegt sich, das Modell nicht.

Varianten, denen Sie begegnen werden:

• Covariate shift: Die Verteilung der Inputs ändert sich. Ein Pathologie-Modell, das auf Präparaten einer Scanner-Marke trainiert wurde, sieht unschärfere Präparate eines neuen Scanners, und die Confidence bricht ein.
• Label shift: Die Mischung der Outcomes ändert sich. Ein Sepsis-Prädiktor, der auf einer Patientenpopulation von 2019 abgestimmt ist, liefert schwächere Ergebnisse, wenn sich der Case Mix nach einer neuen Aufnahmepolitik verschiebt.
• Concept drift: Die Beziehung zwischen Input und Outcome ändert sich. Neue Behandlungsleitlinien bedeuten, dass dieselben Laborwerte nun ein anderes Risiko implizieren.

Das Epic Sepsis Model ist die klassische Warnung. Eine externe Validierung, veröffentlicht in *JAMA Internal Medicine* (2021), zeigte, dass es deutlich schlechter abschnitt als vom Anbieter beworben: Es übersah beim verwendeten Alert-Schwellenwert die meisten Sepsis-Fälle und überflutete gleichzeitig die Kliniker mit Alerts. Die Studienzusammenfassung finden Sie über PubMed.

2. Verzerrte Trainingskohorten

Wenn Ihre Trainingsdaten eine Gruppe unterrepräsentieren, schneidet das Modell für diese Gruppe schlechter ab, und zwar unbemerkt.

Das am häufigsten zitierte Beispiel: Pulsoximeter und Hauttöne. Studien (darunter ein breit rezipierter *NEJM*-Brief von 2020) zeigten, dass Geräte die Blutsauerstoffwerte bei schwarzen Patienten überschätzten und damit gefährlich niedrige Werte verdeckten. Das Muster überträgt sich auf KI: Ein Dermatologie-Klassifikator, der überwiegend auf heller Haut trainiert wurde, übersieht Melanome auf dunkler Haut.

Kohortenverzerrung trifft auch die Wirkstoffforschung. Ein Modell, das auf genomischen Daten mit Übergewicht europäischer Abstammung trainiert wurde (Stand 2026 immer noch die Mehrheit der öffentlichen Datensätze), kann Targets vorschlagen, die sich nicht über Populationen hinweg übertragen, und damit Studienbudgets weiter unten in der Kette verschwenden.

3. Stille Modelldegradation

Die unangenehme Variante. Das Modell stürzt nicht ab. Es wird einfach schlechter, und niemand merkt es, weil die Outputs weiterhin plausibel aussehen.

Ursachen: Änderungen in der vorgelagerten Data PipelineData PipelineETL (Extract, Transform, Load) ist ein Datenintegrationsprozess, der Daten aus Quellsystemen extrahiert, in ein konsistentes Format bringt und in ein Zielsystem schreibt.Vollständige Definition ansehen → (ein Labor benennt ein Feld um, Einheiten wechseln von mg/dL auf mmol/L), saisonale Veränderungen der Population, ein Firmware-Update an einem Gerät. Ohne Monitoring kann die Performance monatelang driften, bevor ein Audit oder ein schlechtes Outcome es sichtbar macht.

Risiko bewerten: ein einfaches Framework

Regulatoren erwarten, dass Sie Risiken vor dem Deployment kategorisieren und bewerten, nicht danach. Nutzen Sie zwei Achsen aus dem klinischen Risikomanagement (ISO 14971, der Standard für Risikomanagement von Medizinprodukten), angewendet auf KI.

Risk Score = Severity x Probability x Detectability Gap

• Severity: Wie schlimm ist ein falscher Output? (1 = kosmetisch, 5 = Tod des Patienten oder Studienabbruch)
• Probability: Wie wahrscheinlich ist der Fehlermodus? (1 = selten, 5 = häufig)
• Detectability Gap: Wie wahrscheinlich bleibt ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → unbemerkt? (1 = sofort erkannt, 5 = völlig still)

Durchgerechnetes Beispiel

Ein Radiologie-Triage-Tool, das Arbeitslisten neu priorisiert.

• Severity: Eine übersehene intrakranielle Blutung ist katastrophal. Score 5.
• Probability: Covariate shift durch einen neuen CT-Scanner ist innerhalb eines Jahres plausibel. Score 3.
• Detectability Gap: Kein Drift-Monitoring vorhanden, Fehler bleiben still. Score 5.

Risk Score = 5 x 3 x 5 = 75 von möglichen 125.

Nun ergänzen Sie Drift-Monitoring mit wöchentlichen Performance-Checks. Der Detectability Gap sinkt auf 2.

Neuer Score = 5 x 3 x 2 = 30.

Dasselbe Modell, dieselben klinischen Einsätze, aber das Guardrail hat das gemessene Risiko um 60 Prozent gesenkt. Genau so argumentieren Sie gegenüber einem Regulator oder einem Board: Die Zahl hat sich wegen eines konkreten Controls bewegt.

*(Dieses Scoring-SchemaSchemaEin Schema ist der formale Bauplan, der festlegt, wie Daten in einer Datenbank, einer Datei oder einer Nachricht strukturiert, benannt, typisiert und miteinander verknüpft sind.Vollständige Definition ansehen → ist ein Lehrmittel, keine regulatorisch vorgeschriebene Formel.)*

Was die Regulatoren tatsächlich verlangen

Begriffe, die Sie für 2026 kennen müssen.

USA, FDA (Food and Drug Administration). KI-gestützte Medizinprodukte werden als SaMD (Software as a Medical Device) reguliert. Die FDA hat bis heute über 1.000 KI/ML-gestützte Geräte zugelassen (Quelle ist die laufend geführte Liste der FDA selbst, die periodisch aktualisiert wird; behandeln Sie jede einzelne Zahl als Schätzung). Das zentrale moderne Instrument ist der Predetermined Change Control Plan (PCCP): Sie deklarieren vorab, wie Ihr Modell aktualisiert und überwacht wird, sodass ein Retraining keine komplett neue Einreichung erfordert. Die FDA hat die PCCP-Guidance im Dezember 2024 finalisiert.

Europa. Zwei Ebenen greifen ineinander:

• Die EU-Medizinprodukteverordnung (MDR) und die IVDR (In Vitro Diagnostic Regulation) regeln Sicherheit und Leistung von Produkten.
• Der EU AI Act (seit 2024 in Kraft, mit gestuftem Inkrafttreten bis 2026 und 2027) klassifiziert die meiste medizinische KI als Hochrisiko und ergänzt Anforderungen an Data GovernanceData GovernanceData Governance umfasst die Regeln, Rollen und Prozesse, die sicherstellen, dass Daten in einer Organisation korrekt, sicher, klar definiert und verantwortungsvoll genutzt werden.Vollständige Definition ansehen →, menschliche Aufsicht, Logging und Post-Market-Monitoring zusätzlich zu MDR/IVDR.

Die praktische Konsequenz: In Europa muss ein medizinisches KI-Produkt sowohl die Produktvorschriften als auch den AI Act erfüllen. Sie überlappen, sind aber nicht identisch.

GuardrailsGuardrailsRegeln und Kontrollen, die ein KI-System in sicheren, rechtskonformen und markengerechten Grenzen halten und unerwünschte Ausgaben blockieren.Vollständige Definition ansehen →, die vor dem Deployment laufen sollten

Konkrete Prüfungen, grob in dieser Reihenfolge.

Externe Validierung. Testen Sie auf Daten aus Standorten, Scannern und Populationen, auf denen das Modell nie trainiert wurde. Bricht die Performance stark ein, haben Sie Covariate shift eingebaut.

Subgruppen-Performance. Berichten Sie Accuracy aufgeschlüsselt nach Alter, Geschlecht, Abstammung, Hautton, Gerätetyp. Ein einzelner Headline-AUC (Area Under the Curve, ein MaMaEinsatz von Software, um wiederkehrende Marketingaufgaben und Kampagnen zu automatisieren und Personalisierung in großem Maßstab über Kanäle wie E-Mail, Web und Social zu ermöglichen.Vollständige Definition ansehen →ß für Klassifikator-Genauigkeit von 0,5 bis 1,0) verdeckt genau die Fehler, durch die Menschen zu Schaden kommen.

Kalibrierung, nicht nur Accuracy. Ein Modell kann Patienten korrekt ranken und trotzdem falsche Wahrscheinlichkeiten ausgeben. Ein „90 Prozent Risiko" muss bedeuten, dass 90 von 100 solcher Patienten die Erkrankung tatsächlich haben.

Drift-Monitoring in Produktion. Das ist die Antwort auf stille Degradation. Verfolgen Sie Input- und Output-Verteilungen über die Zeit und alarmieren Sie bei Abweichungen.

Hier die minimale Variante, mit einem Standard-Statistiktest, um Covariate shift bei einem einzelnen Input-Feature zu markieren:

from scipy.stats import ks_2samp

# reference = Feature-Werte aus Training/Validierung
# live      = dasselbe Feature aus dem letzten Produktionsfenster
stat, p_value = ks_2samp(reference_feature, live_feature)

if p_value < 0.01:
    alert("Distribution shift detected: investigate before trusting outputs")

Der Kolmogorov-Smirnov-Test vergleicht zwei Verteilungen. Ein sehr kleiner p-Wert bedeutet, dass die Live-Daten nicht mehr wie Ihre Referenzdaten aussehen. Das ist Ihr Frühwarnsignal, keine Diagnose.

🎬 [VIDEO: „The Problem with AI in Healthcare" - youtube.com - verständlicher Überblick darüber, wie medizinische KI-Modelle an realen Daten scheitern und warum Validierung zählt]

Governance: wem das Risiko gehört

Ein Modell ohne Owner ist eine Haftung ohne Adresse. Erstklassige KI-Governance in Biotech vergibt drei Rollen explizit:

• Model Owner (meist Klinik oder R&D): verantwortlich für den Intended Use und dafür, das Modell abzuschalten, wenn es driftet.
• Validierung/Qualität: unabhängige Prüfung, mappt Controls auf die Anforderungen von MDR, IVDR, FDA und AI Act.
• MLOps/Monitoring: betreibt die Drift-Alerts, loggt jede Prediction, pflegt den Audit Trail, den der AI Act verlangt.

Zwei weitere Punkte ohne Verhandlungsspielraum:

Menschliche Aufsicht. Ein Kliniker muss das Modell sehen, hinterfragen und überstimmen kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen. Der EU AI Act schreibt das für Hochrisiko-Systeme vor. Automation Bias (Menschen, die sich der Maschine beugen) ist selbst ein Risiko, gegen das man designen muss.

Logging und Nachvollziehbarkeit. Jeder Input, Output, jede Modellversion und jedes Override sollte erfasst werden. Wenn etwas schiefgeht, und das wird passieren, müssen Sie rekonstruieren können, was das Modell gesehen und entschieden hat.

Key Takeaways

• Benennen Sie die drei Killer: Dataset shift (die Welt ändert sich), verzerrte Kohorten (die Daten waren nie repräsentativ) und stille Degradation (es bricht leise). Die meisten Fehler nach dem Deployment sind einer davon.
• Bewerten Sie das Risiko, bevor Sie ausliefern, mit Severity mal Probability mal Detectability Gap. Guardrails verdienen ihr Geld, indem sie den Detectability Gap senken, und Sie können die Bewegung der Zahl zeigen.
• In Europa stapelt sich die Regulierung: MDR/IVDR plus EU AI Act (medizinische KI ist Hochrisiko). In den USA reguliert die FDA KI als SaMD, mit einem PCCP, über den Sie vorab freigeben lassen, wie sich das Modell aktualisiert.
• Validieren Sie extern und nach Subgruppen. Ein starker Gesamt-AUC, der schwache Performance auf dunkler Haut oder mit einem neuen Scanner verdeckt, ist nicht sicher, sondern gefährlich mit gutem Marketing.
• Monitoring in Produktion oder Blindflug. Drift-Erkennung plus vollständiges Logging plus ein benannter Model Owner ist das Minimum an glaubwürdiger Governance für jedes eingesetzte klinische oder Labor-Modell.