Biotech & MedTech · Kontinuierliches Monitoring und Incident Response

Der Scan, der driftete

2021 dokumentierten Forscher ein Phänomen, das Radiologie-KI-Teams wachhält: ein in einem Krankenhaus trainiertes Thorax-Röntgenmodell verlor an Genauigkeit, nachdem das Krankenhaus den Scanner-Hersteller wechselte. Für einen Menschen sahen die Pixel gleich aus. Für das Modell hatte sich die Welt verschoben. Nichts fiel laut aus. Die Sensitivität erodierte einfach still, Scan für Scan.

Das ist das Kernproblem von KI in der Medizintechnik. Ein Medikament ändert nach der Zulassung nicht seine Chemie. Ein KI-Modell degradiert in dem Moment, in dem die Realität von seinen Trainingsdaten wegdriftet. Deshalb behandeln Regulierer ausgerollte KI als lebendes System, das dauerhaft beobachtet werden muss, und nicht als Produkt, das man ausliefert und vergisst.

Diese Lektion baut den Post-Market-Surveillance-Loop auf: Drift-Erkennung, Audit Trails, Rollback und die behördlichen Meldungen, die Sie einreichen, wenn etwas schiefgeht.

Warum Modelle nach dem Deployment driften

„Drift“ bedeutet, dass der statistische Zusammenhang, den das Modell gelernt hat, nicht mehr gilt. Zwei Varianten sind relevant:

• Data Drift: die Inputs ändern sich. Neuer Scanner, neue Patientenpopulation, ein Software-Update, das den Bildkontrast verändert.
• Concept Drift: der Zusammenhang zwischen Inputs und richtiger Antwort ändert sich. Eine neue Krankheitsvariante, eine überarbeitete diagnostische Leitlinie.

Konkretes Beispiel: Ein US-weit in Krankenhäusern eingesetztes Sepsis-Prognosemodell schnitt in einer externen Validierung von 2021 (publiziert in JAMA Internal Medicine) deutlich schlechter ab als vom Marketing behauptet, unter anderem weil die lokalen Populationen vom Entwicklungsdatensatz abwichen. Der Deployment-Kontext ist kein Detail. ErErDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → ist das ganze Spiel.

Der regulatorische Rahmen, in dem Sie sich bewegen

Sie kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Monitoring nicht entwerfen, ohne zu wissen, was Sie melden müssen. Nennen wir die realen Instanzen:

• Die US FDA reguliert KI-gestützte Medizinprodukte als SaMD (Software as a Medical Device). Die FDA führt eine öffentliche Liste KI-gestützter Medizinprodukte, die 1.000 zugelassene Produkte überschritten hat (FDA-Angabe, Stand Ende 2024). Post-Market-Pflichten laufen über MDR (Medical Device Reporting): schwerwiegende unerwünschte Ereignisse und Produktfehlfunktionen sind grundsätzlich innerhalb von 30 Tagen zu melden.
• Das Predetermined Change Control Plan (PCCP)-Framework der FDA (Guidance 2024 finalisiert) erlaubt Ihnen, bestimmte Modell-Updates vorab genehmigen zu lassen, sodass Sie ohne neue Einreichung nachtrainieren können, sofern Sie das Update-Protokoll vorab definiert haben.
• Europa: KI-Medizinprodukte fallen unter die MDR (Medical Device Regulation 2017/745) plus den EU AI Act (seit 2024 in Kraft, Hochrisiko-Pflichten greifen gestaffelt bis 2026 und 2027). Die meiste diagnostische KI gilt als hochriskant, was verpflichtendes Post-Market-Monitoring, Logging und Anforderungen an menschliche Aufsicht auslöst. Notified Bodies (private Konformitätsbewerter, zum Beispiel TÜV SÜD) auditieren Ihr Qualitätssystem.

Die praktische Erkenntnis: Kontinuierliches Monitoring ist keine Best Practice. Es ist in beiden Märkten eine gesetzliche Pflicht.

Den Surveillance-Loop aufbauen

Denken Sie in vier verbundenen Stufen: detect, investigate, act, report.

1. Detect: Drift-Alerts

Sie überwachen zwei Dinge: die Inputs und die Outputs.

Input-Monitoring vergleicht die Verteilungen der Live-Daten mit Ihrer Trainings-Baseline. Ein gängiges statistisches Werkzeug ist der Population Stability Index (PSI), der misst, wie weit sich eine Verteilung verschoben hat.

import numpy as np

def psi(expected, actual, bins=10):
    # expected = Trainingsverteilung, actual = Live-Daten
    e_pct, edges = np.histogram(expected, bins=bins)
    a_pct, _     = np.histogram(actual, bins=edges)
    e_pct = e_pct / e_pct.sum() + 1e-6
    a_pct = a_pct / a_pct.sum() + 1e-6
    return np.sum((a_pct - e_pct) * np.log(a_pct / e_pct))

# Daumenregel-Schwellen (Branchenkonvention, keine Regulierung):
# PSI < 0.1  = stabil
# 0.1 - 0.25 = moderate Verschiebung, untersuchen
# > 0.25     = signifikanter Drift, eskalieren
score = psi(training_pixel_intensity, live_pixel_intensity)

Bei einem Radiologie-Modell könnten Sie die mittlere Pixelintensität, Metadaten zur Bildauflösung und den Mix der Scanner-Hersteller verfolgen. Treibt ein neuer Scanner den PSI über 0,25, erhalten Sie einen Alert, bevor die Genauigkeit sichtbar einbricht.

Output-Monitoring beobachtet das Verhalten des Modells selbst: Verteilung der Prediction-Confidence, Positivrate und, wo Ground Truth vorliegt, die tatsächliche Performance. Wenn Ihr Modell normalerweise 8 % der Thorax-Scans als auffällig markiert und plötzlich 20 %, ist das ein Signal, noch bevor die Pathologie irgendetwas bestätigt.

Der harte Teil in der Medizin: Ground Truth kommt verzögert. Oft wissen Sie erst Wochen später durch eine Biopsie, einen Kontrollscan oder eine verpasste Diagnose, dass das Modell falsch lag. Deshalb stützen Sie sich auf Proxy-Signale (Confidence, Input-Drift, Override-Raten der Radiologen) als Frühwarnung.

2. Investigate: der Audit Trail

Wenn ein Alert auslöst, müssen Sie genau rekonstruieren können, was passiert ist. Ihr Audit Trail sollte für jede Prediction erfassen:

• Modellversion und Identifier
• Input-Hash und zentrale Metadaten (Gerät, Zeitstempel, Standort)
• Den Output und den Confidence Score
• Ob ein Mensch zugestimmt oder das Ergebnis overridet hat

Der EU AI Act verlangt für Hochrisikosysteme explizit automatisches Logging, aufbewahrt über die Lebensdauer des Produkts. Das ist keine optionale Bürokratie. Wenn eine Klinikerin fragt „warum hat die KI diesen Tumor übersehen“, müssen Sie mit der exakten Modellversion und den Inputs antworten können. Wenn Sie eine Entscheidung nicht reproduzieren können, können Sie sie nicht verteidigen und nicht beheben.

Die Override-Rate der Radiologen ist eines der reichhaltigsten Signale. Springen die Overrides in einer Klinik von 5 % auf 15 %, sieht diese Klinik etwas, womit Ihr Modell schlecht umgeht. Loggen Sie es, segmentieren Sie nach Standort und beobachten Sie es.

3. Act: Rollback-Protokolle

Wenn Sie ein Problem bestätigt haben, brauchen Sie eine schnelle, geprobte Reaktion. Leihen Sie sich das vom Software Engineering:

• Versionieren Sie alles. Jedes ausgerollte Modell hat ein unveränderliches Version-Tag. Sie überschreiben nie; Sie deployen parallel.
• Rollback = Traffic auf die vorherige bekannt gute Version umleiten. Das sollte Minuten dauern, nicht einen neuen Einreichungszyklus.
• Canary Deployment: Geben Sie ein neues Modell für einen kleinen Traffic-Anteil frei (etwa ein Krankenhaus oder 5 % der Scans) und vergleichen Sie sein Verhalten mit dem des bestehenden Modells, bevor Sie voll ausrollen.
• Human-in-the-loop-Fallback: Bricht die Confidence ein, leiten Sie diese Fälle an einen Radiologen weiter statt automatisch zu befunden. Eine degradierte KI, die abgibt, ist sicherer als eine, die rät.

Definieren Sie Ihren Decommission-Trigger im Vorfeld: Bei welchem gemessenen Performance-Abfall nehmen Sie das Modell vollständig vom Netz? Schreiben Sie es vor der Krise auf, nicht mitten drin.

4. Report: behördliche Meldung

Wenn ein KI-Fehler Patienten schädigt oder schädigen könnte, ist die Meldung verpflichtend und fristgebunden.

• USA (FDA MDR): Hersteller melden Todesfälle und schwere Verletzungen sowie Fehlfunktionen, die bei Wiederholung wahrscheinlich Schaden verursachen, grundsätzlich innerhalb von 30 Kalendertagen. Ereignisse, die dringende Abhilfemaßnahmen erfordern, haben ein 5-Tage-Fenster. (FDA-Fristen, Stand 2025.)
• EU (MDR): schwerwiegende Vorkommnisse sind der zuständigen Behörde grundsätzlich innerhalb von 15 Tagen zu melden; Tod oder unvorhergesehene schwerwiegende Verschlechterung löst ein 10-Tage-Fenster aus; eine unmittelbare schwere Gefahr für die öffentliche Gesundheit erfordert Meldung innerhalb von 2 Tagen. (Fristen nach MDR Artikel 87.)

Ein driftendes Modell, das eine verpasste Diagnose verursacht hat, ist meldepflichtig. Beachten Sie die Asymmetrie: EU-Fristen können strenger sein als die der FDA, deshalb gilt bei globalem Deployment standardmäßig die strengste Uhr.

Ein durchgerechnetes Beispiel

Ihr Modell zur Lungenknoten-Erkennung läuft in 12 Krankenhäusern. Das Monitoring zeigt:

• Krankenhaus 7 hat einen neuen CT-Scanner installiert. Der Input-PSI auf der Pixelintensität steigt auf 0,31 (über der Schwelle von 0,25).
• Die Override-Rate der Radiologen in Krankenhaus 7 steigt über zwei Wochen von 6 % auf 14 %.
• Ein bestätigter übersehener Knoten, später bei der Kontrolle entdeckt.

Reaktionsablauf:

1. Alert löst bei PSI-Überschreitung aus. Untersuchung über den Audit Trail, Isolierung auf Krankenhaus 7 und den neuen Scanner.
2. Act: Scans aus Krankenhaus 7 auf primär menschliche Befundung umleiten (KI nur als Zweitleser). Rollback ist anderswo nicht nötig; der Drift ist lokal begrenzt.
3. Report: Der übersehene Knoten ist ein schwerwiegendes Vorkommnis. Nach EU MDR innerhalb von 15 Tagen melden. Nach FDA MDR innerhalb von 30.
4. Remediate: Deckt Ihr PCCP das Nachtrainieren auf Scanner-Hersteller ab, trainieren und validieren Sie unter dem vorab genehmigten Protokoll auf den Daten des neuen Scanners.

Lokal begrenzter Drift, schnell eingedämmt, ehrlich gemeldet. So funktioniert der Loop.

Häufige Fehlermuster

• Nur Accuracy überwachen. Wenn die Accuracy mit bestätigter Ground Truth fällt, waren Patienten schon betroffen. Beobachten Sie Inputs und Proxys.
• Keine Versionierung. Sie können nichts zurückrollen, was Sie nicht benennen können.
• Stille Auto-Updates. Eine nicht geloggte Modelländerung ist ein Compliance- und Sicherheitsloch.
• Subgruppen ignorieren. Ein Modell kann insgesamt stabil sein und für ein Krankenhaus, eine demografische Gruppe oder ein Gerät massiv degradieren.

Wichtigste Erkenntnisse

• KI-Produkte degradieren; überwachen Sie sie als lebende Systeme. Drift (Data oder Concept) ist der Normalfall, nicht die Ausnahme. Sowohl FDA als auch EU AI Act schreiben Post-Market-Surveillance vor.
• Beobachten Sie Inputs und Proxys, nicht nur Accuracy. Nutzen Sie PSI auf Input-Verteilungen, Prediction-Raten und Override-Raten der Radiologen als Frühwarnung, weil Ground Truth in der Medizin spät eintrifft.
• Loggen Sie alles, unveränderlich. Modellversion, Inputs, Outputs, menschliche Overrides. Der EU AI Act verlangt Logging über die Lebensdauer, und Sie können nicht beheben oder verteidigen, was Sie nicht rekonstruieren können.
• Proben Sie das Rollback vor dem Incident. Version-Tags, Canary Releases, Human-in-the-loop-Fallback und ein vorab formulierter Decommission-Trigger machen aus einer Krise eine Prozedur.
• Kennen Sie Ihre Meldefristen. EU MDR: schwerwiegende Vorkommnisse grundsätzlich innerhalb von 15 Tagen (2 Tage bei Gefahren für die öffentliche Gesundheit); FDA MDR grundsätzlich 30 Tage (5 bei Dringlichkeit). Bei globalem Deployment gilt standardmäßig die strengste Frist.