Biotech & MedTech · Benchmarking von Analytics und Messstandards

Die Szene: ein Modell, das glänzend aussieht und trotzdem versagt

Ein Tool zur Sepsis-Prognose erreicht im Labor 92 % Accuracy. Das Krankenhaus führt es ein. Sechs Monate später ignorieren die Ärzte die Alarme, weil das Tool permanent bei Patienten anschlägt, deren Zustand sich nie verschlechtert. Bei der Accuracy war das Modell nie defekt. Defekt war es bei den Benchmarks, auf die es ankommt: es erkannte wenige echte Fälle und schlug beim Rest falschen Alarm.

In dieser Lektion geht es um die Messstandards, die ein diagnostisches Modell, dem man vertrauen kann, von einem trennen, das Patienten stillschweigend schadet. Wir behandeln vier Benchmark-Familien: Sensitivität und Spezifität, Kalibrierung sowie Datenkonformität zu den Standards CDISC und OMOP. Das alles sind Fragen der Datendisziplin, keine klinischen Meinungen.

Warum „Accuracy“ die falsche Leitmetrik ist

Accuracy ist der Anteil korrekter Vorhersagen. In der Medizin lügt sie, weil Krankheit selten ist.

Stellen Sie sich einen seltenen Krebs vor, der bei 1 % einer gescreenten Population vorliegt. Ein Modell, das für jeden „kein Krebs“ vorhersagt, ist 99 % genau und erkennt null Krebsfälle. Nutzlos.

Deshalb verwenden klinische Datenteams stattdessen zwei gepaarte Metriken.

• Sensitivität (auch Recall oder True Positive Rate): Welcher Anteil der Patienten, die die Erkrankung wirklich haben, wurde vom Modell markiert? Hohe Sensitivität heißt wenige verpasste Fälle.
• Spezifität (True Negative Rate): Welcher Anteil der wirklich gesunden Patienten wurde korrekt entlastet? Hohe Spezifität heißt wenige Fehlalarme.

Eine durchgerechnete Beispielrechnung

Angenommen, Sie validieren ein diagnostisches Modell an 1.000 Patienten. 100 haben die Krankheit wirklich.

• Sensitivität = 90 / (90 + 10) = 90 %
• Spezifität = 855 / (855 + 45) = 95 %
• Accuracy = (90 + 855) / 1000 = 94,5 %

Beachten Sie: Sensitivität und Spezifität zeigen Ihnen, wo es weh tut (10 verpasste Patienten, 45 Fehlalarme), während Accuracy das verdeckt.

Welche Schwellenwerte gelten als „gut“?

Es gibt keinen universellen Grenzwert. Schwellen hängen vom klinischen Einsatz ab. Ein Bestätigungstest verträgt niedrigere Sensitivität; ein Screening-Test, der eine Krankheit ausschließen soll, verlangt sehr hohe Sensitivität, damit keine Fälle durchfallen.

Die am häufigsten zitierte Sammelmetrik ist AUC-ROC (Fläche unter der Receiver-Operating-Characteristic-Kurve), die von 0,5 (Münzwurf) bis 1,0 (perfekt) reicht. Als grobe Konvention im Feld (eine Einschätzung, keine Vorschrift) gilt: AUC unter 0,7 ist schwach, 0,7 bis 0,8 akzeptabel, 0,8 bis 0,9 gut, über 0,9 exzellent. Behandeln Sie das nicht als Bestehensgrenze. Die FDA und die europäischen Regulierer bewerten den Verwendungszweck, nicht eine magische Zahl.

Zur Intuition für den Tradeoff:

Kalibrierung: die Metrik, die alle vergessen

Sensitivität und Spezifität fragen, ob das Ranking stimmt. Kalibrierung fragt, ob die Wahrscheinlichkeiten ehrlich sind.

Wenn Ihr Modell für eine Gruppe von Patienten „70 % Schlaganfallrisiko“ ausgibt, sollten grob 70 % von ihnen tatsächlich einen Schlaganfall erleiden. Wenn es nur 40 % sind, ist das Modell überkonfident und fehlkalibriert, selbst wenn die AUC hoch ist.

Kalibrierung zählt in der Medizin enorm, weil Ärzte auf Basis der Wahrscheinlichkeit handeln, nicht des Rangs. 30 % versus 80 % Risiko entscheidet darüber, ob operiert wird.

Gängige Werkzeuge:

• Kalibrierungsplot (Reliability Diagram): vorhergesagte Wahrscheinlichkeit auf der x-Achse, beobachtete Häufigkeit auf der y-Achse. Perfekte Kalibrierung liegt auf der Diagonalen.
• Brier Score: mittlerer quadratischer Fehler zwischen vorhergesagter Wahrscheinlichkeit und tatsächlichem Outcome. Niedriger ist besser; 0 ist perfekt.

Eine bekannte Lektion aus der Praxis: viele publizierte COVID-19-Prognosemodelle erzielten anständige AUCs, waren aber schlecht kalibriert und in der Praxis unbrauchbar. Ein nützliches Referenz-Framework für das Reporting ist TRIPOD, die Leitlinie für transparente Berichterstattung über Prognosemodelle.

# Quick calibration + discrimination check with scikit-learn
from sklearn.metrics import roc_auc_score, brier_score_loss
from sklearn.calibration import calibration_curve

auc   = roc_auc_score(y_true, y_prob)        # Diskrimination (Ranking)
brier = brier_score_loss(y_true, y_prob)     # Kalibrierung + Accuracy kombiniert
frac_pos, mean_pred = calibration_curve(y_true, y_prob, n_bins=10)
# mean_pred gegen frac_pos plotten; naeher an der Diagonalen = besser kalibriert

Die andere Hälfte: sind die zugrunde liegenden Daten überhaupt konform?

Ein Modell ist nur so vertrauenswürdig wie die Datensätze, die es speisen. Hier kommen Standards für Datenkonformität ins Spiel. Zwei dominieren Biotech und Medtech.

Cdisc

CDISC (Clinical Data Interchange Standards Consortium) legt die Datenformate für klinische Studien fest. Die wichtigsten:

• SDTM (Study Data Tabulation Model): wie Rohbeobachtungen aus Studien für die Einreichung strukturiert werden.
• ADaM (Analysis Data Model): analysefertige Datensätze, abgeleitet aus SDTM.

Seit Dezember 2016 verlangt die US-FDA im Rahmen ihres Data Standards Catalog CDISC-konforme Daten für Einreichungen neuer Arzneimittel und Biologika (NDAs, BLAs). Japans PMDA hat parallele Anforderungen. Für ein Therapeutikum ist CDISC-Konformität also nicht optional; eine nicht konforme Einreichung bekommt ein Refuse to File.

Konformität wird mit Validierungsregeln geprüft (zum Beispiel über die offene Engine Pinnacle 21 / CDISC CORE). Ein Konformitätsbericht markiert Errors (müssen behoben werden) und Warnings. Benchmark: null unerklärte Errors vor der Einreichung.

Omop

OMOP CDM (Observational Medical Outcomes Partnership Common Data Model), gepflegt von der OHDSI-Community, standardisiert Real-World-Daten: elektronische Patientenakten, Abrechnungsdaten, Register. Damit läuft eine einmal geschriebene Query über Krankenhäuser in den USA, Europa und Asien, ohne dass die Eigenheiten jeder Datenbank neu bearbeitet werden müssen.

OMOP ist wichtig für Real-World Evidence (RWE), die zunehmend zur Unterstützung von Gerätezulassungen und der Post-Market-Überwachung genutzt wird. Der EHDS der EU (European Health Data Space), der 2025 in Kraft trat und stufenweise bis Ende der 2020er zur Anwendung kommt, treibt standardisierte, interoperable Gesundheitsdaten über die Mitgliedstaaten hinweg stark voran, und OMOP ist ein häufiges Zielmodell.

OHDSI stellt ein offenes Tool bereit, Achilles / Data Quality Dashboard, das tausende automatisierte Prüfungen (Plausibilität, Konformität, Vollständigkeit) gegen einen OMOP-Datensatz laufen lässt. Teams berichten eine Bestehensquote der Datenqualität; ein gängiges Arbeitsziel ist, dass fehlgeschlagene Prüfungen unter einem kleinen einstelligen Prozentwert bleiben, wobei die exakte Messlatte studienspezifisch ist.

Warum Konformität ein Messstandard ist und keine Bürokratie

Wenn zwei Krankenhäuser „Hämoglobin A1c“ unterschiedlich kodieren, trainiert Ihr Multi-Site-Modell auf Müll. Konformität zu einem gemeinsamen Vokabular (OMOP nutzt Standardvokabulare wie SNOMED, LOINC, RxNorm) ist es, was die Zahlen zu Sensitivität und Kalibrierung übertragbar macht. Lassen Sie das aus, und Ihre AUC von 0,9 verdampft am nächsten Standort.

Die Benchmarks zusammenführen: eine Validierungs-Scorecard

Eine glaubwürdige Validierung eines diagnostischen Modells berichtet alle vier Familien. Hier eine konkrete Scorecard-Struktur, die ein Datenteam einem Regulatory- oder klinischen Komitee vorlegen würde.

Zwei Regeln, die Profis von Amateuren trennen:

1. Berichten Sie immer auf einem externen Validierungsset, also Daten von einem Standort oder Zeitraum, mit dem das Modell nie trainiert wurde. In-Sample-Metriken sind Marketing.
2. Berichten Sie Subgruppen-Performance. Ein Modell mit 90 % Gesamtsensitivität kann in einer demografischen Gruppe bei 60 % liegen. Guidance der US-FDA und EU-Frameworks erwarten zunehmend Subgruppen-Aufschlüsselungen, um Bias zu erkennen.

Wo die Regulierer stehen (2026)

• US-FDA: prüft KI/ML-basierte Medizinprodukte und führt eine öffentliche Liste der zugelassenen (über 1.000 laut den FDA-Updates 2024 bis 2025; behandeln Sie die exakte Zahl als Schätzung, die weiter steigt). Sie hat Guidance zu Predetermined Change Control Plans für Modelle veröffentlicht, die weiterlernen.
• EU: medizinische Software ist über die MDR (Medical Device Regulation 2017/745) und die IVDR (In Vitro Diagnostic Regulation 2017/746) reguliert. Der EU AI Act, der über 2026 und 2027 stufenweise greift, klassifiziert viele medizinische KI-Systeme als hochriskant und legt zusätzlich zu MDR/IVDR Pflichten zu Datenqualität und Dokumentation auf.

Die praktische Konsequenz: Ihre Benchmark-Scorecard ist die Evidenz, die diese Stellen lesen. Schwache Kalibrierung oder unerklärte Konformitätsfehler sind keine statistischen Fußnoten; sie blockieren die Zulassung.

Die wichtigsten Punkte

• Accuracy verdeckt Versagen in der Medizin. Berichten Sie Sensitivität und Spezifität (und AUC-ROC mit Konfidenzintervallen), damit verpasste Fälle und Fehlalarme sichtbar werden. Durchgerechnetes Beispiel: 90 von 100 Erkrankten erkannt = 90 % Sensitivität.
• Kalibrierung ist der vergessene Benchmark. Ein Modell mit hoher AUC kann bei den Wahrscheinlichkeiten trotzdem lügen. Nutzen Sie Kalibrierungsplots und Brier Scores, denn Ärzte handeln auf Basis der Zahl, nicht des Rangs.
• Konformität macht Metriken übertragbar. CDISC (SDTM/ADaM) ist für Arzneimitteleinreichungen bei FDA und PMDA verpflichtend; OMOP standardisiert Real-World-Daten über Standorte hinweg. Nicht konforme Daten zerstören die Modell-Performance am nächsten Krankenhaus stillschweigend.
• Validieren Sie extern und nach Subgruppen. In-Sample-Zahlen sind Marketing; Regulierer (FDA, EU unter MDR/IVDR und dem AI Act) erwarten zunehmend Held-out-Validierung und demografische Aufschlüsselungen.
• Die Scorecard ist die regulatorische Evidenz. Diskrimination plus Kalibrierung plus Konformität, gemeinsam berichtet, ist das, was Zulassung und klinisches Vertrauen einbringt.

*Diese Lektion dient der Weiterbildung und ist keine medizinische, rechtliche oder regulatorische Beratung. Alle illustrativen Schwellenwerte sind Konventionen aus dem Feld, keine verbindlichen Standards; bestätigen Sie die aktuellen Anforderungen bei der zuständigen Behörde.*