Die Pre-Deployment-Checkliste, die Regulierungsbehörden erwarten

# Die Pre-Deployment-Checkliste, die Regulierungsbehörden erwarten

Ein FDA-Inspektor betritt die Krankenhausapotheke und bittet um die Validierungsdokumentation für das KI-Tool, das Hochrisiko-Verordnungen markiert. Lautet die Antwort „das ist eine Black Box, aber sie funktioniert“, ist die Inspektion vorbei, bevor sie begonnen hat. Dieses Szenario ist längst nicht mehr hypothetisch: Sowohl das Digital Health Center of Excellence der FDA als auch die EMA-Leitlinie zu KI im Lebenszyklus von Arzneimitteln setzen voraus, dass Sie auf Anfrage Unterlagen vorlegen kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen, nicht nur eine funktionierende Demo.

Diese Lektion überführt diese Dokumentationsspur in eine konkrete Go/No-Go-Checkliste, geordnet so, wie ein Auditor tatsächlich denkt: Validierung, menschliche Aufsicht, Nachvollziehbarkeit.

Warum „es funktioniert“ nicht genügt

Regulierungsbehörden, die KI in der Pharmabranche bewerten, prüfen nicht primär die Genauigkeit. Sie prüfen, ob Sie reproduzierbar belegen kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen, dass das System sich wie vorgesehen verhält, dass eine qualifizierte Person es übersteuern kann und dass jede Entscheidung eine Spur hinterlässt.

Drei regulatorische Ankerpunkte sind hier relevant:

• FDA-Leitlinien zu SaMD und KI/ML-basierter Software: Die FDA behandelt viele KI-Tools, die Diagnose, Dosierung oder Herstellung berühren, als Software as a Medical Device (SaMD) oder als Teil GxP-regulierter Prozesse (Good Manufacturing/Clinical/Laboratory Practice). Das aktuelle Rahmenwerk, inklusive des Konzepts des Predetermined Change Control Plan (PCCP) für Modelle, die sich über die Zeit aktualisieren, finden Sie auf der FDA-Seite Artificial Intelligence and Machine Learning in Software as a Medical Device.
• EMA-Reflection-Paper zu KI im Arzneimittel-Lebenszyklus: deckt KI in Wirkstoffforschung, klinischen Studien, Pharmakovigilanz und Herstellung ab und betont eine risikobasierte Validierung im Verhältnis zum Patientenrisiko.
• EU AI Act (2024 in Kraft getreten, gestufte Anwendung bis 2026-2027): klassifiziert die meisten klinischen KI-Tools als „high-risk“, was verpflichtende Konformitätsbewertungen, technische Dokumentation und Anforderungen an die menschliche Aufsicht auslöst.

Keines dieser Rahmenwerke zertifiziert „den Algorithmus“. Sie zertifizieren das System um den Algorithmus: Data LineageData LineageData Lineage zeigt, wie Daten sich durch Systeme bewegen und dabei transformiert werden, von der Quelle bis zur Nutzung: woher sie kommen, was sie verändert hat und wohin sie gehen.Vollständige Definition ansehen →, Testing, Monitoring und Verantwortlichkeit.

Die Checkliste: Validierung

Validierung beantwortet eine Frage: KKDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie belegen, dass das Modell tut, was Sie behaupten, bei der Population, die Sie behaupten, unter den Bedingungen, die Sie behaupten?

1. Intended-Use-Statement. Schriftlich, spezifisch, eng gefasst. „Markiert potenzielle Arzneimittelinteraktionen bei erwachsenen stationären Patienten auf Formulary X“ ist auditierbar. „Verbessert die Patientensicherheit“ nicht.

2. Herkunft der Trainings- und Validierungsdaten. Woher kamen die Daten, welche Population repräsentieren sie, und passt diese Population zu Ihrem Deployment-Standort? Ein Sepsis-Vorhersagemodell, das auf den Daten eines US-Universitätsklinikums trainiert wurde, kann an einer ländlichen EU-Klinik mit anderer Demografie und anderer Laborausstattung lautlos versagen. Das ist der mit Abstand häufigste Befund bei KI-Ausfällen nach Markteinführung.

3. Performance-Metriken gegen eine vordefinierte Schwelle. Sensitivität, Spezifität, Kalibrierung, nicht nur die Schlagzeilen-Genauigkeit. Setzen Sie die Akzeptanzschwelle, *bevor* Sie die Testergebnisse sehen, nicht danach.

4. Subgruppen-Performance. Schlüsseln Sie die Ergebnisse nach Alter, Geschlecht, Ethnizität und Standort auf. Ein Modell mit 95 % Gesamtgenauigkeit, das für eine Subgruppe deutlich abfällt, ist ein Fairness- und Sicherheitsrisiko, und sowohl FDA als auch EMA erwarten diese Analyse inzwischen standardmäßig.

5. Externe oder prospektive Validierung. Retrospektive Validierung auf historischen Daten ist die Untergrenze, nicht die Obergrenze. Behörden verlangen zunehmend einen prospektiven Silent Run (das Modell läuft live, sein Output bleibt aber für Kliniker verborgen) vor dem Go-live.

6. Change-Control-Plan. Wenn das Modell neu trainiert oder aktualisiert wird: Wie validieren Sie erneut, ohne jedes Mal von null einzureichen? Der PCCP-Mechanismus der FDA existiert genau dafür, damit Sie die Grenzen akzeptabler Model Drift vorab festlegen kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen.

Die Checkliste: Human-in-the-Loop-Freigabe

„Human-in-the-loop“ (HITL) bedeutet, dass eine qualifizierte Person den KI-Output prüft oder übersteuern kann, bevor ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → die Patientenversorgung beeinflusst, und dass das System so gestaltet ist, dass dieses Übersteuern tatsächlich einfach ist, nicht nur theoretisch.

7. Definierte Entscheidungsbefugnis. Benennen Sie die Rolle, nicht die Person: „behandelnder Arzt“ oder „qualifizierter Apotheker“, nicht „ein Mensch“. Dokumentieren Sie, was diese Rolle an das Tool delegieren darf und was nicht.

8. Getestete Override-Möglichkeit. Kann ein Kliniker die KI-Empfehlung im Workflow tatsächlich ablehnen, in wenigen Sekunden, ohne Workaround? Wenn das Übersteuern länger dauert als das Befolgen, werden Menschen die KI einfach abstempeln. Das ist „Automation Bias“ und einer der am häufigsten genannten Risiken im EMA-Reflection-Paper.

9. Eskalationspfad für Edge Cases. Was passiert, wenn das Modell „unsicher“ ausgibt oder einen Confidence Score unterhalb der Schwelle? Es muss einen definierten Fallback geben, nicht Schweigen.

10. Kompetenz- und Trainingsnachweise. Mitarbeitende, die das Tool nutzen, müssen zu seinen Grenzen geschult werden, und diese Schulung muss dokumentiert und aufgefrischt werden. Auditoren fragen nach Trainingsprotokollen, nicht nur nach Richtlinien.

11. Monitoring von Alert Fatigue. Wenn Kliniker anfangen, 90 % der Alerts wegen False Positives zu ignorieren, ist das ein Governance-Versagen, auch wenn sich die ausgewiesene Modellgenauigkeit nicht verändert hat. Verfolgen Sie Override-Raten als laufende Metrik, nicht als Einmalprüfung.

Die Checkliste: Audit Trails

Anforderungen an Audit Trails kommen direkt aus der GxP-Kultur: Was nicht dokumentiert ist, hat nicht stattgefunden.

12. Vollständiges Logging von Inputs, Outputs und Modellversion. Jede Vorhersage sollte auf die exakte Modellversion, die Eingabedaten und den Zeitstempel zurückführbar sein. Für die Compliance mit FDA 21 CFR Part 11 (elektronische Aufzeichnungen) in den USA ist das nicht verhandelbar.

13. Logging menschlicher Entscheidungen. Halten Sie fest, ob der Kliniker die KI-Empfehlung akzeptiert, angepasst oder übersteuert hat, idealerweise mit Begründung. Das ist der Datensatz, den Sie später brauchen, um zu belegen, dass die menschliche Aufsicht nicht kosmetisch war.

14. Dokumentation der Data Lineage. Woher jeder Trainings- und Inferenz-Datenpunkt kam, wie ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → gelabelt wurde und von wem. Die EMA benennt Lücken in der Datenherkunft ausdrücklich als häufigen Mangel.

15. Log für Incidents und Drift-Monitoring. Eine laufende Aufzeichnung der Performance-Prüfungen nach Deployment, markierter Anomalien und Korrekturmaßnahmen. Das ist Ihr Nachweis für „continued verification“, ein Begriff, der in FDA- und EMA-Leitlinien verwendet wird.

16. Aufbewahrungsrichtlinie passend zu den Regeln je Aufzeichnungsart. Klinische und Pharmakovigilanz-Aufzeichnungen erfordern typischerweise eine mehrjährige Aufbewahrung (oft 10+ Jahre, abhängig von Jurisdiktion und Produkttyp); prüfen Sie die geltende Frist, statt einen Standardwert anzunehmen.

Hier ein minimales Beispiel dafür, was ein Audit-Datensatz pro Vorhersage in der Praxis enthalten kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnte:

{
  "prediction_id": "a83f-2201",
  "timestamp": "2026-03-14T09:12:00Z",
  "model_version": "drugint-v3.2.1",
  "input_hash": "sha256:9c1a...",
  "output": "high_risk_interaction",
  "confidence": 0.87,
  "clinician_id": "role:pharmacist_042",
  "clinician_action": "overridden",
  "override_reason": "patient allergy history not in EHR field"
}

Nichts Exotisches. Der Punkt ist, dass jedes Feld eine Frage beantwortet, die ein Inspektor stellen wird.

Die Go/No-Go-Entscheidung zusammensetzen

Vor dem Go-live entscheiden drei Fragen über das Ergebnis:

1. Erfüllt die Validierungsevidenz eine vorab vereinbarte Schwelle, und zwar auf der tatsächlichen Deployment-Population? Wurde die Validierung auf anderen Daten als am Go-live-Standort durchgeführt, lautet die Antwort „nein“, bis erneut validiert ist.

2. Kann eine benannte menschliche Rolle das System in Echtzeit übersteuern, und wird dieses Übersteuern geloggt? Existiert der Override nur auf Papier, lautet die Antwort „nein“.

3. Können Sie in sechs Monaten jede einzelne Entscheidung end-to-end rekonstruieren? Sind Logs unvollständig oder die Modellversionierung nicht nachverfolgt, lautet die Antwort „nein“.

Ein „ja“ auf alle drei garantiert keine regulatorische Zulassung, aber ihr Fehlen garantiert einen Befund.

🎬 [VIDEO: "FDA's Approach to AI in Medical Devices" - youtube.com - suchen Sie nach Vorträgen des FDA Digital Health Center of Excellence zur Aufsicht über KI/ML-basierte SaMD und zum Predetermined Change Control Plan]

Wichtigste Erkenntnisse

• Behörden (FDA, EMA) bewerten das Governance-System um ein KI-Tool, nicht nur die Modellgenauigkeit: Validierungsmethodik, Design der menschlichen Aufsicht und Vollständigkeit des Audit Trails sind die eigentlichen Prüfpunkte.
• Validierung muss Subgruppen-Performance umfassen und idealerweise prospektive Tests auf der tatsächlichen Deployment-Population, nicht nur retrospektive Genauigkeit auf trainingsnahen Daten.
• Human-in-the-loop zählt nur, wenn der Override schnell, geloggt und rollenbasiert definiert ist; langsame oder kosmetische Overrides begünstigen Automation Bias und regulatorische Befunde.
• Jede Vorhersage sollte nachvollziehbar sein: Modellversion, Inputs, Output und die Handlung des Menschen, geloggt und gemäß den geltenden Aufbewahrungsregeln archiviert (z. B. US 21 CFR Part 11).
• Behandeln Sie die High-Risk-Klassifizierung des EU AI Act und den PCCP-Mechanismus der FDA als die beiden Rahmenwerke, die Ihren Dokumentationsaufwand bis 2026 und darüber hinaus am stärksten bestimmen werden.