Bewertung von Anbietern und Build-versus-Buy-Optionen bei KI

# Bewertung von Anbietern und Build-versus-Buy-Optionen bei KI

Eine radiologische Gemeinschaftspraxis unterschreibt einen Zweijahresvertrag für ein KI-Tool, das verdächtige Lungenrundherde markiert. Nach sechs Monaten liegt die Sensitivität in ihrer Patientenpopulation (überwiegend ländlich, älter, mehr Emphysem) deutlich unter den veröffentlichten Werten des Anbieters. Die Trainingsdaten kamen größtenteils aus städtischen Universitätskliniken. Die Wechselkosten sind hoch, weil das Modell fest an ihr PACS (Picture Archiving and Communication System, die Software, die medizinische Bilder speichert und anzeigt) angebunden ist. Sie sitzen fest.

Diese Lektion gibt Ihnen die Scorecard, um diese Falle zu vermeiden.

Warum Build-versus-Buy in Biotech und Medtech anders ist

In den meisten Branchen gewinnt „Buy“ standardmäßig: Anbieter haben Skalenvorteile. In diesem Sektor verkomplizieren drei Dinge das Bild.

1. Ihre Patienten sind nicht deren Patienten. Modellleistung ist populationsspezifisch. Ein Sepsis-Vorhersagemodell, das in einem Gesundheitssystem trainiert wurde, verschlechtert sich woanders regelmäßig.

2. Die Regulierung folgt dem Modell. In den USA werden viele klinische KI-Tools von der FDA (Food and Drug Administration) als SaMD (Software as a Medical Device) reguliert. In Europa fallen sie unter die MDR (Medical Device Regulation, EU 2017/745) und zunehmend unter den EU AI Act, der die meiste medizinische KI als „hochriskant“ einstuft. Wer die regulatorische Zulassung hält, ist relevant.

3. Die Integration ist der eigentliche Kostenblock. Das Modell macht 10 % der Arbeit aus. Die anderen 90 % sind EHR-Integration (Electronic Health Record), LIMS-Anbindungen (Laboratory Information Management System) und klinischer Workflow.

Die Kurzfassung von Build-versus-Buy

• Buy, wenn die Aufgabe generisch ist und ein Anbieter bereits eine regulatorische Zulassung hält (Rundherd-Erkennung, Screening auf diabetische Retinopathie, Transkription).
• Build nur dann, wenn Sie proprietäre Daten, internes ML- und Regulatory-Know-how haben und der Use Case zentral für Ihre Differenzierung ist (zum Beispiel ein Pharmaunternehmen, das Target-Discovery-Modelle auf seinen eigenen Screening-Bibliotheken aufbaut).
• Partner/Fine-tuning ist der übliche Mittelweg: ein Basismodell lizenzieren und es unter einem klaren Vertrag auf Ihren Daten anpassen.

Die meisten Organisationen überschätzen ihre Fähigkeit zum Bauen. Ein konformes klinisches Modell zu bauen bedeutet, das komplette Qualitätsmanagementsystem unter Standards wie IEC 62304 (der Software-Lebenszyklus-Standard für Medizinprodukte) selbst zu verantworten. Das ist eine dauerhafte Personalverpflichtung, kein Projekt.

Die Anbieter-Scorecard

Bewerten Sie jeden Anbieter auf einer Skala von 1 bis 5 in den folgenden Dimensionen. Gewichten Sie die Kategorien nach Ihrem Kontext (ein Diagnostiklabor gewichtet Integration höher; ein Drug-Discovery-Team gewichtet Datenherkunft höher).

1. Herkunft der Trainingsdaten

Fragen Sie nach konkreten Angaben, schriftlich.

• Welche Populationen? Alter, Geschlecht, Ethnie, Geografie, Komorbiditäten und Scanner-/Gerätehersteller.
• Wie viele Patienten und Standorte? Ein Modell, das an 3 Standorten validiert wurde, ist nicht dasselbe wie eines, das an 30 validiert wurde.
• Einwilligung und Lizenzierung. War die Datennutzung rechtlich zulässig? Unter der DSGVO (Datenschutz-Grundverordnung) in Europa und HIPAA (Health Insurance Portability and Accountability Act) in den USA sind belastete Trainingsdaten Ihr Haftungsrisiko, sobald Sie das Tool einsetzen.
• Labeling-Methode. Radiologen-Konsens? Pathologische Bestätigung? Abrechnungscodes (schwach)?

Red Flag: „proprietärer Datensatz, Details kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen nicht geteilt werden.“

2. Leistung in IHRER Population

Veröffentlichte Metriken beschreiben den Testdatensatz des Anbieters, nicht Ihre Klinik. Verlangen Sie eine lokale Validierung vor Vertragsabschluss oder ein vertragliches Recht, während eines Pilotprojekts zu validieren.

Zentrale Metriken, definiert:

• Sensitivität: Welcher Anteil der Patienten, die die Erkrankung tatsächlich haben, wird vom Modell erfasst. Kritisch beim Screening (Sie wollen keine Erkrankung übersehen).
• Spezifität: Welcher Anteil der gesunden Patienten wird vom Modell korrekt als unauffällig eingestuft. Niedrige Spezifität bedeutet Alert-Fatigue.
• PPV (Positive Predictive Value): Welcher Anteil der vom Modell markierten Fälle ist wirklich positiv. Das hängt davon ab, wie häufig die Erkrankung in IHRER Population ist.

An diesem letzten Punkt scheitern viele. Hier der Grund.

Ein Rechenbeispiel: warum die Prävalenz alles verändert

Ein Anbieter bewirbt Sensitivität 95 %, Spezifität 90 %. Klingt stark. Wenden Sie das nun auf eine Screening-Population an, in der die Prävalenz der Erkrankung 1 % beträgt (ein plausibles Screening-Szenario). Nehmen Sie 10.000 Patienten:

Erkrankt: 100
  Erkannt (95 % Sens.):       95 True Positives
  Übersehen:                   5 False Negatives

Gesund: 9.900
  Markiert (10 % falsch pos.): 990 False Positives
  Korrekt freigegeben:       8.910 True Negatives

PPV = TP / (TP + FP) = 95 / (95 + 990) = 8,8 %

Also sind 91 % der Modell-Alerts Fehlalarme, selbst bei exzellenter Sensitivität und Spezifität. Wenn Kliniker jede Markierung prüfen müssen, haben Sie ein Arbeitslastproblem geschaffen, keine Lösung. Berechnen Sie den PPV immer für IHRE Prävalenz neu. Das Marketing des Anbieters macht das selten.

(Diese Zahlen sind illustrativ, keine Anbieterangaben.)

3. Integration in Labor- und Kliniksysteme

• Standard-Unterstützung. Spricht das Tool HL7 FHIR (Fast Healthcare Interoperability Resources, der moderne Standard für Datenaustausch) und DICOM (den Bildgebungsstandard)? Individuelle Punkt-zu-Punkt-Integrationen altern schlecht.
• Wo läuft die Inferenz? On-Premise, in Ihrem Cloud-Tenant oder in der Cloud des Anbieters? Das betrifft die Datenlokalisierung (in Europa eine harte DSGVO-Anforderung).
• Workflow-Passung. Erscheint der Alert im bestehenden Tool des Radiologen oder Pathologen oder in einem separaten Portal, das niemand öffnet?

4. Lock-in-Risiko

• Datenexport. KKDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie Ihre Daten, Labels und Modell-Outputs beim Ausstieg in einem nutzbaren Format exportieren?
• Modell-Portabilität. Wenn Sie auf Ihren Daten fine-getunt haben: Wem gehören die fine-getunten Gewichte?
• Regulatorische Abhängigkeit. Wenn Sie Ihren klinischen Workflow um deren FDA-Zulassung herum gebaut haben und der Anbieter den Markt verlässt, müssen Sie das Tool möglicherweise stilllegen.
• Vertragslaufzeit und Preissteigerung für KI-Compute. Fragen Sie, wie sich die Preise pro Untersuchung oder pro Seat bei Skalierung verändern.

🎬 [VIDEO: "How to Evaluate Healthcare AI Vendors" - youtube.com/results?search_query=evaluating+healthcare+AI+vendors - praktischer Durchgang der Due-Diligence-Fragen für die Beschaffung klinischer KI]

5. Monitoring und Drift

Klinische KI verschlechtert sich über die Zeit, weil sich Patientenpopulationen, Scanner und Protokolle ändern. Das ist Model Drift. Fragen Sie:

• Überwacht der Anbieter die Real-World-Performance nach dem Deployment?
• Hat der Anbieter im Rahmen des FDA-Konzepts eines PCCP (Predetermined Change Control Plan) vorab festgelegt, wie das Modell ohne neue vollständige Einreichung aktualisiert wird?
• Wer haftet, wenn die Leistung abfällt? Halten Sie das im Vertrag fest.

Aus der Scorecard eine Entscheidung machen

Geben Sie jeder Kategorie ein Gewicht und einen Score. Beispielgewichtung für ein diagnostisches Deployment im Krankenhaus:

| Kategorie | Gewicht | Anbieter A (1-5) | Anbieter B (1-5) |

|---|---|---|---|

| Datenherkunft | 20 % | 4 | 2 |

| Lokale Performance | 25 % | 3 | 4 |

| Integration | 25 % | 2 | 4 |

| Lock-in-Risiko | 15 % | 2 | 3 |

| Monitoring/Drift | 15 % | 4 | 3 |

Gewichteter Score, Anbieter A:

(4*.20)+(3*.25)+(2*.25)+(2*.15)+(4*.15)
= .80+.75+.50+.30+.60 = 2.95

Anbieter B:

(2*.20)+(4*.25)+(4*.25)+(3*.15)+(3*.15)
= .40+1.00+1.00+.45+.45 = 3.30

Anbieter B gewinnt bei Integration und lokaler Performance, die ein reales Deployment dominieren, trotz schwächerer Datendokumentation. Die Scorecard macht den Tradeoff explizit, statt die glatteste Demo entscheiden zu lassen.

ROIROIReturn on Investment: das Verhältnis von Nettogewinn zu den Kosten einer Investition. Ein ROI von 300 % bedeutet, dass jeder investierte Dollar 3 Dollar zurückbringt.Vollständige Definition ansehen → mit realistischen Erwartungen

Modellieren Sie den ROIROIReturn on Investment: das Verhältnis von Nettogewinn zu den Kosten einer Investition. Ein ROI von 300 % bedeutet, dass jeder investierte Dollar 3 Dollar zurückbringt.Vollständige Definition ansehen → nicht auf Basis der Best-Case-Zeiteinsparungen des Anbieters. Modellieren Sie ihn auf Basis Ihrer validierten lokalen Performance und der Workflow-Realität.

• Wo der Wert real ist: Triage und Priorisierung (dringende Aufnahmen zuerst markieren), Dokumentation und Transkription (Ambient-AI-Scribes, die die Tippzeit der Kliniker reduzieren) und Laborbetrieb (automatisierte Qualitätsprüfungen von Assay-Ergebnissen).
• Wo der Wert häufig überzeichnet wird: vollständig autonome Diagnose (selten, stark reguliert) und jede Behauptung über Personalabbau in klinischen Rollen.

Ein belastbarer ROIROIReturn on Investment: das Verhältnis von Nettogewinn zu den Kosten einer Investition. Ein ROI von 300 % bedeutet, dass jeder investierte Dollar 3 Dollar zurückbringt.Vollständige Definition ansehen →-Case rechnet mit: Lizenz- und Compute-Kosten, Integrations- und Validierungskosten (hoch und wiederkehrend), eingesparter Personalzeit (in einem Piloten gemessen, nicht angenommen) und den Kosten von False Positives (zusätzliche Befundungen, Folgebildgebung, Patientenangst).

Wenn der Anbieter keinen zeitlich begrenzten Piloten mit lokaler Validierungsklausel unterstützen kann, ist das selbst ein Signal für die Bewertung. Gehen Sie.

Wichtigste Erkenntnisse

• Berechnen Sie den PPV für Ihre eigene Krankheitsprävalenz neu. Hervorragende Sensitivität und Spezifität kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen in einer Screening-Population trotzdem überwiegend Fehlalarme produzieren.
• Verlangen Sie lokale Validierung vor Vertragsabschluss, oder ein vertragliches Recht, während eines Piloten zu validieren. Die Testdatensatz-Metriken des Anbieters beschreiben nicht Ihre Patienten.
• Über Erfolg entscheiden oft Integration und Drift-Monitoring, nicht die reine Accuracy. Gewichten Sie FHIR-/DICOM-Unterstützung und Monitoring nach dem Deployment hoch.
• Behandeln Sie Lock-in als Risiko erster Ordnung: Datenexport, Eigentum an den fine-getunten Gewichten und Abhängigkeit von der regulatorischen Zulassung des Anbieters.
• Bauen Sie nur mit proprietären Daten, internem ML- und Regulatory-Know-how und einem Use Case, der zentral für Ihre Differenzierung ist. Für alles Generische mit bestehender FDA-/MDR-Zulassung: kaufen oder partnern.