Anbieter von Krankenhaus-KI bewerten und vergleichen

# Anbieter von Krankenhaus-KI bewerten und vergleichen

Zwei Krankenhäuser kaufen denselben Algorithmus zur Sepsis-Prädiktion. Eines senkt die Sepsis-Mortalität, das andere schaltet ihn nach sechs Monaten still ab, weil die Pflegekräfte den Alerts nicht mehr vertrauen. Dieselbe Software, entgegengesetzte Ergebnisse. Der Unterschied lag fast nie am Modell selbst. ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → lag an der Integration, an der Passung der Validierung und daran, wie das Tool den klinischen Workflow verändert hat.

Genau wegen dieser Lücke brauchen Sie eine strukturierte Scorecard und keine Anbieter-Demo. Diese Lektion vergleicht drei Anbieter für Sepsis-Prädiktion direkt gegeneinander, anhand von vier Bewertungsperspektiven, die Erfolg tatsächlich vorhersagen.

Warum Sepsis-Prädiktion der richtige Testfall ist

Sepsis ist eine lebensbedrohliche Reaktion auf eine Infektion. Jede Stunde verzögerter Behandlung erhöht die Mortalität, deshalb ist die Früherkennung ein KI-Anwendungsfall mit hohem Wert. Sie ist auch der lehrreichste Fall für eine Bewertung, weil es in diesem Feld schon einen öffentlichen Fehlschlag gab.

Das Epic Sepsis Model (ein Prädiktionstool, eingebettet in die weit verbreitete elektronische Patientenakte von Epic, kurz EHR: das digitale System, in dem Patientenakten gespeichert werden) wurde 2021 in einem Beitrag in *JAMA Internal Medicine* unabhängig untersucht. Forschende in Michigan stellten fest, dass es im realen Einsatz deutlich schlechter abschnitt als die Zahlen des Anbieters vermuten ließen: Es übersah viele Sepsisfälle und überschwemmte die Klinikerinnen und Kliniker gleichzeitig mit Alerts. Die Zusammenfassung der Studie finden Sie hier: JAMA Internal Medicine, 2021.

Die Lehre daraus: Vom Anbieter berichtete Accuracy ist ein Ausgangspunkt, kein Nachweis.

Die Scorecard mit vier Perspektiven

Wir bewerten drei hypothetische, aber realistische Anbieterprofile auf einer Skala von 1 bis 5 in vier Perspektiven. Die Anbieter:

• Anbieter A: Natives EHR-Modul (innerhalb Ihrer EHR-Plattform gebaut).
• Anbieter B: Spezialisierter Drittanbieter für Sepsis mit peer-reviewten Studien.
• Anbieter C: Cloud-KI-Startup, am günstigsten, am neuesten.

Perspektive 1: EHR-Integration

Ein KI-Modell ist nutzlos, wenn es keine Live-Patientendaten sehen kann und Prädiktionen nicht dort anzeigt, wo Klinikerinnen und Kliniker ohnehin arbeiten. Die Integration ist meist der größte einzelne Treiber von Erfolg oder Misserfolg.

Kernfragen:

• Liest das Tool Echtzeitdaten über HL7 oder FHIR (Fast Healthcare Interoperability Resources: moderne Standards für den Austausch von Gesundheitsdaten)? FHIR ist 2026 der erwartete Standard.
• Erscheint der Alert innerhalb der EHR-Akte oder in einer separaten App, die Pflegekräfte erst öffnen müssen? Separate Apps werden ignoriert.
• Wie hoch ist die Datenlatenz? Ein Sepsis-Alert, der 45 Minuten zu spät auslöst, ist klinisch wertlos.

| Anbieter | Integrationsprofil | Score |

|--------|--------------------|-------|

| A (nativ) | Läuft im EHR, Echtzeit, Alerts im bestehenden Workflow | 5 |

| B (Spezialist) | FHIR-Integration, ausgereift, erfordert aber Schnittstellenaufbau | 4 |

| C (Startup) | Nur APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Vollständige Definition ansehen →, Alerts in separatem Dashboard, Batch-Daten | 2 |

Perspektive 2: Klinische Validierungsevidenz

Hier trennen Sie Marketing von Medizin. Fragen Sie Evidenz in dieser Hierarchie ab, das Stärkste zuerst:

1. Prospektive Studie: an laufenden Patientenfällen in die Zukunft getestet, idealerweise an mehreren Standorten.

2. Externe Validierung: an anderen Krankenhäusern getestet als dort, wo das Modell gebaut wurde.

3. Retrospektiv intern: nur an historischen Daten des Anbieters getestet (am schwächsten, und das, was die meisten Anbieter zuerst zeigen).

Zwei Metriken zählen, und Anbieter verstecken sich gern hinter einer davon:

• Sensitivität: Welchen Anteil der Patienten, die tatsächlich eine Sepsis entwickeln, erkennt das Modell?
• Positiver prädiktiver Wert (PPV): Welcher Anteil aller ausgelösten Alerts ist eine echte Sepsis?

Ein Modell kann eine hohe Sensitivität und einen miserablen PPV haben: Es erkennt die meisten Fälle, ertränkt das Personal aber in Fehlalarmen. Genau das hat die Gegenreaktion auf das Epic-Modell ausgelöst und führt zu Alert Fatigue (Klinikerinnen und Kliniker blenden Warnungen aus, weil zu viele davon falsch sind).

Fragen Sie außerdem: War das Modell FDA-cleared als Software as a Medical Device (SaMD)? In den USA regulieren die Food and Drug Administration viele diagnostische KI-Tools. In Europa ist das Äquivalent die CE-Kennzeichnung nach der Medical Device Regulation (MDR), zuzüglich der Pflichten, die mit dem EU AI Act kommen, der die meisten klinischen Entscheidungs-KI als hochriskant einordnet. Eine Zulassung ist kein Beweis für die Leistung in der Praxis, ihr Fehlen ist bei einer diagnostischen Aussage jedoch ein Warnsignal.

| Anbieter | Evidenz | Score |

|--------|----------|-------|

| A (nativ) | Nur retrospektiv intern, keine externe Validierung | 2 |

| B (Spezialist) | Prospektive Multicenter-Studie, FDA-cleared | 5 |

| C (Startup) | Retrospektiv, beeindruckende AUC, keine klinische Studie | 2 |

Hinweis: AUC (area under the curve) ist eine gängige Kennzahl für Accuracy von 0,5 bis 1,0. Eine hohe AUC auf retrospektiven Daten garantiert keinen Nutzen am Krankenbett.

Perspektive 3: Deployment-Modell

Wie das Modell betrieben und aktualisiert wird, ist für Sicherheit und IT-Aufwand relevant.

• On-Premise: läuft auf Servern des Krankenhauses. Mehr Datenkontrolle, höhere IT-Last.
• Cloud/SaaS: der Anbieter hostet. Einfachere Updates, aber Fragen zur Data GovernanceData GovernanceData governance is the set of policies, roles, and processes that ensure data is accurate, secure, well-defined, and used responsibly across an organization.Vollständige Definition ansehen → nach HIPAA (USA) und DSGVO (Europa).
• Monitoring von Model Drift: Patientenpopulationen verändern sich, deshalb sinkt die Accuracy. Fragen Sie, wer Drift überwacht und wie oft das Modell neu kalibriert wird. Ein Anbieter ohne Drift-Plan verkauft Ihnen ein Modell, das still degradiert.

| Anbieter | Deployment | Score |

|--------|-----------|-------|

| A (nativ) | Cloud, an den EHR-Update-Zyklus gebunden, kein separates Drift-Dashboard | 3 |

| B (Spezialist) | Hybrid, quartalsweise Rekalibrierung, Drift-Monitoring inklusive | 5 |

| C (Startup) | Nur Cloud, unklarer Drift-Prozess | 2 |

Perspektive 4: Total Cost of Ownership (TCO)

Nicht die Lizenzgebühr. Die vollen Kosten für den Betrieb der KI über drei Jahre. Bleiben Sie bei den KI-spezifischen Kosten, nicht bei der allgemeinen Krankenhausfinanzierung.

TCO-Bestandteile:

• Lizenz/Subscription (oft pro Bett oder pro Krankenhaus).
• Integrationsaufbau (Schnittstellen-Engineering, FHIR-Setup).
• Wartung durch IT und Data Engineering.
• Klinisches Change Management (Training, Alert-Tuning, Zeit des Governance-Komitees).

Der letzte Punkt wird regelmäßig unterschätzt. Alert-Tuning und Schulung der Klinikerinnen und Kliniker kosten im ersten Jahr oft so viel wie die Software.

#### TCO-Rechenbeispiel (nur illustrative Schätzwerte)

Das sind erfundene runde Zahlen, um die Methode zu zeigen, keine echten Anbieterpreise. Annahme: ein Krankenhaus mit 300 Betten, Horizont drei Jahre, Anbieter B:

• Subscription: 150.000 $/Jahr x 3 = 450.000 $
• Integrationsaufbau (einmalig): 120.000 $
• Laufende IT-Wartung: 40.000 $/Jahr x 3 = 120.000 $
• Change Management (Training, Governance, Tuning): 90.000 $ in Jahr 1, danach 30.000 $/Jahr x 2 = 150.000 $

Drei-Jahres-TCO = 450.000 + 120.000 + 120.000 + 150.000 = 840.000 $

Stellen Sie das nun dem Nutzen gegenüber. Angenommen, das Tool trägt dazu bei, dass geschätzt 20 zusätzliche Sepsis-Patienten pro Jahr früher behandelt werden, und jede vermiedene Verschlechterung spart geschätzt 15.000 $ an vermiedenen Intensivtagen (auch das illustrativ):

• Geschätzter Jahresnutzen: 20 x 15.000 = 300.000 $
• Nutzen über drei Jahre: 900.000 $

Netto über drei Jahre: 900.000 minus 840.000 = 60.000 $ positiv, wobei der größte Teil des Werts aus klinischen Ergebnissen kommt, nicht aus Personaleinsparungen. Es geht nicht um die Zahl. Es geht darum, dass eine günstigere Lizenz (Anbieter C) gegen eine teurere (Anbieter B) verlieren kann, sobald Integration, Drift-Monitoring und Change Management eingerechnet sind.

Die Scorecard zusammensetzen

Summieren Sie die vier Perspektiven (maximal 20):

| Anbieter | Integration | Validierung | Deployment | TCO-Passung | Gesamt |

|--------|:-:|:-:|:-:|:-:|:-:|

| A (nativ) | 5 | 2 | 3 | 4 | 14 |

| B (Spezialist) | 4 | 5 | 5 | 3 | 17 |

| C (Startup) | 2 | 2 | 2 | 5 | 11 |

Gewichten Sie die Perspektiven nach Ihrem Kontext. Ein Krankenhaus mit überlastetem IT-Team wird Integration möglicherweise am höchsten gewichten, was Anbieter A trotz schwächerer Evidenz attraktiver macht. Ein großes akademisches Zentrum wird alles ohne prospektive Validierung ablehnen und damit A und C unabhängig vom Preis ausschließen.

Die Scorecard wählt den Sieger nicht für Sie aus. Sie legt die Tradeoffs offen und verhindert, dass eine glatte Demo über eine Anschaffung mit klinischer Sicherheitsrelevanz entscheidet.

🎬 [VIDEO: "How to Evaluate Clinical AI Tools" - youtube.com - eine verständliche Tour durch Validierungs- und Integrationsfallen bei der Beschaffung von Krankenhaus-KI]

Ein realistischer Erwartungscheck

Auch der Anbieter mit dem besten Score liefert isoliert keinen Wert. Drei nüchterne Realitäten:

• Prädiktion ist keine Behandlung. Ein präziser Alert hilft nur, wenn eine Pflegekraft handelt und ein Rapid-Response-Protokoll existiert. KI ohne Workflow-Redesign scheitert.
• Die Accuracy von der Stange sinkt bei Ihren Patienten. Verhandeln Sie immer einen Silent Trial (das Modell läuft, ohne Alerts auszulösen), damit Sie vor dem Go-live die reale Sensitivität und den PPV in Ihrer Population messen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen.
• Governance ist dauerhaft. Jemand muss Monitoring, Auslöser für Retraining und Abschaltkriterien über die gesamte Lebensdauer des Tools verantworten.

Wichtigste Erkenntnisse

• Bewerten Sie Anbieter in vier Perspektiven: EHR-Integration, klinische Validierungsevidenz, Deployment und Drift-Monitoring sowie Total Cost of Ownership. Kaufen Sie nie auf Basis einer Demo.
• Fordern Sie die stärkste verfügbare Validierung: prospektiv, multizentrisch, und mit Angabe von Sensitivität und PPV. Der Fehlschlag des Epic Sepsis Model entstand daraus, dass der reale PPV ignoriert wurde.
• Der TCO wird von Integration und Change Management dominiert, nicht von der Lizenzgebühr. Der günstigste Anbieter hat oft die schlechtesten echten Kosten.
• Führen Sie vor dem Go-live einen Silent Trial mit Ihren eigenen Patienten durch, denn die Accuracy sinkt außerhalb der Trainingspopulation des Anbieters fast immer.
• Prüfen Sie den regulatorischen Status (FDA-Zulassung in den USA, MDR-CE-Kennzeichnung und Hochrisiko-Pflichten des EU AI Act in Europa), behandeln Sie ihn aber als Mindestanforderung, nicht als Beweis für Nutzen am Krankenbett.