Évaluer les options de fournisseurs et l'arbitrage build-versus-buy en IA

Un groupe de radiologie signe un contrat de deux ans pour un outil d'IA qui signale les nodules pulmonaires suspects. Six mois plus tard, la sensibilité sur leur population de patients (très rurale, plus âgée, davantage d'emphysème) est nettement inférieure aux chiffres publiés par le fournisseur. Les données d'entraînement provenaient surtout de centres académiques urbains. Les coûts de changement sont élevés parce que le modèle est câblé dans leur PACS (Picture Archiving and Communication System, le logiciel qui stocke et affiche les images médicales). Ils sont coincés.

Cette leçon vous donne le scorecard pour éviter ce piège.

Pourquoi le build-versus-buy est différent en biotech et medtech

Dans la plupart des secteurs, « buy » l'emporte par défaut : les fournisseurs ont l'échelle. Ici, trois éléments compliquent les choses.

1. Vos patients ne sont pas leurs patients. La performance d'un modèle est spécifique à une population. Un modèle de prédiction du sepsis entraîné sur un système de santé se dégrade régulièrement ailleurs.
2. La réglementation suit le modèle. Aux États-Unis, beaucoup d'outils d'IA clinique sont réglementés par la FDA (Food and Drug Administration) en tant que SaMD (Software as a Medical Device). En Europe, ils relèvent du MDR (Medical Device Regulation, UE 2017/745) et, de plus en plus, de l'EU AI Act, qui classe la majorité de l'IA médicale comme « à haut risque ». Savoir qui détient l'autorisation réglementaire compte.
3. L'intégration est le vrai coût. Le modèle représente 10 % du travail. Les 90 % restants, c'est l'intégration à l'EHR (Electronic Health Record), les connexions au LIMS (Laboratory Information Management System) et le workflow clinique.

La version courte du build-versus-buy

• Buy quand la tâche est générique et qu'un fournisseur détient déjà l'autorisation réglementaire (détection de nodules, dépistage de la rétinopathie diabétique, transcription).
• Build uniquement quand vous disposez de données propriétairesdonnées propriétairesDonnées collectées directement auprès de vos clients et prospects via vos propres canaux : votre source la plus fiable et la plus conforme en matière de privacy.Voir la définition complète →, de talents ML et réglementaires en interne, et que le cas d'usage est au cœur de votre différenciation (par exemple, un laboratoire pharmaceutique construisant des modèles de découverte de cibles sur ses propres bibliothèques de criblage).
• Partner/fine-tuning est le chemin intermédiaire courant : licencier un modèle de base, l'adapter sur vos données dans un cadre contractuel clair.

La plupart des organisations surestiment leur capacité à construire. Bâtir un modèle clinique conforme signifie porter l'intégralité du système de management de la qualité selon des normes comme l'IEC 62304 (la norme de cycle de vie logiciel pour les dispositifs médicaux). C'est un engagement permanent en effectifs, pas un projet.

Le scorecard fournisseur

Notez chaque fournisseur de 1 à 5 sur les dimensions ci-dessous. Pondérez les catégories selon votre contexte (un laboratoire de diagnostic pondère davantage l'intégration ; une équipe de drug discovery pondère davantage la provenance des données).

1. Provenance des données d'entraînement

Demandez des précisions, par écrit.

• Quelles populations ? Âge, sexe, origine ethnique, géographie, comorbidités, et fabricants de scanners/dispositifs.
• Combien de patients et de sites ? Un modèle validé sur 3 sites n'est pas équivalent à un modèle validé sur 30.
• Consentement et licences. Les données étaient-elles légalement utilisables ? Sous le RGPDRGPDRèglement de l'UE encadrant la collecte, le stockage et l'usage des données personnelles, avec des amendes indexées sur le chiffre d'affaires mondial.Voir la définition complète → (Règlement Général sur la Protection des Données) en Europe et HIPAAHIPAAHealth Insurance Portability and Accountability Act, loi américaine imposant la protection des données de santé (PHI). Violations : amendes jusqu'à 1,9M$ par catégorie de violation. (Health Insurance Portability and Accountability Act) aux États-Unis, des données d'entraînement viciées deviennent votre responsabilité dès que vous déployez.
• Méthode d'annotation. Consensus de radiologues ? Confirmation anatomopathologique ? Codes de facturation (faible) ?

Signal d'alerte : « jeu de données propriétaire, nous ne pouvons pas partager les détails ».

2. Performance sur VOTRE population

Les métriques publiées décrivent le jeu de test du fournisseur, pas votre clinique. Exigez une validation locale avant de signer, ou un droit contractuel de valider pendant un pilote.

Métriques clés, définies :

• Sensibilité : parmi les patients réellement atteints, la fraction que le modèle détecte. Critique pour le dépistage (vous ne voulez pas manquer de maladie).
• Spécificité : parmi les patients sains, la fraction que le modèle écarte correctement. Une spécificité faible signifie une fatigue liée aux alertes.
• VPP (Valeur Prédictive Positive) : parmi les cas signalés par le modèle, la fraction réellement positive. Cela dépend de la fréquence de la maladie dans VOTRE population.

C'est ce dernier point qui piège. Voici pourquoi.

Un exemple chiffré : pourquoi la prévalence change tout

Un fournisseur annonce 95 % de sensibilité, 90 % de spécificité. Cela paraît excellent. Appliquez-le maintenant à une population de dépistage où la prévalence de la maladie est de 1 % (un scénario de dépistage plausible). Prenez 10 000 patients :

Diseased: 100
  Detected (95% sens):        95 true positives
  Missed:                      5 false negatives

Healthy: 9,900
  Flagged (10% false pos):   990 false positives
  Correctly cleared:       8,910 true negatives

PPV = TP / (TP + FP) = 95 / (95 + 990) = 8.8%

Donc 91 % des alertes du modèle sont de fausses alertes, même avec une excellente sensibilité et une excellente spécificité. Si les cliniciens doivent examiner chaque signalement, vous avez crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →éé un problème de charge de travail, pas une solution. Recalculez toujours la VPP à VOTRE prévalence. Le marketing du fournisseur le fait rarement.

(Ces chiffres sont illustratifs, ce ne sont pas des allégations de fournisseur.)

3. Intégration avec les systèmes de laboratoire et cliniques

• Support des standards. L'outil parle-t-il HL7 FHIR (Fast Healthcare Interoperability Resources, le standard moderne d'échange de données) et DICOM (le standard d'imagerie) ? Les intégrations point à point sur mesure vieillissent mal.
• Où tourne l'inférence ? On-premise, dans votre tenant cloud, ou le cloud du fournisseur ? Cela affecte la résidence des donnéesrésidence des donnéesL'exigence de stocker et traiter les données physiquement dans un pays ou une région précise, souvent pour des raisons légales ou contractuelles.Voir la définition complète → (une exigence stricte du RGPD en Europe).
• Adéquation au workflow. L'alerte apparaît-elle dans l'outil existant du radiologue ou du pathologiste, ou dans un portail séparé que personne n'ouvre ?

4. Risque de lock-in

• Export des données. Pouvez-vous exporter vos données, vos annotations et les sorties du modèle en sortie de contrat, dans un format exploitable ?
• Portabilité du modèle. Si vous avez fait du fine-tuningfine-tuningLe fine-tuning adapte un modèle pré-entraîné à une tâche ou un domaine précis en poursuivant son entraînement sur un jeu de données plus petit et ciblé, ce qui améliore la précision et le style pour ce cas d'usage.Voir la définition complète → sur vos données, à qui appartiennent les poids affinés ?
• Dépendance réglementaire. Si vous avez construit votre workflow clinique autour de leur autorisation FDA et qu'ils quittent le marché, vous devrez peut-être cesser d'utiliser l'outil.
• Durée du contrat et escalade tarifaire sur le compute IA. Demandez comment le prix par examen ou par siège évolue à l'échelle.

🎬 [VIDEO: "How to Evaluate Healthcare AI Vendors" - youtube.com/results?search_query=evaluating+healthcare+AI+vendors - parcours pratique des questions de due diligence pour l'achat d'IA clinique]

5. Monitoring et drift

L'IA clinique se dégrade avec le temps à mesure que les populations de patients, les scanners et les protocoles changent. C'est le model drift. Demandez :

• Le fournisseur surveille-t-il la performance en conditions réelles après déploiement ?
• Dans le cadre du PCCP (Predetermined Change Control Plan) de la FDA, le fournisseur a-t-il pré-spécifié comment le modèle sera mis à jour sans nouvelle soumission complète ?
• Qui est responsable quand la performance chute ? Faites-le inscrire au contrat.

TransformerTransformerUn Transformer est une architecture de réseau de neurones qui utilise le self-attention pour traiter des séquences en parallèle. Elle est au cœur de la plupart des modèles de langage et d'IA générative actuels.Voir la définition complète → le scorecard en décision

Attribuez à chaque catégorie un poids et une note. Exemple de pondération pour un déploiement diagnostique hospitalier :

Score pondéré, Fournisseur A :

(4*.20)+(3*.25)+(2*.25)+(2*.15)+(4*.15)
= .80+.75+.50+.30+.60 = 2.95

Fournisseur B :

(2*.20)+(4*.25)+(4*.25)+(3*.15)+(3*.15)
= .40+1.00+1.00+.45+.45 = 3.30

Le Fournisseur B l'emporte sur l'intégration et la performance locale, qui dominent un déploiement réel, malgré une documentation des données plus faible. Le scorecard rend l'arbitrage explicite au lieu de laisser la démo la plus léchée décider.

ROIROIReturn on Investment : le rapport entre le profit net et le coût d'un investissement. Un ROI de 300 % signifie que chaque dollar investi en rapporte 3.Voir la définition complète → avec des attentes réalistes

Ne modélisez pas le ROI sur les gains de temps du meilleur scénario du fournisseur. Modélisez-le sur votre performance locale validée et la réalité du workflow.

• Là où la valeur est réelle : le triage et la priorisation (signaler d'abord les examens urgents), la documentation et la transcription (des scribes IA ambiants réduisant le temps de saisie des cliniciens), et les opérations de laboratoire (contrôles qualité automatisés sur les résultats de dosage).
• Là où la valeur est souvent surévaluée : le diagnostic entièrement autonome (rare, très encadré), et toute promesse de réduction d'effectifs sur des postes cliniques.

Un dossier de ROI défendable compte : le coût de licence et de compute, le coût d'intégration et de validation (élevé et récurrent), le temps de personnel économisé (mesuré dans un pilote, pas supposé), et le coût des faux positifs (relectures supplémentaires, imagerie de suivi, anxiété des patients).

Si le fournisseur ne peut pas soutenir un pilote borné dans le temps avec une clause de validation locale, c'est en soi un signal de notation. Passez votre chemin.

À retenir

• Recalculez la VPP à votre propre prévalence de la maladie. D'excellentes sensibilité et spécificité peuvent quand même produire majoritairement de fausses alertes dans une population de dépistage.
• Exigez une validation locale avant de signer, ou un droit contractuel de valider pendant un pilote. Les métriques du jeu de test du fournisseur ne décrivent pas vos patients.
• L'intégration et le monitoring du drift décident souvent du succès, pas la précision brute. Pondérez fortement le support FHIR/DICOM et le monitoring post-déploiement.
• Traitez le lock-in comme un risque de premier plan : export des données, propriété des poids affinés, et dépendance à l'autorisation réglementaire du fournisseur.
• Ne construisez qu'avec des données propriétaires, des talents ML et réglementaires en interne, et un cas d'usage central à votre différenciation. Pour tout ce qui est générique avec une autorisation FDA/MDR existante, achetez ou partenariat.