Valider les produits médicaux dopés à l'IA

# Valider les produits médicaux dopés à l'IA

En 2020, un modèle d'IA conçu pour détecter le COVID-19 sur des radiographies thoraciques affichait une précision quasi parfaite dans une étude publiée. Il a échoué sur le terrain. La raison : le modèle avait appris à reconnaître quel hôpital avait réalisé l'examen, pas la maladie. Les patients les plus atteints venaient de certains hôpitaux, l'IA s'est donc appuyée sur les artefacts de scanner et les marqueurs textuels dans les coins de l'image. Changez d'hôpital, le modèle s'effondre.

C'est le problème central de la validation des produits médicaux dopés à l'IA. Un chiffre qui brille dans un tableur peut cacher un produit qui n'aide personne, ou pire, qui nuit aux patients.

Pourquoi la précision rétrospective induit en erreur

La plupart des validations d'IA commencent de façon rétrospective : vous prenez un jeu de données historique de cas étiquetés (disons 50 000 mammographies aux résultats connus) et vous mesurez la capacité du modèle à prédire l'étiquette.

La métrique mise en avant est souvent l'AUC (Area Under the Curve), un chiffre unique allant de 0,5 (tirage au hasard) à 1,0 (parfait) qui résume la capacité d'un modèle à séparer les cas positifs des cas négatifs. Une IA de diagnostic annonçant une AUC de 0,95 impressionne.

Mais l'AUC rétrospective est fragile pour trois raisons.

1. Le modèle peut tricher via des raccourcis

Comme dans l'exemple COVID, les modèles s'accrochent à des corrélations fallacieuses : des caractéristiques qui suivent le résultat dans vos données sans être la maladie. Une IA de dermatologie a un jour appris que les lésions cutanées photographiées avec une règle à côté étaient plus souvent malignes, parce que les médecins repéraient les lésions suspectes pour les mesurer. C'est la règle, pas la lésion, qui pilotait la prédiction.

2. Votre jeu de test n'est pas le monde réel

Les jeux de données rétrospectifs sont sélectionnés. Ils excluent souvent les cas ambigus, les images de mauvaise qualité ou les présentations rares, précisément les cas qui font trébucher les cliniciens et où l'IA est censée aider. La performance sur des données propres surestime la performance dans la réalité désordonnée de la clinique.

3. La précision masque qui est lésé

Un modèle peut être précis à 95 % globalement et rester dangereux pour un sous-groupe. Les métriques agrégées noient dans la moyenne les échecs concentrés sur des populations spécifiques.

Validation prospective : le test plus dur, plus vrai

La validation prospective consiste à tester l'IA sur de nouveaux patients à mesure qu'ils se présentent, dans le workflow clinique réel, avant de connaître le résultat. C'est le gold standard.

La différence est nette. Une étude sur l'oxymétrie de pouls offre une analogie utile : des dispositifs validés majoritairement sur des patients à peau claire se sont révélés ensuite surestimer l'oxygène sanguin chez les patients à peau foncée, un écart que les données rétrospectives de laboratoire masquaient et que l'usage prospectif en conditions réelles a révélé. La FDA a depuis publié un projet de guidance sur la précision des oxymètres de pouls selon la pigmentation cutanée.

Pour l'IA, la FDA distingue les preuves rétrospectives et prospectives dans son examen des Software as a Medical Device (SaMD) : des logiciels destinés à remplir une fonction médicale sans faire partie d'un dispositif matériel. Les données prospectives pèsent beaucoup plus lourd pour obtenir une autorisation.

À quoi ressemble un essai diagnostique prospectif

Prenons une IA hypothétique qui signale une rétinopathie diabétique (lésion oculaire liée au diabète) à partir de photos rétiniennes :

1. Recruter une cohorte prospective. De vrais patients dans de vraies cliniques, photographiés avec les caméras de la clinique, pas un appareil de qualité recherche.

2. Verrouiller le modèle. Aucun ajustement des poids après avoir vu les résultats. Le modèle est gelé avant l'essai (locked algorithm).

3. Définir le standard de référence. Qu'est-ce qui fait office de vérité terrain ? Souvent un panel de spécialistes, parfois avec arbitrage en cas de désaccord.

4. Mesurer la sensibilité et la spécificité, pas seulement l'AUC. La sensibilité est la part des vrais cas détectés. La spécificité est la part des patients sains correctement écartés. Un outil de dépistage qui rate la maladie (faible sensibilité) est dangereux ; un outil qui sur-signale (faible spécificité) inonde les spécialistes de fausses alertes.

5. Rapporter par sous-groupe. Ventilé par âge, sexe, origine, type d'appareil et site.

C'est en gros le chemin qu'a suivi la première IA autonome de rétinopathie diabétique jusqu'à son autorisation par la FDA : une étude prospective sur des sites de soins primaires, pas une extraction rétrospective de dossiers.

Analyse par sous-groupe : là où les produits cassent

Les chiffres agrégés mentent par omission. L'analyse par sous-groupe décompose la performance selon les populations pour repérer les défaillances cachées.

Prenez une IA de cancer de la peau entraînée majoritairement sur des peaux claires. La sensibilité globale peut afficher 90 %. En la ventilant, vous découvrirez peut-être une sensibilité élevée sur peau claire et bien plus faible sur peau foncée, où les images d'entraînement étaient rares. La moyenne masque un déficit de sécurité pour toute une population.

Sous-groupes à vérifier systématiquement :

• Démographie : origine, sexe, âge.
• Appareil et site : différentes marques de scanners, hôpital vs cabinet.
• Sévérité de la maladie : fonctionne-t-elle sur les cas précoces et subtils ou seulement sur les cas évidents ?
• Comorbidités : patients cumulant plusieurs pathologies.

Une règle utile : si un fournisseur ne vous montre qu'un seul chiffre de précision, demandez la ventilation par sous-groupe. S'il ne peut pas la fournir, la validation est incomplète.

🎬 [VIDEO: "How AI Bias Happens in Healthcare" - youtube.com - une explication claire sur la façon dont des données d'entraînement biaisées produisent une performance clinique inégale]

Dataset shift : le modèle qui vieillit mal

Même un modèle bien validé se dégrade avec le temps. Le dataset shift (aussi appelé data drift) survient quand les données que le modèle voit en production diffèrent de celles sur lesquelles il a été entraîné.

Trois variantes comptent en medtech :

• Covariate shift : les entrées changent. Un hôpital achète de nouvelles IRM aux caractéristiques d'image différentes.
• Label shift : la prévalence de la maladie change. Un modèle calibré sur la saison grippale se comporte différemment hors saison, ou un nouveau variant apparaît.
• Concept shift : la relation elle-même change. Des recommandations cliniques mises à jour redéfinissent ce qui compte comme « positif ».

Un modèle de prédiction du sepsis déployé dans un système de santé a ensuite été évalué en externe et s'est révélé très en deçà des chiffres annoncés, en partie parce que les pratiques locales et les populations différaient du site de développement. Le modèle n'avait pas changé ; le monde dans lequel on l'avait déposé, si.

Surveiller le shift en production

On ne valide pas une seule fois. On surveille en continu. Une vérification simple au niveau de la population compare la distribution des entrées et des sorties du modèle dans le temps.

# Simple drift check: compare score distributions across time windows
from scipy.stats import ks_2samp

# baseline_scores: sorties du modèle sur la période de validation
# current_scores: sorties du modèle sur les 30 derniers jours
statistic, p_value = ks_2samp(baseline_scores, current_scores)

if p_value < 0.01:
    print("Distribution shift detected: trigger clinical review")

Cela signale que les prédictions d'aujourd'hui ne ressemblent plus à la baseline validée. Cela ne vous dit pas que le modèle a tort, mais cela vous dit d'aller regarder.

Les régulateurs l'attendent désormais. Le cadre de la FDA sur le Predetermined Change Control Plan (PCCP) permet aux fabricants de préspécifier comment un modèle d'IA peut être mis à jour et revalidé dans le temps, reconnaissant que ces produits ne sont pas statiques.

Récapitulatif : une checklist de validation

Quand vous évaluez un produit médical dopé à l'IA, que ce soit comme acheteur, investisseur ou responsable produit, passez ces questions en revue :

1. Les preuves sont-elles prospectives ou rétrospectives ? Le rétrospectif est un point de départ, pas une preuve.

2. L'algorithme a-t-il été verrouillé avant le test ? Un réglage a posteriori gonfle les résultats.

3. Quel est le standard de référence ? Une vérité terrain faible plafonne la confiance qu'on peut accorder à n'importe quelle métrique.

4. Où est la ventilation par sous-groupe ? Exigez la sensibilité et la spécificité par population et par appareil.

5. La population d'entraînement correspond-elle à mes patients ? Un modèle validé dans des centres universitaires urbains peut ne pas se transférer aux cabinets ruraux.

6. Existe-t-il un plan de monitoring du dataset shift ? Et un plan pour réentraîner ou retirer le produit s'il dérive ?

Un produit qui coche les six est rare. L'essentiel d'une bonne due diligence consiste à savoir quelles questions ont été esquivées et ce que cela implique dans votre contexte.

Points clés

• La précision rétrospective est la métrique la plus facile à manipuler et la moins prédictive de la performance réelle. Les modèles exploitent des raccourcis, des données sélectionnées et l'effet de moyenne pour paraître meilleurs qu'ils ne sont.
• La validation prospective sur de vrais patients dans le workflow réel est le gold standard. Exigez un locked algorithm et un standard de référence clairement défini.
• Les métriques agrégées cachent les défaillances par sous-groupe. Ventilez toujours la performance par démographie, appareil, site et sévérité de la maladie avant de faire confiance à un chiffre unique.
• Les produits médicaux à base d'IA se dégradent. Le dataset shift lié à de nouveaux équipements, à une prévalence changeante ou à des recommandations révisées signifie que la validation est continue, pas ponctuelle. Cherchez un plan de monitoring et de mise à jour.
• Faites correspondre la population d'entraînement à vos patients. Un modèle validé ailleurs est une hypothèse, pas une garantie, tant qu'il n'a pas été testé dans votre contexte.