Diagnostiquer le risque modèle dans l'IA clinique

En 2019, une étude publiée dans *Science* a montré qu'un algorithme de care management largement utilisé aux États-Unis, appliqué à environ 200 millions de personnes par an, orientait systématiquement moins les patients noirs vers les programmes de soins à haut risque. Le modèle ne recevait pas la variable race. Il utilisait les coûts de santé comme proxy de la gravité. Comme historiquement on dépensait moins pour les patients noirs à niveau de maladie égal, l'algorithme concluait qu'ils étaient en meilleure santé. Ils ne l'étaient pas.

Voilà le risque modèle. Pas un bug dans le code, mais un décalage entre ce que le modèle a appris et ce que l'hôpital attendait de lui. Cette leçon dissèque les quatre modes de défaillance qui coûtent le plus cher aux hôpitaux, à partir de cas réellement déployés, et les contrôles qui permettent de les détecter avant qu'un patient soit lésé.

Ce que « risque modèle » signifie à l'hôpital

Le risque modèle est le risque de perte (clinique, financière ou réputationnelle) lié à un modèle faux, mal utilisé ou mal compris. Dans la banque, ce concept est formalisé. En santé, il est plus récent mais converge vite, sous l'impulsion de la FDA américaine (Food and Drug Administration) et de l'AI Act européen, qui classe la plupart des outils d'aide à la décision clinique comme « IA à haut risque », avec des obligations de monitoring.

Quatre modes de défaillance dominent. Apprenez à les nommer.

Mode de défaillance 1 : le dataset shift entre populations de patients

Le dataset shift signifie que les données vues en production diffèrent de celles de l'entraînement. Un modèle entraîné sur les patients d'un hôpital se dégrade dans un autre.

Le cas classique : le Sepsis Model d'Epic, déployé dans des centaines d'hôpitaux américains. Une validation externe à l'University of Michigan (publiée dans *JAMA Internal Medicine*, 2021) a constaté qu'il manquait environ deux tiers des cas de sepsis et générait de fréquentes fausses alertes dans une population différente des données de développement d'Epic. Le modèle n'était pas cassé. Il avait été déplacé.

Trois sous-types à surveiller :

• Covariate shift : le mix de patients change (plus âgés, plus graves, autre origine ethnique).
• Label shift : la prévalence de la maladie change (un nouveau variant, un pic saisonnier).
• Concept shift : la relation elle-même change (un nouveau protocole de traitement modifie ce à quoi ressemble un « haut risque »).

Le contrôle : ne faites jamais confiance à l'AUC interne d'un fournisseur. Exigez une validation externe locale sur vos propres données patients avant la mise en production, puis à nouveau après tout changement majeur de population.

AUC (Area Under the Curve) : un score allant de 0,5 (tirage au sort) à 1,0 (parfait) qui mesure la capacité d'un modèle à séparer les patients malades des patients sains.

Mode de défaillance 2 : le biais d'automatisation en réanimation

Le biais d'automatisation est la tendance humaine à sur-faire confiance à la sortie d'une machine et à cesser d'exercer son esprit critique. En réanimation, où une infirmière gère des alarmes toutes les quelques minutes, le phénomène est aigu.

Deux directions de préjudice :

• Erreurs de commission : le clinicien suit une recommandation erronée de l'IA qu'il aurait détectée sans elle.
• Alert fatigue : le modèle se déclenche si souvent que les équipes l'ignorent, y compris sur les vrais positifs. Les études estiment que la majorité des alertes cliniques sont outrepassées. Un modèle qui crie au loup apprend aux humains à désactiver le piège à loup.

La réponse de gouvernance n'est pas une meilleure IA. C'est la conception du workflow : calibrer les seuils d'alerte sur la capacité réelle en personnel, journaliser les taux d'override, et traiter une hausse du taux d'override comme un signal d'alerte indiquant que le modèle a perdu la confiance clinique.

Mode de défaillance 3 : la dégradation silencieuse des performances

Celle-ci tue en silence. Un modèle performe bien au lancement, puis dérive vers le bas au fil des mois à mesure que les pratiques, les équipements et le codage changent. Personne ne le remarque, parce qu'il n'existe aucune alarme pour « le modèle se dégrade lentement ».

Un déclencheur concret : un hôpital change de fournisseur d'automate de laboratoire. Les valeurs de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →éatinine se décalent légèrement d'échelle. Un modèle de risque rénal calibré sur l'ancienne échelle attribue désormais un mauvais score à chaque patient, silencieusement.

Un calcul de monitoring simple

Pas besoin de mathématiques poussées pour détecter la dégradation. Suivez la calibration du modèle : les risques prédits correspondent-ils aux résultats observés ?

Supposons qu'un modèle de réadmission signale 1 000 patients par trimestre comme « haut risque (30 % prédits) ». Au lancement, 300 ont effectivement été réadmis (30 %, bien calibré). Deux trimestres plus tard :

Predicted high-risk readmission rate: 30%
Flagged patients:                     1,000
Model expects readmissions:           300
Actual observed readmissions:         180

Observed / Expected ratio = 180 / 300 = 0.60

Un ratio O/E de 0,60 signifie que le modèle surestime désormais le risque de 40 %. Des cliniciens sont envoyés vers des patients qui ne seront pas réadmis, ce qui gaspille un temps de case management rare. Cette dérive est invisible sur un dashboard qui affiche seulement « le modèle tourne ». Elle est évidente sur une courbe O/E.

Définissez un déclencheur : si le O/E sort, par exemple, de la plage 0,8 à 1,2 sur deux périodes consécutives, on suspend et on revalide. (Les bornes sont indicatives ; fixez les vôtres avec votre comité de gouvernance clinique.)

Mode de défaillance 4 : des résultats inéquitables

Revenons au cas d'ouverture. Le préjudice ne venait pas d'une intention. Il venait d'une variable proxy (le coût) tenant lieu de cible réelle (le besoin de santé), combinée à l'inéquité historique incorporée dans ce proxy.

Où cela apparaît à l'hôpital :

• Oxymétrie de pouls et couleur de peau : les dispositifs et les modèles en aval peuvent surestimer la saturation en oxygène chez les patients à peau foncée, retardant le traitement. C'est un biais de mesure documenté qui alimente les IA entraînées sur ces données.
• Groupes sous-représentés : un modèle de dermatologie entraîné majoritairement sur des peaux claires manque les mélanomes sur peau foncée.

Le contrôle, c'est l'analyse de performance par sous-groupe. Ne publiez pas une seule AUC. Publiez-la par groupe : par origine ethnique, sexe, tranche d'âge et type de payeur. Un modèle à 0,85 d'AUC globale et 0,65 sur un sous-groupe n'est pas un modèle à 0,85. C'est un modèle discriminatoire.

L'Office for Civil Rights américain et la Section 1557 de l'Affordable Care Act couvrent désormais explicitement la discrimination par les algorithmes cliniques. Une IA inéquitable est une exposition de conformité, pas seulement un sujet d'éthique.

Les garde-fousgarde-fousRègles et contrôles qui maintiennent un système d'IA dans des limites sûres, légales et conformes à la marque, en bloquant les sorties et actions hors cadre.Voir la définition complète → : ce qu'il faut faire avant de déployer

La gouvernance transforme ces quatre risques en checklist. Ancrez-la sur des frameworks réels.

1. Classez le modèle dans le régime applicable

• Aux États-Unis, posez la question : s'agit-il d'un dispositif médical réglementé ? La FDA supervise les Software as a Medical Device (SaMD) fondés sur l'IA/ML. Beaucoup d'outils d'aide à la décision clinique en relèvent. Les Good Machine Learning Practice guiding principles de la FDA sont un point de départ gratuit et écrit en langage clair.
• Dans l'UE, l'AI Act (en vigueur depuis 2024, obligations échelonnées jusqu'en 2026 et 2027) classe l'IA médicale comme à haut risque, avec des exigences de gestion des risques, de gouvernance des données, de supervision humaine et de monitoring post-marché. Les dispositifs médicaux relèvent aussi du MDR (Medical Device Regulation).

2. Exigez une validation locale, pas les affirmations du fournisseur

Reproduisez la performance sur votre propre population avant la mise en production. Insistez sur une model card : un document court indiquant la population d'entraînement, l'usage prévu, les limites connues et la performance par sous-groupe.

3. Intégrez la supervision humaine dans le workflow

Décidez explicitement si un humain doit confirmer chaque sortie (human-in-the-loop) ou peut la corriger après coup (human-on-the-loop). Journalisez les taux d'override comme signal de sécurité en temps réel.

4. Instrumentez contre la dégradation silencieuse

Livrez le monitoring avec le modèle, pas plus tard. Suivez la calibration (ratios O/E), le volume d'alertes et la dérive des entrées. Désignez un owner. Un modèle sans owner est un incident qui attend son nom.

5. Exécutez les contrôles d'équité par sous-groupe en continu

Pas une seule fois à l'achat. Les populations évoluent. Relancez l'analyse par sous-groupe selon un calendrier arrimé à votre comité de gouvernance.

6. Gardez un plan de décommissionnement

Chaque modèle a besoin d'un interrupteur d'arrarrL'Annual Recurring Revenue (ARR) est le revenu normalisé et prévisible qu'une entreprise par abonnement attend de ses contrats actifs sur une année.Voir la définition complète →êt et d'un déclencheur documenté pour l'actionner. Le cas du sepsis chez Epic montre ce qui arrive quand un modèle largement déployé ne peut pas être rapidement recadré.

Points clés

• Un modèle qui fonctionne chez le fournisseur peut échouer dans votre hôpital. Le dataset shift est l'hypothèse par défaut, pas l'exception. Exigez une validation externe locale avant chaque mise en production.
• La dégradation silencieuse est la défaillance la plus meurtrière parce que rien ne sonne. Suivez un simple ratio O/E (observé sur attendu) à chaque période ; une sortie de la plage convenue déclenche une revalidation.
• Le biais d'automatisation est un problème de workflow, pas de modèle. Suivez les taux d'override et d'alert fatigue comme indicateurs avancés d'une perte de confiance clinique.
• Un chiffre unique de précision globale masque la discrimination. Publiez toujours la performance par sous-groupe ; avec la Section 1557 américaine et l'AI Act européen, les algorithmes inéquitables sont désormais une exposition juridique.
• La gouvernance est un cycle de vie, pas un point de passage au lancement. Classez selon la FDA ou l'AI Act européen, désignez un owner, instrumentez le monitoring et maintenez un déclencheur de décommissionnement opérationnel.