Benchmarking analytics et standards de mesure

La scène : un modèle qui a fière allure et échoue quand même

Un outil de prédiction du sepsis atteint 92 % d'accuracy en laboratoire. L'hôpital le déploie. Six mois plus tard, les cliniciens ignorent ses alertes parce qu'il se déclenche en permanence sur des patients qui ne se dégradent jamais. Le modèle n'a jamais été défaillant sur l'accuracy. Il l'était sur les benchmarks qui comptent : il détectait peu de vrais cas et criait au loup pour le reste.

Cette leçon porte sur les standards de mesure qui séparent un modèle diagnostique fiable d'un modèle qui nuit discrètement aux patients. Nous couvrirons quatre familles de benchmarks : sensibilité et spécificité, calibration, et conformité des données aux standards CDISC et OMOP. Ce sont toutes des questions de discipline data, pas d'opinions cliniques.

Pourquoi « accuracy » est la mauvaise métrique de tête

L'accuracy est la part des prédictions correctes. En médecine, elle ment, parce que la maladie est rare.

Imaginez un cancer rare présent chez 1 % d'une population dépistée. Un modèle qui prédit « pas de cancer » pour tout le monde affiche 99 % d'accuracy et détecte zéro cancer. Inutile.

Les équipes data cliniques utilisent donc deux métriques appariées à la place.

• Sensibilité (aussi appelée recall ou taux de vrais positifs) : parmi les patients qui ont réellement la pathologie, quelle fraction le modèle a-t-il signalée ? Une sensibilité élevée signifie peu de cas manqués.
• Spécificité (taux de vrais négatifs) : parmi les patients réellement sains, quelle fraction le modèle a-t-il correctement écartée ? Une spécificité élevée signifie peu de fausses alertes.

Un calcul détaillé

Supposons que vous validiez un modèle diagnostique sur 1 000 patients. 100 ont réellement la maladie.

• Sensibilité = 90 / (90 + 10) = 90 %
• Spécificité = 855 / (855 + 45) = 95 %
• Accuracy = (90 + 855) / 1000 = 94,5 %

Notez que la sensibilité et la spécificité vous disent où se situe la douleur (10 patients manqués, 45 fausses alertes) là où l'accuracy la dissimule.

Quels seuils sont considérés comme « bons » ?

Il n'existe pas de seuil universel. Les seuils dépendent de l'usage clinique. Un test de confirmation tolère une sensibilité plus basse ; un test de dépistage destiné à écarter la maladie exige une sensibilité très élevée pour ne pas manquer de cas.

La métrique de synthèse la plus citée est l'AUC-ROC (aire sous la courbe ROC), qui va de 0,5 (pile ou face) à 1,0 (parfait). Par convention approximative du terrain (une estimation, pas une réglementation), une AUC inférieure à 0,7 est faible, 0,7 à 0,8 acceptable, 0,8 à 0,9 bonne, au-delà de 0,9 excellente. Ne les traitez pas comme des notes de passage. La FDA et les régulateurs européens évaluent l'usage prévu, pas un chiffre magique.

Pour l'intuition du compromis :

Calibration : la métrique que tout le monde oublie

La sensibilité et la spécificité demandent si le classement est juste. La calibration demande si les probabilités sont honnêtes.

Si votre modèle annonce « 70 % de risque d'AVC » pour un groupe de patients, environ 70 % d'entre eux devraient effectivement faire un AVC. Si seulement 40 % le font, le modèle est trop confiant et mal calibré, même si son AUC est élevée.

La calibration compte énormément en médecine parce que les cliniciens agissent sur la probabilité, pas sur le rang. Un risque de 30 % contre 80 % change la décision d'opérer.

Outils courants :

• Graphique de calibration (diagramme de fiabilité) : probabilité prédite en abscisse, fréquence observée en ordonnée. Une calibration parfaite se situe sur la diagonale.
• Score de Brier : erreur quadratique moyenne entre probabilité prédite et résultat réel. Plus bas est mieux ; 0 est parfait.

Une leçon de terrain bien connue : de nombreux modèles pronostiques COVID-19 publiés affichaient des AUC correctes mais étaient mal calibrés et inutilisables en pratique. Un framework de référence utile pour le reporting est TRIPOD, la recommandation pour un reporting transparent des modèles de prédiction.

# Vérification rapide de calibration + discrimination avec scikit-learn
from sklearn.metrics import roc_auc_score, brier_score_loss
from sklearn.calibration import calibration_curve

auc   = roc_auc_score(y_true, y_prob)        # discrimination (classement)
brier = brier_score_loss(y_true, y_prob)     # calibration + accuracy combinées
frac_pos, mean_pred = calibration_curve(y_true, y_prob, n_bins=10)
# Tracer mean_pred vs frac_pos ; plus proche de la diagonale = mieux calibré

L'autre moitié : les données sous-jacentes sont-elles même conformes ?

Un modèle ne vaut que la confiance que l'on peut accorder aux jeux de données qui l'alimentent. C'est ici qu'entrent les standards de conformité des données. Deux dominent la biotech et la medtech.

Cdisc

CDISC (Clinical Data Interchange Standards Consortium) définit les formats de données des essais cliniques. Les principaux :

• SDTM (Study Data Tabulation Model) : la manière dont les observations brutes d'essai sont structurées pour la soumission.
• ADaM (Analysis Data Model) : jeux de données prêts à l'analyse, dérivés du SDTM.

Depuis décembre 2016, la FDA américaine exige des données conformes CDISC pour les soumissions de nouveaux médicaments et produits biologiques (NDA, BLA), au titre de son catalogue de standards de données. La PMDA japonaise a des exigences parallèles. Pour un produit thérapeutique, la conformité CDISC n'est donc pas optionnelle : une soumission non conforme reçoit un Refuse to File.

La conformité est vérifiée avec des règles de validation (par exemple via le moteur ouvert Pinnacle 21 / CDISC CORE). Un rapport de conformité signale des erreurs (à corriger obligatoirement) et des avertissements. Benchmark : zéro erreur inexpliquée avant soumission.

Omop

OMOP CDM (Observational Medical Outcomes Partnership Common Data Model), maintenu par la communauté OHDSI, standardise les données du monde réel : dossiers médicaux électroniques, données de remboursement, registres. Il permet à une requête écrite une seule fois de s'exécuter dans des hôpitaux aux États-Unis, en Europe et en Asie sans retravailler les particularités de chaque base.

OMOP compte pour la real-world evidence (RWE), de plus en plus utilisée pour appuyer les approbations de dispositifs et la surveillance post-commercialisation. L'EHDS européen (European Health Data Space), entré en vigueur en 2025 avec une application progressive jusqu'à la fin de la décennie, pousse fortement vers des données de santé standardisées et interopérables entre États membres, et OMOP est un modèle cible courant.

OHDSI fournit un outil ouvert, Achilles / Data Quality Dashboard, qui exécute des milliers de contrôles automatisés (plausibilité, conformité, complétude) sur un jeu de données OMOP. Les équipes reportent un taux de réussite de qualité des données ; une cible de travail courante est de maintenir les contrôles échoués sous un faible pourcentage à un chiffre, même si le seuil exact dépend de l'étude.

Pourquoi la conformité est un standard de mesure, pas de la paperasse

Si deux hôpitaux codent « hémoglobine A1c » différemment, votre modèle multi-sites s'entraîne sur du déchet. La conformité à un vocabulaire partagé (OMOP utilise des vocabulaires standards comme SNOMED, LOINC, RxNorm) est ce qui rend les chiffres de sensibilité et de calibration transposables. Sautez cette étape et votre AUC de 0,9 s'évapore sur le site suivant.

Assembler les benchmarks : une scorecard de validation

Une validation crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édible de modèle diagnostique rend compte des quatre familles. Voici une structure concrète de scorecard qu'une équipe data présenterait à un comité réglementaire ou clinique.

Deux règles qui séparent les professionnels des amateurs :

1. Reportez toujours sur un jeu de validation externe, c'est-à-dire des données provenant d'un site ou d'une période sur lesquels le modèle ne s'est jamais entraîné. Les métriques in-sample, c'est du marketing.
2. Reportez la performance par sous-groupe. Un modèle avec 90 % de sensibilité globale peut n'avoir que 60 % de sensibilité dans un groupe démographique. Les guidances de la FDA américaine et les frameworks européens attendent de plus en plus des ventilations par sous-groupe pour détecter les biais.

Où en sont les régulateurs (2026)

• FDA américaine : examine les dispositifs médicaux intégrant de l'IA/ML et maintient une liste publique de ceux autorisés (plus de 1 000 selon les mises à jour 2024-2025 de la FDA ; considérez le chiffre exact comme une estimation qui ne cesse d'augmenter). Elle a publié une guidance sur les predetermined change control plans pour les modèles qui continuent d'apprendre.
• UE : les logiciels médicaux sont régis par le MDR (règlement sur les dispositifs médicaux 2017/745) et l'IVDR (règlement sur les dispositifs de diagnostic in vitro 2017/746). L'AI Act européen, en déploiement progressif sur 2026 et 2027, classe de nombreux systèmes d'IA médicale comme à haut risque, ajoutant des obligations de qualité des données et de documentation par-dessus le MDR/IVDR.

À retenir en pratique : votre scorecard de benchmarks est la preuve que lisent ces organismes. Une calibration faible ou des erreurs de conformité inexpliquées ne sont pas des notes de bas de page statistiques ; ce sont des bloqueurs d'approbation.

Points clés

• L'accuracy cache l'échec en médecine. Reportez la sensibilité et la spécificité (et l'AUC-ROC avec intervalles de confiance) pour que les cas manqués et les fausses alertes soient visibles. Exemple travaillé : 90 sur 100 malades détectés = 90 % de sensibilité.
• La calibration est le benchmark oublié. Un modèle à AUC élevée peut quand même mentir sur les probabilités. Utilisez les graphiques de calibration et les scores de Brier, car les cliniciens agissent sur le chiffre, pas sur le rang.
• La conformité rend les métriques transposables. CDISC (SDTM/ADaM) est obligatoire pour les soumissions de médicaments auprès de la FDA et de la PMDA ; OMOP standardise les données du monde réel entre sites. Des données non conformes détruisent discrètement la performance du modèle à l'hôpital suivant.
• Validez en externe et par sous-groupe. Les chiffres in-sample sont du marketing ; les régulateurs (FDA, UE sous MDR/IVDR et l'AI Act) attendent de plus en plus une validation sur données réservées et des ventilations démographiques.
• La scorecard est la preuve réglementaire. Discrimination plus calibration plus conformité, reportées ensemble, voilà ce qui obtient l'approbation et la confiance clinique.

*Cette leçon est pédagogique et ne constitue pas un conseil médical, juridique ou réglementaire. Tous les seuils illustratifs sont des conventions de terrain, pas des standards contraignants ; vérifiez les exigences en vigueur auprès de l'autorité compétente.*