La checklist pré-déploiement attendue par les régulateurs

Un inspecteur de la FDA entre dans le service pharmacie d'un hôpital et demande à voir le dossier de validation de l'outil d'IA qui signale les prescriptions à risque élevé. Si la réponse est « c'est une boîte noire, mais ça marche », l'inspection est terminée avant d'avoir commencé. Ce scénario n'a plus rien d'hypothétique : le Digital Health Center of Excellence de la FDA comme les lignes directrices de l'EMA sur l'IA dans le cycle de vie du médicament partent du principe que vous pouvez produire la documentation à la demande, pas seulement une démo qui fonctionne.

Cette leçon transforme cette piste documentaire en une checklist go/no-go concrète, organisée selon la logique d'un auditeur : validation, supervision humaine, traçabilité.

Pourquoi « ça marche » ne suffit pas

Les régulateurs qui évaluent l'IA en pharma ne testent pas d'abord la précision. Ils testent votre capacité à prouver, de manière reproductible, que le système se comporte comme prévu, qu'une personne qualifiée peut le contourner, et que chaque décision laisse une trace.

Trois ancrages réglementaires comptent ici :

• Les guidances FDA sur le SaMD et les logiciels basés sur l'IA/ML : la FDA traite de nombreux outils d'IA touchant au diagnostic, au dosage ou à la production comme du Software as a Medical Device (SaMD) ou comme faisant partie de processus régulés GxP (Good Manufacturing/Clinical/Laboratory Practice). Voir la page FDA Artificial Intelligence and Machine Learning in Software as a Medical Device pour le cadre en vigueur, y compris le concept de Predetermined Change Control Plan (PCCP) pour les modèles qui évoluent dans le temps.
• Le reflection paper de l'EMA sur l'IA dans le cycle de vie du médicament : il couvre l'IA utilisée en découverte de médicaments, essais cliniques, pharmacovigilance et production, en insistant sur une validation par les risques proportionnelle à l'impact patient.
• L'EU AI Act (entré en vigueur en 2024, application échelonnée jusqu'en 2026-2027) : il classe la plupart des outils d'IA cliniques comme « à haut risque », ce qui déclenche des évaluations de conformité obligatoires, une documentation technique et des exigences de supervision humaine.

Aucun de ces cadres ne certifie « l'algorithme ». Ils certifient le système autour de l'algorithme : lignage des données, tests, monitoring et responsabilité.

La checklist : validation

La validation répond à une seule question : pouvez-vous prouver que le modèle fait ce que vous annoncez, sur la population que vous annoncez, dans les conditions que vous annoncez ?

1. Déclaration d'usage prévu. Écrite, spécifique, étroite. « Signale les interactions médicamenteuses potentielles chez les patients adultes hospitalisés sous formulaire X » est auditable. « Améliore la sécurité des patients » ne l'est pas.

2. Provenance des données d'entraînement et de validation. D'où viennent les données, quelle population représentent-elles, et cette population correspond-elle à votre site de déploiement ? Un modèle de prédiction du sepsis entraîné sur les données d'un CHU américain peut échouer silencieusement dans une clinique rurale européenne, avec une démographie et des équipements de laboratoire différents. C'est le constat le plus fréquent dans les défaillances d'IA post-market.

3. Métriques de performance mesurées contre un seuil prédéfini. Sensibilité, spécificité, calibration, pas seulement la précision affichée. Fixez le seuil d'acceptation *avant* de voir les résultats de test, pas après.

4. Performance par sous-groupe. Détaillez les résultats par âge, sexe, origine ethnique et site. Un modèle précis à 95 % en global mais qui se dégrade fortement sur un sous-groupe constitue un risque d'équité et de sécurité, et la FDA comme l'EMA attendent désormais cette analyse par défaut.

5. Validation externe ou prospective. La validation rétrospective sur données historiques est un plancher, pas un plafond. Les régulateurs demandent de plus en plus un silent run prospectif (le modèle tourne en direct mais sa sortie est masquée aux cliniciens) avant la mise en production.

6. Plan de contrôle des changements. Si le modèle se réentraîne ou se met à jour, comment le revaliderez-vous sans tout resoumettre à chaque fois ? Le mécanisme PCCP de la FDA existe précisément pour vous permettre de pré-spécifier les limites d'une dérive de modèle acceptable.

La checklist : validation human-in-the-loop

« Human-in-the-loop » (HITL) signifie qu'une personne qualifiée examine ou peut contourner la sortie de l'IA avant qu'elle n'affecte la prise en charge du patient, et que le système est conçu pour que ce contournement soit réellement facile, pas théorique.

7. Autorité de décision définie. Nommez le rôle, pas la personne : « médecin senior » ou « pharmacien qualifié », pas « un humain ». Documentez ce qu'ils peuvent et ne peuvent pas déléguer à l'outil.

8. Capacité de contournement, testée. Un clinicien peut-il réellement rejeter la recommandation de l'IA dans le workflow, en quelques secondes, sans contournement bricolé ? Si passer outre prend plus de temps que se conformer, les humains valideront l'IA machinalement. C'est le biais d'automatisation, un risque parmi les plus cités dans le reflection paper de l'EMA.

9. Voie d'escalade pour les cas limites. Que se passe-t-il quand le modèle sort « incertain » ou un score de confiance sous le seuil ? Il doit exister un repli défini, pas un silence.

10. Registres de compétence et de formation. Le personnel utilisant l'outil doit être formé à ses limites, et cette formation doit être documentée et actualisée. Les auditeurs demandent les logs de formation, pas seulement les politiques.

11. Suivi de la fatigue d'alerte. Si les cliniciens commencent à ignorer 90 % des alertes à cause des faux positifs, c'est un échec de gouvernance même si la précision annoncée du modèle n'a pas changé. Suivez les taux de contournement comme une métrique vivante, pas comme un contrôle ponctuel.

La checklist : pistes d'audit

Les exigences de piste d'audit viennent directement de la culture GxP : si ce n'est pas documenté, ça n'a pas eu lieu.

12. Journalisation complète des entrées, sorties et version du modèle. Chaque prédiction doit être traçable jusqu'à la version exacte du modèle, aux données d'entrée et à l'horodatage. Non négociable pour la conformité FDA 21 CFR Part 11 (registres électroniques) aux États-Unis.

13. Journalisation de la décision humaine. Enregistrez si le clinicien a accepté, modifié ou rejeté la recommandation de l'IA, et idéalement pourquoi. C'est le jeu de données dont vous aurez besoin plus tard pour prouver que la supervision humaine n'était pas cosmétique.

14. Documentation du lignage des données. D'où vient chaque donnée d'entraînement et d'inférenceinférenceLe moment où un modèle d'IA entraîné se met au travail : il reçoit une donnée nouvelle et produit une réponse, une prédiction ou un contenu.Voir la définition complète →, comment elle a été labellisée, et par qui. L'EMA signale explicitement les lacunes de provenance des données comme un manquement fréquent.

15. Journal des incidents et du monitoring de dérive. Un registre continu des contrôles de performance post-déploiement, des anomalies signalées et des actions correctives. C'est votre preuve de « vérification continue », une expression employée dans les guidances FDA comme EMA.

16. Politique de conservation alignée sur les règles par type de document. Les dossiers cliniques et de pharmacovigilance exigent généralement une conservation pluriannuelle (souvent 10 ans et plus selon la juridiction et le type de produit) ; vérifiez la durée applicable plutôt que de supposer une valeur par défaut.

Voici un exemple minimal de ce que peut contenir en pratique un enregistrement d'audit par prédiction :

{
  "prediction_id": "a83f-2201",
  "timestamp": "2026-03-14T09:12:00Z",
  "model_version": "drugint-v3.2.1",
  "input_hash": "sha256:9c1a...",
  "output": "high_risk_interaction",
  "confidence": 0.87,
  "clinician_id": "role:pharmacist_042",
  "clinician_action": "overridden",
  "override_reason": "patient allergy history not in EHR field"
}

Rien d'exotique ici. L'essentiel est que chaque champ réponde à une question que posera un inspecteur.

Construire la décision go/no-go

Avant la mise en production, trois questions décident de l'issue :

1. Les preuves de validation atteignent-elles un seuil convenu à l'avance, sur la population réelle de déploiement ? Si la validation a porté sur des données différentes de celles du site de mise en production, c'est « non » tant qu'il n'y a pas revalidation.
2. Un rôle humain nommé peut-il contourner le système en temps réel, avec journalisation de ce contournement ? Si le contournement n'existe que sur le papier, c'est « non ».
3. Pouvez-vous reconstituer n'importe quelle décision, de bout en bout, dans six mois ? Si les logs sont incomplets ou le versionnement du modèle non suivi, c'est « non ».

Un « oui » sur les trois ne garantit pas l'approbation réglementaire, mais son absence garantit un constat d'écart.

🎬 [VIDEO: "FDA's Approach to AI in Medical Devices" - youtube.com - cherchez les interventions du FDA Digital Health Center of Excellence sur la supervision des SaMD basés sur l'IA/ML et le Predetermined Change Control Plan]

Points clés

• Les régulateurs (FDA, EMA) évaluent le système de gouvernance autour d'un outil d'IA, pas seulement la précision du modèle : méthodologie de validation, conception de la supervision humaine et complétude de la piste d'audit sont les vrais points d'inspection.
• La validation doit inclure la performance par sous-groupe et, idéalement, un test prospectif sur la population réelle de déploiement, pas seulement une précision rétrospective sur des données proches de l'entraînement.
• Le human-in-the-loop ne compte que si le contournement est rapide, journalisé et associé à un rôle défini ; un contournement lent ou cosmétique invite le biais d'automatisation et les constats réglementaires.
• Chaque prédiction doit être traçable : version du modèle, entrées, sortie et action humaine, journalisées et conservées selon les règles d'archivage applicables (ex. 21 CFR Part 11 aux États-Unis).
• Traitez la classification à haut risque de l'EU AI Act et le mécanisme PCCP de la FDA comme les deux cadres les plus susceptibles de définir votre charge documentaire jusqu'en 2026 et au-delà.