Intégrer la redevabilité et la transparence dans l'IA govtech

# Intégrer la redevabilité et la transparence dans l'IA govtech

En 2020, un algorithme britannique a revu à la baisse environ 40 % des notes de A-level pendant l'annulation des examens pour cause de pandémie. Les élèves ont manifesté devant le Department for Education en scandant « l'algorithme sait mieux ». En quelques jours, le gouvernement a abandonné le système et est revenu aux évaluations des enseignants. L'échec technique était réel, mais l'échec plus profond était de gouvernance : aucun impact assessment, aucune documentation publique, aucune voie de recours avant la publication des résultats.

C'est cette lacune que cette leçon comble. Vous allez concevoir un framework de bout en bout pour que les décisions publiques automatisées répondent aux mêmes standards que les citoyens attendent des décisions humaines : le due process (le droit légal à un traitement équitable et à la possibilité de contester une décision) et la transparence (le droit du public de savoir comment fonctionne l'administration, souvent inscrit dans le FOIA, le Freedom of Information Act américain, ou dans des lois équivalentes ailleurs dans le monde).

Pourquoi l'IA govtech est différente

Le moteur de recommandation d'un distributeur peut se tromper discrètement. Un modèle d'éligibilité aux prestations sociales, non. Quand un algorithme refuse une aide alimentaire à quelqu'un, signale une déclaration fiscale pour contrôle ou note le risque d'un prévenu avant sa condamnation, ce sont des droits légaux et la confiance du public qui sont en jeu.

Trois pressions rendent l'IA gouvernementale unique :

• Le pouvoir coercitif. Les citoyens ne peuvent pas se soustraire au service des permis de conduire, à l'administration fiscale ou aux services de protection de l'enfance.
• Les obligations de transparence. Le FOIA et les lois locales sur l'accès aux documents permettent au public d'exiger des dossiers. L'argument du « secret commercial » d'un fournisseur ne prime pas automatiquement.
• Les droits au due process. Le droit constitutionnel et administratif exige une notification et la possibilité d'être entendu avant que l'État ne vous prive de vos prestations, de votre licence ou de votre liberté.

Le framework ci-dessous repose sur trois piliers : évaluer avant de déployer, documenter ce qui a été déployé, et permettre aux personnes de contester les décisions.

Pilier 1 : les algorithmic impact assessments (aia)

Un Algorithmic Impact Assessment (AIA) est une revue structurée, réalisée avant le déploiement, qui documente ce que fait un système, qui il affecte et ce qui pourrait mal tourner. Voyez-le comme une étude d'impact environnemental appliquée au code.

Le gouvernement fédéral canadien offre le meilleur exemple opérationnel gratuit. Sa Directive sur la prise de décisions automatisée exige un questionnaire AIA qui note chaque système du niveau I (impact faible) au niveau IV (impact élevé, comme des décisions affectant des droits ou la santé). Les niveaux supérieurs déclenchent des exigences plus strictes : peer review, human-in-the-loop, davantage d'explication.

Un AIA exploitable répond à :

• Quelle décision est automatisée, et un humain la revoit-il ? Un refus de prestation entièrement automatisé est plus risqué qu'un outil qui signale des dossiers à un travailleur social.
• Qui est affecté, et les impacts sont-ils répartis inégalement ? Testez les résultats selon l'origine, le genre, l'âge et le handicap.
• Quelles données entraînent et alimentent le modèle ? Les données historiques d'arrestations, par exemple, encodent les pratiques policières passées, pas la criminalité future.
• Quel est le plan de repli en cas de défaillance du système ? Le fiasco des A-levels n'en avait aucun.

Faire l'AIA tôt et publiquement

Menez l'AIA pendant la procédure d'achat, pas après le lancement. Inscrivez « AIA requis, résultats publiés » dans l'appel d'offres pour que les fournisseurs l'intègrent à leur prix. Publiez un résumé en langage clair. Si vous ne pouvez pas expliquer un système à un conseil municipal, vous ne devriez pas le déployer contre les habitants.

Pilier 2 : les registres publics de modèles

Un registre de modèles est un inventaire public des systèmes automatisés utilisés par une administration. Il transforme le « gouvernement boîte noire » en quelque chose qu'un journaliste, un auditeur ou un habitant peut inspecter.

Amsterdam et Helsinki ont été pionnières avec des registres d'IA publics listant chaque algorithme, sa finalité, les données qu'il utilise et un contact pour les questions. New York a adopté la Local Law 49 de 2018 crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →éant un groupe de travail sur les systèmes de décision automatisée, et plusieurs villes américaines maintiennent aujourd'hui des inventaires publics.

Une bonne fiche de registre comprend :

| Champ | Exemple |

|---|---|

| Nom du système et responsable | Benefits Eligibility Screener, Dept. of Human Services |

| Finalité | Prioriser les demandes pour revue par un travailleur social |

| Type de décision | Consultatif (l'humain décide) |

| Sources de données | Formulaire de demande, relevés de revenus |

| Niveau de risque | AIA niveau III |

| Fournisseur et modèle | Fournisseur X, régression logistique |

| Date du dernier audit | 2025-11 |

| Contact recours | ombudsman@agency.gov |

Gardez-le machine-readable. Un registre public n'est pas qu'un PDF ; il doit être interrogeable pour que les organes de contrôle repèrent des tendances entre administrations.

{
  "system_id": "dhs-eligibility-screener-v3",
  "purpose": "Prioritize applications for human review",
  "decision_type": "advisory",
  "risk_level": "AIA-III",
  "human_in_loop": true,
  "last_bias_audit": "2025-11-15",
  "appeal_url": "https://agency.gov/appeal"
}

Cet extrait est une fiche de registre unique. Publier les fiches dans un format standard permet à un contrôleur des finances d'un État de lancer une seule requête sur tous les services au lieu de déposer 30 demandes de documents.

Pilier 3 : mécanismes de recours et de due process

L'évaluation et la documentation ne servent à rien si un citoyen ne peut pas contester une décision erronée. C'est là que l'IA govtech échoue encore le plus souvent.

Le due process dans un contexte automatisé exige quatre choses :

1. La notification. Dites à la personne qu'un système automatisé est intervenu. « Votre demande a été notée par un modèle d'éligibilité » est le minimum.

2. L'explication. Donnez les motifs précis, pas « le modèle a dit non ». Un demandeur débouté doit apprendre quels facteurs ont déterminé le résultat.

3. Une revue humaine en cas de recours. Une personne, et non le même algorithme, examine les dossiers contestés. Le RGPD européen (article 22) accorde déjà un droit à la revue humaine des décisions exclusivement automatisées ayant des effets juridiques.

4. La correction et le retour d'information. Si un recours révèle des données erronées, corrigez le dossier et vérifiez si d'autres personnes ont été affectées de la même façon.

Un parcours de recours concret

Imaginez une agence de l'assurance chômage utilisant un modèle pour signaler des fraudes possibles :

• L'allocataire reçoit une notification : dossier signalé pour examen, prestations suspendues, voici les trois facteurs qui l'ont déclenché.
• La notification comprend un délai, un formulaire et un contact humain.
• Un agent (pas le modèle) examine les preuves dans un délai de service défini, disons 10 jours ouvrés.
• Si le signalement était erroné, les prestations sont rétablies avec rappel, et l'agence enregistre l'erreur pour réentraîner le modèle.

Le système d'assurance chômage MiDAS du Michigan est ici le contre-exemple : il a accusé à tort des dizaines de milliers de personnes de fraude avec presque aucune revue humaine, et l'État a payé de lourds règlements. L'échec ne venait pas des mathématiques. Il venait de l'absence de voie de recours.

Mettre le tout en cohérence : la gouvernance comme cycle de vie

Ces trois piliers ne sont pas une checklist ponctuelle. Ils forment une boucle.

Avant le déploiement : menez l'AIA. Fixez le niveau de risque. Décidez si un humain doit rester dans la boucle.

Au déploiement : publiez la fiche de registre. Annoncez le canal de recours.

En exploitation : surveillez le drift (quand la précision d'un modèle se dégrade à mesure que les conditions réelles changent) et les impacts disparates. Publiez les dates d'audit.

Après un incident : réinjectez les résultats des recours dans le réentraînement. Mettez à jour le registre. Si le préjudice est grave, suspendez le système, comme le Royaume-Uni l'a fait avec les A-levels, mais idéalement avant le lancement.

Qui porte chaque pilier

La redevabilité s'effondre quand « tout le monde » est responsable. Attribuez des rôles nommés :

• Un haut responsable redevable qui valide l'AIA et peut être convoqué par le législateur.
• Un comité de revue des données ou des algorithmes composé de membres techniques et de représentants de la société civile.
• Un ombudsman ou une unité de recours indépendant de l'équipe qui a construit le système.

L'indépendance compte. Ceux qui déploient un modèle ne doivent pas être les seuls juges des recours qui le visent.

Traiter le problème des fournisseurs

La plupart des administrations achètent de l'IA plutôt que de la construire. Les fournisseurs affirment souvent que leurs modèles sont propriétaires. Réglez cela dans le contrat, pas devant les tribunaux :

• Exigez que le fournisseur réalise l'AIA et autorise des audits indépendants.
• Exigez que la documentation suffisante pour une divulgation FOIA soit livrée et détenue par l'administration.
• Refusez le « le modèle est un secret commercial, donc les habitants ne peuvent pas voir comment ils ont été notés ». Une décision publique doit être explicable publiquement.

Le mémo M-24-10 de l'OMB américain sur l'usage de l'IA au niveau fédéral codifie beaucoup de cela pour les agences fédérales, y compris les pratiques d'impact requises et les inventaires publics. Utilisez-le comme modèle même si vous êtes une association ou une ville.

Points clés

• Évaluez avant de déployer. Un Algorithmic Impact Assessment mené pendant la procédure d'achat, avec un résumé publié en langage clair, détecte les défaillances qui ont fait abandonner l'algorithme britannique des A-levels après coup.
• Inventoriez publiquement. Un registre de modèles machine-readable (voir Amsterdam et Helsinki) transforme les demandes de documents en requêtes et rend les systèmes cachés visibles aux auditeurs et aux journalistes.
• Garantissez le recours. Notification, explication précise, revue humaine indépendante et correction constituent le socle minimal de due process. C'est l'absence de recours, et non des calculs erronés, qui a provoqué le scandale MiDAS du Michigan.
• Désignez des responsables nommés. Un haut responsable redevable, un comité de revue et un ombudsman indépendant évitent le piège du « tout le monde et personne n'est responsable ».
• Battez le secret des fournisseurs dans le contrat. Exigez des AIA, des droits d'audit et une documentation prête pour le FOIA comme conditions d'achat. Une décision publique doit être explicable publiquement.