Auditer les biais algorithmiques dans les systèmes de prestations sociales et de contrôle

# Auditer les biais algorithmiques dans les systèmes de prestations sociales et de contrôle

En 2021, l'ensemble du gouvernement néerlandais a démissionné. Le déclencheur n'était ni une guerre ni un krach financier. C'était un algorithme.

L'administration fiscale néerlandaise (Belastingdienst) avait utilisé un modèle de risque auto-apprenant pour signaler les familles qu'elle soupçonnait de fraude aux allocations de garde d'enfants. Des dizaines de milliers de familles ont été accusées à tort, sommées de rembourser des sommes importantes, et poussées vers l'endettement, le chômage et, dans certains cas, la séparation familiale. Une part démesurée des personnes signalées avaient une double nationalité ou étaient issues de l'immigration. Les régulateurs néerlandais de la protection des données ont ensuite constaté que le système traitait la nationalité de manière discriminatoire et illégale.

C'est le cauchemar de l'IA dans le secteur public : un modèle qui encode silencieusement un biais, appliqué à grande échelle, à des personnes qui ont peu de moyens de le contester. Votre rôle de dirigeant public est de veiller à ce que cela n'arrive jamais sous votre responsabilité.

Pourquoi les systèmes de prestations et de contrôle sont à haut risque

Les modèles du secteur public diffèrent des modèles commerciaux sur un point qui élève les enjeux.

• La personne concernée ne peut pas se retirer. Un citoyen à qui l'on refuse des allocations chômage ne peut pas aller voir ailleurs.
• Les erreurs s'accumulent. Un signalement de fraude injustifié peut entraîner des recouvrements, une dégradation de la solvabilité et la perte du logement.
• Les données historiques sont biaisées. Si les contrôles passés ciblaient certains quartiers, un modèle entraîné sur cet historique apprend à continuer de les cibler.

Le terme qui désigne le préjudice que vous auditez est l'impact disparate : une politique ou un modèle neutre en apparence mais qui produit de moins bons résultats pour un groupe protégé (défini par la race, l'origine nationale, le genre, le handicap, l'âge, et autres critères similaires). Vous n'avez pas à démontrer une intention. Vous mesurez le résultat.

Le test central : mesurer l'impact disparate

Commencez par une métrique simple et défendable. Deux font référence.

Le taux de sélection. Pour chaque groupe, quelle part a subi le résultat défavorable (signalement, refus, contrôle) ? Comparez les taux entre les groupes.

Le benchmark classique est la règle des quatre cinquièmes, issue du droit du travail américain : si le taux de sélection d'un groupe protégé est inférieur à 80 % de celui du groupe le plus favorisé, c'est un indice d'impact défavorable qui mérite une investigation. C'est un outil de détection, pas un verdict juridique, mais c'est un déclencheur utile.

Voici un audit minimal en Python avec une bibliothèque de fairness :

import pandas as pd
from fairlearn.metrics import MetricFrame, selection_rate

# df contient les colonnes : 'flagged' (1/0) et 'group' (ex. catégorie de nationalité)
mf = MetricFrame(
    metrics=selection_rate,
    y_true=df['flagged'],       # décisions réelles du modèle
    y_pred=df['flagged'],
    sensitive_features=df['group']
)

print(mf.by_group)              # taux de sélection par groupe
ratio = mf.by_group.min() / mf.by_group.max()
print(f"Disparate impact ratio: {ratio:.2f}")  # < 0,80 => investiguer

Si le groupe A est signalé à 6 % et le groupe B à 20 %, le ratio est de 0,30. C'est très en dessous de 0,80 et cela exige une explication.

Le taux de sélection ne suffit pas

Un taux de signalement plus faible n'est pas automatiquement équitable, et des taux de signalement égaux ne le sont pas davantage. Vous devez aussi vérifier les taux d'erreur, car le préjudice réel c'est d'être signalé *à tort*.

• Taux de faux positifs : parmi les personnes qui n'ont rien fait de mal, quelle part a été signalée ? Si des membres innocents d'un groupe sont signalés deux fois plus souvent, c'est un problème d'équité sérieux, même si les taux de signalement globaux paraissent équilibrés.
• Taux de faux négatifs : parmi les cas de fraude réels, quelle part n'a pas été détectée ?

Dans l'affaire néerlandaise, le scandale le plus profond portait sur les faux positifs : des familles honnêtes traitées comme des fraudeurs. Auditez toujours les deux.

Fairlearn est une boîte à outils open source gratuite qui calcule ces métriques et constitue un point de départ raisonnable pour un audit hors fournisseur.

Les proxys : le piège qui attrape tout le monde

Supposons que vous retiriez la nationalité et la race de votre modèle par précaution. Vous n'êtes pas à l'abri.

Les modèles reconstruisent les attributs protégés à partir de variables proxy : des variables corrélées à l'appartenance à un groupe. Le code postal est corrélé à la race et au revenu. La langue de correspondance est corrélée à l'origine nationale. L'orthographe du nom, la langue du navigateur, voire le « nombre de contacts antérieurs avec l'administration » peuvent tous encoder précisément le trait que vous avez cherché à exclure.

Le modèle néerlandais aurait traité la double nationalité et un faible revenu comme des signaux de risque. Même là où un attribut a été retiré par la suite, des variables corrélées peuvent transporter le même signal discriminatoire.

Étape pratique : testez si vous pouvez prédire l'attribut protégé à partir des variables restantes. Si un modèle simple prédit la nationalité à partir de vos variables « neutres » avec une forte précision, ces variables sont des proxys. Investiguez-les.

Intégrer l'audit dans les achats

La plupart des administrations ne construisent pas ces modèles. Elles les achètent. Cela signifie que votre point de contrôle le plus puissant est le contrat d'achat : les termes selon lesquels vous acquérez le système.

Les fournisseurs résisteront à la divulgation, en invoquant le secret industriel. Opposez-vous par écrit avant de signer. Clauses concrètes à exiger :

• Divulgation des tests de biais. Le fournisseur doit livrer les ventilations de taux de sélection et de taux d'erreur par groupe protégé sur votre population, pas un benchmark générique.
• Description des données d'entraînement. D'où viennent les données, quelle période elles couvrent, et quels sont les manques ou déséquilibres connus.
• Droit d'audit. Vous (ou un tiers indépendant) pouvez tester le modèle sur des données réservées, avec accès aux entrées et aux sorties.
• Exigence d'explicabilité. Pour toute décision défavorable, le système doit produire un motif lisible par un humain.
• Garantie de human-in-the-loop. Aucune décision défavorable entièrement automatisée sans un agent formé capable de la contredire.
• Notification des mises à jour. Le fournisseur doit vous prévenir lorsque le modèle change, car un modèle réentraîné peut introduire de nouveaux biais.

L'EU AI Act classe les systèmes qui déterminent l'accès aux prestations et services publics comme à haut risque, ce qui déclenche des obligations de gestion des risques, de gouvernance des données, de transparence et de supervision humaine. Si vous opérez dans l'UE ou y vendez, ces éléments ne sont pas optionnels en 2026. Même hors de l'UE, ils constituent une base solide.

🎬 [VIDEO: "The Dutch benefits scandal explained" - youtube.com - un aperçu concis de la manière dont l'algorithme des allocations de garde d'enfants a causé un préjudice massif]

Gouvernance : qui est responsable

Un audit ne vaut que par l'autorité qui le soutient. Mettez ces éléments en place avant le déploiement.

• Un propriétaire humain nommé pour le modèle, responsable de ses décisions. Pas « c'est l'algorithme qui a décidé ».
• Une voie de recours rapide et qui n'exige pas d'avocat. Dans l'affaire néerlandaise, des familles se sont battues pendant des années pour laver leur nom.
• La journalisation. Enregistrez chaque décision, les entrées et le score, afin de pouvoir reconstituer ce qui s'est passé quand quelqu'un le contexte.
• Des ré-audits réguliers. Le biais dérive à mesure que les populations et les données changent. Auditez selon un calendrier, pas une seule fois.

Un court scénario travaillé

Votre administration déploie un modèle pour prioriser les demandes de prestations soumises à un contrôle manuel de fraude. Au bout de trois mois, vous sortez les logs.

Vous constatez :

• Les demandeurs venant de quartiers à forte population immigrée sont signalés à 18 % ; les autres quartiers à 7 %. Ratio : 0,39.
• Le taux de faux positifs du groupe le plus signalé est de 22 % contre 9 % pour les autres.

Que faites-vous ?

1. Ne coupez pas complètement le contrôle. Cela pourrait laisser passer de vraies fraudes et constitue un échec en soi.

2. Remontez au facteur déclenchant. Quelles variables font monter le score des groupes signalés ? Souvent, c'est un proxy comme le code postal ou la « documentation incomplète », qui est corrélé aux barrières linguistiques, pas à la fraude.

3. Testez une version sans les variables suspectes et comparez la performance de détection de fraude. Si vous perdez peu en détection mais réduisez fortement l'écart, la variable faisait du travail de biais, pas du travail de détection de fraude.

4. Ajoutez un seuil de contrôle humain. Aucun recouvrement sans validation d'un agent et sans motif écrit visible par le demandeur.

5. Documentez tout pour votre régulateur et votre procédure de recours.

C'est là que se situe la différence entre un système défendable et un scandale : vous avez mesuré, tracé, corrigé, et vous pouvez montrer votre travail.

Points clés à retenir

• Mesurez les résultats, pas les intentions. Calculez les taux de sélection et, surtout, les taux de faux positifs par groupe protégé. Le ratio des quatre cinquièmes (0,80) est un déclencheur de détection, pas un verdict.
• Retirer les attributs protégés ne retire pas le biais. Des variables proxy comme le code postal et la langue le reconstruisent. Testez si vos variables « neutres » prédisent le trait protégé.
• Les achats sont votre levier. Exigez des divulgations sur les biais, des droits d'audit, de l'explicabilité et une capacité de contournement humain dans le contrat, avant de signer.
• Gardez un humain responsable et une voie de recours rapide ouverte. La cruauté du scandale néerlandais, ce sont les années que des familles ont passées sans pouvoir contester le verdict d'une machine.
• Auditez selon un calendrier. Les modèles réentraînés dérivent. Un système équitable l'an dernier peut ne plus l'être aujourd'hui.