IA Responsable : biais, fairness, EU AI Act et processus de revue éthique

L'IA responsable n'est pas optionnelle. Les organisations qui déploient de l'IA sans rigueur sur la fairness, la transparence et la responsabilité s'exposent à des sanctions réglementaires, à une atteinte à leur réputation et à des préjudices réels pour les personnes. Le rôle du CDO est de construire une gouvernance de l'IA rigoureuse, mais pas au point de paralyser l'innovation.

Pourquoi l'IA dérape

Les systèmes d'IA échouent de manière prévisible :

Données d'entraînement biaisées : un algorithme de recrutement entraîné sur l'historique des embauches apprend à préférer les candidats semblables à ceux recrutés par le passé, renforçant les biais existants. Amazon a découvert que son outil de recrutement IA pénalisait les CV contenant le mot « women's » (par exemple « women's chess club ») et l'a arrarrL'Annual Recurring Revenue (ARR) est le revenu normalisé et prévisible qu'une entreprise par abonnement attend de ses contrats actifs sur une année.Voir la définition complète →êté avant déploiement.

Discrimination par proxy : un modèle peut ne pas utiliser directement d'attributs protégés (origine, genre), mais s'appuyer sur des proxys corrélés (code postal, nom de l'université) qui produisent des résultats discriminatoires. Juridiquement et éthiquement, cela reste de la discrimination.

Distributional shift : un modèle de défaut de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit entraîné pendant une phase d'expansion économique peut se comporter de façon catastrophique en récession, un régime économique différent.

Feedback loops : un modèle de predictive policing entraîné sur l'historique des arrestations (qui reflète les pratiques policières passées) oriente la police vers des zones historiquement sur-contrôlées, ce qui génère davantage d'arrestations et valide les prédictions du modèle. Le modèle amplifie le biais existant.

Le framework de fairness en IA

La fairness en IA n'est pas un concept unique, c'est un ensemble de définitions mathématiques qui peuvent entrer en conflit :

Demographic parity : le taux de prédiction positive du modèle est identique entre groupes. Un modèle d'octroi de crédit approuve des pourcentages égaux de demandeurs quelle que soit leur origine.

Equal opportunity : le taux de vrais positifs est identique entre groupes. Parmi les demandeurs réellement solvables, le taux d'approbation est égal quelle que soit l'origine.

Individual fairness : des individus similaires reçoivent des prédictions similaires. Deux candidats aux qualifications identiques obtiennent des scores de recrutement proches.

Ces définitions peuvent être mathématiquement incompatibles. Satisfaire la demographic parity peut imposer de violer l'individual fairness. Les CDO doivent décider quel concept de fairness s'applique à chaque cas d'usage, en collaboration avec les équipes juridiques, conformité et éthique.

Approche pratique : définir les exigences de fairness spécifiques à chaque système d'IA avant le développement, les mesurer avant déploiement, les surveiller en production.

L'EU AI Act : la réalité réglementaire

L'EU AI Act est entré en vigueur le 1er août 2024 et s'applique par phases. Certaines obligations s'imposent déjà aux organisations aujourd'hui :

• Depuis le 2 février 2025, les interdictions visant les pratiques à risque inacceptable s'appliquent, et les entreprises doivent s'assurer que les collaborateurs travaillant avec l'IA disposent d'une littératie IA de base.
• Depuis le 2 août 2025, les règles sur les modèles à usage général (GPAI) ainsi que les principales dispositions de gouvernance et de sanctions s'appliquent. Les fournisseurs de modèles comme GPT-4o, Gemini, Claude et Llama doivent publier des résumés des données d'entraînement, une documentation technique et des politiques de droit d'auteur. Les modèles présentant un « risque systémique » (puissance de calcul très élevée, au-delà d'environ 10^25 FLOPs) supportent des obligations supplémentaires d'évaluation et de signalement d'incidents.
• La plupart des règles sur les systèmes à haut risque s'appliquent à partir du 2 août 2026, avec un délai étendu au 2 août 2027 pour l'IA intégrée dans des produits réglementés (dispositifs médicaux, machines, etc.).

Le règlement classe les systèmes d'IA par niveau de risque :

Risque inacceptable (interdit) : notation sociale par les autorités publiques, collecte non ciblée d'images faciales pour constituer des bases de reconnaissance, reconnaissance des émotions sur le lieu de travail et à l'école, et la plupart des usages d'identification biométrique à distance en temps réel dans l'espace public. Ces pratiques sont prohibées quel que soit le business case.

Haut risque (exigences strictes) : IA dans le recrutement, le scoring de crédit, le diagnostic médical, les infrastructures critiques et les forces de l'ordre. Impose une évaluation de conformité, une documentation technique, une supervision humaine, la transparence envers les personnes concernées et des tests de biais avant déploiement.

Risque limité (obligations de transparence) : les chatbots doivent indiquer qu'ils sont des IA. Les contenus générés ou manipulés par IA, deepfakes inclus, doivent être étiquetés comme tels.

Risque minimal : la majorité des applications d'IA. Aucune obligation spécifique.

Les amendes sont lourdes : jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires annuel mondial pour les manquements aux pratiques interdites, et jusqu'à 15 millions d'euros ou 3 % pour la plupart des autres infractions. Les CDO opérant sur les marchés régulés par l'UE doivent savoir dans quelle catégorie tombe chaque système. Les obligations liées au haut risque doivent être intégrées au développement dès le départ, car mettre la conformité en place après coup coûte bien plus cher.

Construire un processus de revue éthique de l'IA

Un processus de revue éthique de l'IA léger mais rigoureux :

Avant développement : pour tout nouveau cas d'usage IA, réaliser un court « AI impact assessment » : qui est concerné, quelles décisions le système influence-t-il, quels sont les modes de défaillance, quels groupes protégés pourraient être affectés ?

Avant déploiement : pour les systèmes à fort impact, tests de fairness entre groupes démographiques, tests adverses (que se passe-t-il avec des entrées malveillantes ?), revue humaine des cas limites.

Après déploiement : surveiller la dégradation des performances selon les groupes démographiques, suivre les recours et réclamations des personnes concernées, planifier des réévaluations périodiques.

Chemin d'escalade : processus clair pour remonter les alertes, du data scientist qui repère un problème de biais au comité d'éthique IA, puis au CDO et à l'équipe juridique.

Ce processus ajoute 10 à 20 % de charge aux calendriers de développement IA. Cela en vaut la peine : l'alternative consiste à construire des systèmes qui nuisent aux personnes et exposent l'organisation à un risque juridique et réputationnel significatif.

Points clés à retenir

• L'IA échoue de manière prévisible : données biaisées, discrimination par proxy, distributional shift et feedback loops. L'outil de recrutement abandonné par Amazon illustre concrètement un biais historique intégré dans un modèle.
• La fairness n'a pas une définition unique. Demographic parity, equal opportunity et individual fairness peuvent s'opposer : choisissez la bonne pour chaque cas d'usage avec les équipes juridiques et éthiques.
• L'EU AI Act est déjà partiellement en vigueur : interdictions de pratiques et littératie IA depuis février 2025, règles GPAI et gouvernance depuis août 2025, et la plupart des obligations haut risque à partir d'août 2026 (août 2027 pour les produits réglementés).
• Les sanctions atteignent 35 millions d'euros ou 7 % du chiffre d'affaires mondial : intégrez documentation, supervision humaine et tests de biais dès le développement plutôt qu'en rattrapage.
• Un processus de revue par étapes (impact assessment, tests avant déploiement, monitoring en production, chemin d'escalade) ajoute 10 à 20 % de charge et évite des dommages bien plus coûteux.

Questions du quiz

1. Pourquoi Amazon a-t-il arrêté son algorithme de recrutement IA ?

A) Il était trop coûteux à opérer

B) Il pénalisait les CV contenant des références à des activités féminines, un exemple de biais lié aux données historiques d'embauche

C) Il n'était pas assez précis pour prédire la performance

D) Il violait les réglementations sur la protection des données

Réponse: B

1. Qu'est-ce qu'un "feedback loop" problématique dans l'IA, illustré par l'exemple du predictive policing ?

A) Un modèle qui s'améliore trop vite et devient imprévisible

B) Un mécanisme où les prédictions du modèle influencent les données futures qui valident ces mêmes prédictions, amplifiant les biais existants

C) Un problème de performance lié au volume de données

D) Une régression du modèle due au manque de réentraînement

Réponse: B

1. Dans l'EU AI Act, à quelle date la plupart des obligations pour les systèmes à haut risque (recrutement, scoring de crédit) commencent-elles à s'appliquer ?

A) 1 août 2024, dès l'entrée en vigueur du règlement

B) 2 février 2025, en même temps que les interdictions de pratiques inacceptables

C) 2 août 2026, avec un délai étendu au 2 août 2027 pour l'IA intégrée dans des produits réglementés

D) Aucune date fixée, l'application reste volontaire

Réponse: C