Quand un algorithme juge : l'affaire COMPAS et ce qu'elle dit du biais en IA

C'est 2016. Un journaliste de ProPublica, Jeff Larson, télécharge un jeu de données issu du comté de Broward, en Floride. Il s'agit des scores attribués par un logiciel nommé COMPAS, développé par la société Northpointe (depuis renommée Equivant), à des milliers de prévenus. Ces scores, censés prédire la probabilité de récidive, influencent les décisions de mise en liberté conditionnelle et parfois de détention provisoire. Larson et son équipe croisent les données avec les casiers judiciaires réels des deux années suivantes. Ce qu'ils trouvent les arrarrAnnual Recurring Revenue (ARR) is the normalized, predictable revenue a subscription business expects to earn from active contracts over a single year.Voir la définition complète →ête net.

Ce que l'enquête a mis au jour

Les chiffres publiés par ProPublica sont précis et ont depuis été largement reproduits et débattus : les prévenus noirs se voyaient attribuer un score "haut risque" à tort dans 44,9 % des cas, contre 23,5 % pour les prévenus blancs. Inversement, les prévenus blancs étaient classés "faible risque" à tort, c'est-à-dire qu'ils récidivaient alors que l'algorithme ne l'avait pas prédit, deux fois plus souvent que leurs homologues noirs.

Ce qui rend l'histoire particulièrement inconfortable : Northpointe a répondu que COMPAS était équitable. Et sur le plan statistique, la société n'avait pas tort. La précision globale du modèle était similaire pour les deux groupes, autour de 65 %. C'est l'équilibre entre les types d'erreurs, faux positifs d'un côté, faux négatifs de l'autre, qui différait selon la race.

Ce débat a mis en lumière une limite mathématique connue sous le nom de théorème d'impossibilité de Chouldechova, démontré formellement en 2017 par la chercheuse Alexandra Chouldechova. La démonstration est simple à énoncer : si deux groupes ont des taux de récidive différents dans les données historiques, il est mathématiquement impossible d'optimiser simultanément plusieurs définitions courantes de l'équité. Vous pouvez calibrer le modèle pour que ses prédictions soient également fiables dans chaque groupe, ou vous pouvez égaliser les taux de faux positifs, mais pas les deux en même temps. Il faut choisir. Et ce choix est politique, pas technique.

COMPAS ne posait aucune question sur la race dans son questionnaire. Le biais provenait des données d'entraînement : les historiques judiciaires américains reflètent des décennies de discrimination dans les arrestations, les poursuites et les condamnations. L'algorithme avait appris à reproduire ces schémas, sans que personne n'ait eu à le lui demander explicitement.

Pourquoi cette affaire a changé le débat

Avant 2016, la conversation autour du biais en IA restait largement théorique dans les cercles professionnels. COMPAS a changé cela pour trois raisons.

La première : l'enjeu était réel et grave. Ce n'était pas un chatbot qui recommandait de mauvais films. C'était un outil qui pesait sur la liberté de personnes concrètes, dans un système judiciaire déjà critiqué pour ses inégalités raciales.

La deuxième : l'affaire a démontré qu'un algorithme peut être biaisé même sans variable discriminante explicite. La race n'apparaissait nulle part dans le modèle. Pourtant le résultat était discriminatoire. Ce mécanisme, appelé discrimination indirecte ou biais proxy, est aujourd'hui au centre de la réglementation européenne sur l'IA, notamment dans l'AI Act adopté en 2024, qui classe les systèmes d'évaluation des risques dans les domaines judiciaires parmi les usages à haut risque.

La troisième : l'affaire a exposé l'impossibilité de faire arbitrer la définition de l'équité par la technique seule. Northpointe n'avait pas menti. ProPublica n'avait pas menti. Les deux utilisaient des définitions différentes de ce que signifie "être juste", et ces définitions sont incompatibles. C'est une décision de valeurs, qui doit être prise par des humains, de préférence avec une représentation des groupes concernés.

Depuis, la littérature académique s'est considérablement densifiée. Des chercheurs comme Solon Barocas, Moritz Hardt et Arvind Narayanan ont structuré le domaine. Le site Fairness and Machine Learning, issu de leurs travaux, liste aujourd'hui une vingtaine de définitions formelles de l'équité, toutes légitimes, rarement compatibles entre elles.

Ce que vous devez retenir pour votre travail

Si vous supervisez, achetez ou déployez des systèmes d'IA dans votre organisation, l'affaire COMPAS vous concerne directement, même si vous n'êtes pas dans le secteur judiciaire.

Le premier piège à éviter : confondre performance globale et équité. Un modèle précis à 90 % peut simultanément pénaliser systématiquement un sous-groupe. Exigez toujours que les métriques de performance soient ventilées par groupe pertinent, défini selon le contexte : genre, âge, origine géographique, niveau de diplôme.

Le deuxième : croire que l'absence de variable sensible dans le modèle protège contre le biais. Elle ne protège pas. Si vos données d'entraînement reflètent des inégalités passées, le modèle les reproduira via des variables corrélées. Le code postal est souvent un proxy du revenu. Le revenu est souvent corrélé à l'origine sociale. La chaîne est rapide à se former.

Le troisième, et probablement le moins intuitif : la définition de l'équité que vous adoptez est un choix stratégique et éthique, pas un réglage technique. Quand vous achetez un outil d'IA pour le recrutement, le crcrThe percentage of visitors or prospects who complete a desired action (purchase, sign-up, contact form), calculated as conversions divided by total opportunities.Voir la définition complète →édit ou l'évaluation de la performance, posez cette question au fournisseur : quelle définition de l'équité avez-vous retenue, et pourquoi ? Si la réponse est floue, c'est un signal d'alerte.

COMPAS a été utilisé dans des tribunaux américains pendant des années avant que quelqu'un ne regarde les données avec assez de soin. Dans votre organisation, ce quelqu'un, c'est vous.