le piège de la discrimination dans l'IA retail personnalisée

En 2020, les journalistes de The Markup ont testé le site d'un grand distributeur de fournitures de bureau depuis différents codes postaux et ont trouvé quelque chose de dérangeant : les acheteurs situés près d'une zone à revenus élevés voyaient plus souvent des prix plus bas que ceux situés près d'une zone à faibles revenus, pour exactement la même agrafeuse, exactement le même jour. Personne dans l'entreprise n'avait codé « faire payer plus cher les pauvres ». Un algorithme de pricing avait simplement appris que certains codes postaux toléraient des prix plus élevés, et ces codes postaux étaient corrélés, imparfaitement mais durablement, au revenu et à l'origine ethnique. Cette leçon explique comment cela se produit, et comment le détecter avant qu'un régulateur ou un journaliste ne le fasse.

Comment fonctionne réellement la discrimination par proxy

Aucun distributeur responsable n'alimente un algorithme avec l'origine ethnique ou le revenu d'un client. Le problème est plus subtil : les variables proxy, ces features statistiquement corrélées à une caractéristique protégée alors qu'elles paraissent neutres.

Les proxys courants dans l'IA retail :

• Code postal : fortement corrélé au revenu, à l'origine ethnique, voire au statut d'immigration dans de nombreuses zones métropolitaines américaines.
• Type d'appareil : les utilisateurs d'iPhone ont en moyenne des revenus de ménage supérieurs à ceux des utilisateurs Android. Certains outils de dynamic pricingdynamic pricingAjustement automatique des prix en temps réel selon la demande, la concurrence ou le comportement des utilisateurs, pour optimiser le revenu, la marge ou la conversion.Voir la définition complète → ont utilisé les signaux d'appareil comme indicateur de demande.
• Localisation du magasin / distance au concurrent le plus proche : une feature d'« intensité concurrentielle » qui suit discrètement les quartiers offrant moins d'alternatives commerciales, souvent des zones à faibles revenus avec moins de concurrence, donc moins de pression sur les prix.
• Comportement de navigation et temps passé : des proxys de l'urgence ou de la sensibilité au prix, qui peuvent être corrélés à la précarité financière.

Aucune de ces variables ne dit « discrimine ». Mais un modèle de machine learning qui optimise le chiffre d'affaires trouvera et exploitera tout pattern prédictif de la disposition à payer, y compris ceux qui recoupent des classes protégées. C'est ce qu'on appelle le disparate impact : une pratique neutre en apparence qui produit un résultat discriminatoire, indépendamment de l'intention. C'est un concept juridique américain qui remonte à *Griggs v. Duke Power* (1971) et il s'applique aux décisions algorithmiques autant qu'aux décisions humaines.

Pourquoi le retail est particulièrement exposé

L'IA retail touche au pricing, aux promotions, au crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit (underwriting du buy-now-pay-later), et même à la question de savoir quels clients verront une offre de fidélité. Trois caractéristiques rendent ce secteur à haut risque :

1. L'hyper-personnalisation est le business model. Amazon, Walmart et Kroger font tourner des moteurs de dynamic pricing et d'offres ciblées capables d'actualiser les prix à l'heure et de faire varier les offres client par client. Plus de personnalisation, c'est plus de surface d'exposition aux fuites de proxy.
2. Les data brokers fournissent des données d'enrichissement. Les distributeurs achètent souvent des données tierces (estimations de revenu, segmentssegmentsDécouper un marché en groupes distincts de clients partageant des besoins, des caractéristiques ou des comportements similaires, afin de traiter chaque groupe avec une approche dédiée.Voir la définition complète → lifestyle) auprès de data brokers pour enrichir les profils clients. Cela importe en bloc le risque de proxy, puisque ces segments sont fréquemment construits à partir de données démographiques au niveau du code postal.
3. La culture de l'A/B testing masque le préjudice agrégé. Les équipes pricing testent l'uplift de revenu, pas l'équité. Un test peut afficher « +2 % de marge » sans que personne ne vérifie si cet uplift provient de façon disproportionnée des acheteurs à faibles revenus.

Le paysage réglementaire à connaître

États-Unis : il n'existe pas encore de loi fédérale unique sur l'IA, mais les textes existants s'appliquent :

• La section 5 du FTC Act interdit les « pratiques déloyales ou trompeuses », et la Federal Trade Commission (FTC) a explicitement averti qu'un pricing algorithmique biaisé peut relever de cette catégorie, voir les orientations de la FTC sur l'IA et les algorithmes.
• L'Equal Credit Opportunity Act (ECOA) s'applique dès que la personnalisation touche à des décisions de crédit, comme l'approbation d'un BNPL (buy-now-pay-later) ou des offres de plafond de crédit.
• Les lois d'États avancent plus vite : l'AI Act du Colorado (en vigueur en 2026) exige des impact assessments pour les décisions automatisées « à haut risque », et le CCPA/CPRA californien (California Consumer Privacy Act / Privacy Rights Act) donne aux consommateurs des droits sur la prise de décision automatisée.

Union européenne : l'AI Act européen (entré en vigueur en 2024, obligations échelonnées jusqu'en 2027) classe certains systèmes, dont ceux qui affectent l'accès à des services essentiels, comme à risque élevé, ce qui déclenche des évaluations de risque, de la documentation et des tests de biais obligatoires. L'article 22 du RGPDRGPDRèglement de l'UE encadrant la collecte, le stockage et l'usage des données personnelles, avec des amendes indexées sur le chiffre d'affaires mondial.Voir la définition complète → donne aussi aux consommateurs européens le droit de ne pas être soumis à des décisions purement automatisées ayant des effets significatifs, et exige une base légale pour le profilage.

Aucun des deux régimes n'exige la preuve d'une intention. C'est le résultat qui compte. C'est là le piège : les équipes techniques croient souvent « nous n'avons pas utilisé l'origine ethnique, donc tout va bien », ce qui est juridiquement faux dans les deux juridictions.

Un framework d'audit concret

Voici une séquence pratique à dérouler avant la mise en production de tout modèle de pricing ou d'offre.

Étape 1 : attribuer à chaque feature un score de risque proxy.

Étape 2 : réaliser un test de disparate impact sur les sorties, pas seulement sur les entrées. Retirer le code postal du modèle ne garantit pas l'équité si dix autres features le reconstruisent conjointement. Testez les prix ou les offres réellement produits par le modèle contre des données démographiques (souvent issues de superpositions de Census tracts), même si aucune donnée démographique n'a jamais été une entrée du modèle.

Une version simple, en pseudocode :

# Compare average effective price by income tercile of zip code
import pandas as pd

df['income_tercile'] = pd.qcut(df['zip_median_income'], 3, labels=['low','mid','high'])
price_gap = df.groupby('income_tercile')['effective_price'].mean()

print(price_gap)
# Si 'low' affiche un prix moyen sensiblement plus élevé pour le même panier de SKU,
# c'est un signal de disparate impact à investiguer, non à écarter.

Il s'agit d'un test de disparate impact : comparer les résultats entre groupes, indépendamment des features qui les ont causés.

Étape 3 : utiliser des seuils de type « règle des 80 % » comme premier outil de screening. Emprunté au droit du travail américain (la four-fifths rule), il signale une pratique dès lors que le taux de résultat favorable d'un groupe est inférieur à 80 % de celui du groupe le mieux traité. C'est un filtre grossier, pas une immunité juridique, mais c'est un outil de triage rapide que les distributeurs peuvent adapter aux prix et aux taux d'éligibilité aux offres.

Étape 4 : documenter une model card et un audit de biais avant le lancement, pas après une plainte. Les régulateurs et les avocats des plaignants regardent bien plus favorablement les entreprises capables de montrer une revue d'équité pré-déploiement. L'AI Act européen impose de fait cette documentation pour les systèmes dans son périmètre ; aux États-Unis, c'est aujourd'hui une bonne pratique, mais les lois d'États rattrapent vite leur retard.

À quoi ressemble une bonne gouvernance en pratique

Les distributeurs les plus avancés commencent à institutionnaliser trois contrôles :

• Comité de revue d'équité pré-déploiement : un groupe transverse (juridique, data science, merchandising) qui valide tout modèle de pricing ou d'offre dépassant un petit segment de test.
• Monitoring continu, pas test ponctuel : les modèles dérivent. Un moteur de pricing réentraîné chaque mois sur de nouvelles données d'achat peut réintroduire des corrélations proxy qu'un audit initial avait manquées. Les dashboards de monitoring doivent suivre les écarts de résultats par proxy démographique à une cadence récurrente, pas seulement au go-live.
• Kill switches et plans de rollback : si un dashboard de monitoring signale un écart, l'équipe a besoin d'un processus convenu à l'avance pour suspendre la feature de personnalisation, pas d'une file de tickets de six semaines.

L'enquête initiale de The Markup est un cas d'école utile à lire en entier : The Secret Bias Hidden in Mortgage-Approval Algorithms porte sur le crédit, pas sur le retail, mais la mécanique des variables proxy est identique et c'est l'une des explications publiques les plus claires du phénomène.

Points clés

• Le vrai risque, ce sont les variables proxy, pas les attributs protégés explicites. Code postal, type d'appareil et segments achetés à des data brokers peuvent encoder le revenu et l'origine ethnique sans que personne ne l'ait voulu.
• Le disparate impact est un standard juridique fondé sur les résultats, pas sur l'intention. « Nous n'avons jamais utilisé l'origine ethnique comme feature » n'est pas une défense, ni aux États-Unis ni dans l'UE.
• Testez les sorties, pas seulement les entrées. Retirer une feature sensible n'empêche pas le modèle de la reconstruire à partir de données corrélées ; auditez les prix et les offres réels entre groupes démographiques.
• La réglementation se durcit des deux côtés de l'Atlantique. L'AI Act européen et des lois d'États comme l'AI Act du Colorado exigent de plus en plus des évaluations de risque documentées avant déploiement ; la FTC et l'ECOA donnent déjà aux régulateurs américains des moyens d'agir.
• Construisez du monitoring et des kill switches, pas seulement des audits le jour du lancement. Les modèles se réentraînent et dérivent ; les écarts d'équité peuvent réapparaître des mois après une revue initiale sans faille.