là où l'IA discrimine discrètement les clients et les voyageurs

Un client situé dans un code postal à faibles revenus consulte un site de réservation hôtelière depuis un ancien téléphone Android. Un autre client cherche les mêmes dates depuis un iPhone dans une banlieue aisée. Plusieurs audits indépendants menés au cours de la dernière décennie (voir l'étude de la Northeastern University sur le price steering) ont établi que les sites de voyage peuvent afficher, et affichent effectivement, des prix ou des classements différents selon le type d'appareil, le navigateur et la localisation. Aucun de ces critères n'est une caractéristique protégée sur le papier, mais tous corrèlent en pratique avec le revenu, l'origine ethnique et la nationalité. Cette corrélation est tout le problème. Cette leçon vous montre où elle se cache et comment la tester avant le lancement.

Le concept central : la discrimination par proxy

La discrimination par proxy survient lorsqu'un modèle utilise une variable juridiquement neutre (code postal, OS de l'appareil, historique de navigation, tier de fidélité) qui fait office de substitut à une caractéristique protégée (origine ethnique, nationalité, âge, handicap, situation familiale).

Personne n'a besoin d'écrire « rejeter les candidats de ce quartier » dans le code. Si les données d'entraînement encodent des schémas historiques de ségrégation ou d'accès inégal, le modèle apprend le schémamaUtiliser un logiciel pour automatiser les tâches et campagnes marketing répétitives, afin de personnaliser à grande échelle sur des canaux comme l'email, le web et le social.Voir la définition complète → de toute façon. C'est le mécanisme à l'origine de la plupart des affaires de discrimination algorithmique dans le voyage et l'hôtellerie, et c'est pourquoi « nous n'avons pas utilisé l'origine ethnique comme variable » n'est pas une défense recevable pour les régulateurs.

Aux États-Unis, les cadres applicables sont le Fair Housing Act (FHA), que le Department of Housing and Urban Development (HUD) a explicitement appliqué aux outils algorithmiques utilisés dans la location courte durée et saisonnière, et le Title II du Civil Rights Act (établissements recevant du public). Le Fair Credit Reporting Act (FCRA) et les lois d'État sur les pratiques déloyales et trompeuses s'appliquent également dès qu'un scoring de type crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit intervient. Dans l'UE, l'EU AI Act (entré en vigueur en 2024, obligations échelonnées jusqu'en 2026-2027) classe certains scorings d'accès aux services essentiels comme « à haut risque », et le Règlement général sur la protection des données (RGPD) encadre les décisions automatisées produisant des effets juridiques ou significatifs sur les personnes.

Trois endroits où elle se cache dans le voyage et l'hôtellerie

1. La personnalisation par tier de fidélité

Les programmes de fidélité des hôtels et des compagnies aériennes alimentent les moteurs de recommandation et d'offre avec le statut de tier, les dépenses passées et le comportement de réservation. Cela semble neutre. Mais le statut de tier corrèle avec le revenu, et le revenu corrèle avec l'origine ethnique et la nationalité sur la plupart des marchés, du fait d'écarts de patrimoine largement documentés.

Concrètement : si votre modèle oriente en priorité les surclassements ou les exonérations de frais vers les membres du tier supérieur, et que ce tier penche fortement vers un groupe démographique en raison de schémas tarifaires ou marketing historiques, vous avez construit un système qui renforce les disparités existantes sous l'étiquette d'une « fidélité au mérite ».

2. Le scoring de risque crédit pour les locations saisonnières

Les plateformes appliquent de plus en plus des scores algorithmiques de trust-and-safety ou de « risque » aux clients avant de confirmer une réservation de location saisonnière, à partir de signaux comme le moyen de paiement, l'empreinte de l'appareil, la présence sur les réseaux sociaux, voire les caractéristiques du nom.

C'est le domaine que le HUD a examiné le plus attentivement. Une vague de plaintes entre 2016 et 2019 contre des plateformes de location courte durée alléguait que les clients dont les noms étaient perçus comme afro-américains étaient rejetés à des taux plus élevés que des profils identiques portant d'autres noms. Le mécanisme relevait surtout du biais des hôtes, mais à mesure que les plateformes automatisent l'acceptation et les recommandations tarifaires, le même schéma peut être figé dans un modèle qui « apprend » quels profils de clients les hôtes ont historiquement acceptés.

3. Le price steering par appareil ou localisation

Le pricing dynamique et le classement personnalisé des résultats utilisent l'adresse IP, le type d'appareil, la langue du navigateur et l'historique de clics. Un modèle optimisé uniquement pour la conversion ou la propension à payer peut apprendre que certains codes postaux ou signatures d'appareils tolèrent des prix plus élevés, puis afficher systématiquement des tarifs aériens ou hôteliers supérieurs à ces utilisateurs.

Comme le type d'appareil et le code postal ne sont pas des caractéristiques protégées, cela peut passer un contrôle de conformité naïf tout en produisant un disparate impact, le standard juridique (issu de *Griggs v. Duke Power*, étendu à l'application du fair lending et du fair housing) qui examine les résultats, pas l'intention.

Risque modèle : ce qui casse réellement

Trois modes de défaillance expliquent la plupart des incidents :

• Biais dans les données d'entraînement : l'historique de réservation ou d'acceptation reflète des discriminations passées (par les hôtes, les agents ou des algorithmes antérieurs), et le modèle les reproduit.
• Fuite de proxies protégés dans les features : le code postal, le prénom, l'établissement scolaire ou même le pseudo Instagram peuvent faire entrer l'origine ethnique, la religion ou la nationalité dans un modèle qui n'utilise jamais explicitement ces champs.
• Boucles de rétroaction : un modèle de pricing ou de classement qui apprend de ses propres décisions passées (ce qui a converti, ce qui n'a pas converti) peut amplifier de petits biais initiaux au fil des réentraînements successifs, une dynamique connue sous le nom de « runaway feedback loop » dans la recherche sur les systèmes de recommandation.

Les tests de biais à mener avant le lancement

Voici une checklist minimale, alignée sur ce que demandent réellement les régulateurs et les équipes sérieuses de model risk :

1. Ratio de disparate impact (la « règle des quatre cinquièmes »). Comparez les taux d'acceptation, les prix ou les classements entre groupes. Un seuil courant (bien que juridiquement non contraignant partout) : si le taux de sélection d'un groupe protégé est inférieur à 80 % de celui du groupe le plus favorisé, signalez-le pour examen.

# Simple four-fifths rule check
def disparate_impact_ratio(rate_protected_group, rate_reference_group):
    return rate_protected_group / rate_reference_group

ratio = disparate_impact_ratio(0.42, 0.61)  # ex. : taux d'acceptation des réservations
print(ratio)  # 0.688 -> sous le seuil de 0,8, nécessite une investigation

2. Audit de corrélation des proxies. Avant le déploiement, confrontez chaque feature en entrée (code postal, OS de l'appareil, nom, établissement scolaire) aux distributions connues des classes protégées (en référence aux données publiques du Census ou du HUD sur le fair lending) pour repérer les variables à forte corrélation.

3. Tests contrefactuels. Modifiez uniquement l'attribut proche d'une caractéristique protégée (nom, photo, origine ethnique implicite) en gardant tout le reste constant, et vérifiez si la sortie (prix, acceptation, classement) change. C'est la méthode utilisée dans la plupart des études d'audit publiées sur les plateformes de location.

4. Suivi des résultats par segment, après le lancement. Un modèle qui passe les tests pré-lancement peut dériver. Suivez le prix, le taux d'acceptation et la position dans le classement par segment démographique proxy chaque mois, pas seulement au lancement.

5. Revue humaine et voie de recours. Sous l'article 22 du RGPDRGPDRèglement de l'UE encadrant la collecte, le stockage et l'usage des données personnelles, avec des amendes indexées sur le chiffre d'affaires mondial.Voir la définition complète → et les lois d'État américaines émergentes (l'AI Act du Colorado, applicable en 2026, en est l'exemple phare), les personnes soumises à une décision automatisée significative doivent généralement disposer d'un accès à une revue humaine.

Gouvernance : qui doit en être responsable

Ce n'est pas uniquement un problème de data science. Une gouvernance efficace répartit les responsabilités :

• Juridique/conformité est responsable de la cartographie réglementaire (FHA, RGPD, niveau de risque EU AI Act, lois d'État sur l'IA) et de la validation avant lancement.
• Data science/model risk est responsable des tests techniques ci-dessus et de la documentation (model cards, data lineagedata lineageLe data lineage cartographie les déplacements et transformations de la donnée à travers les systèmes, de l'origine à la consommation : d'où elle vient, ce qui l'a modifiée, et où elle va.Voir la définition complète →).
• Business/produit est responsable de décider quelles features valent le risque en matière d'équité, car retirer une feature performante mais chargée de proxies est un vrai arbitrage business, pas une simple case à cocher de conformité.

Les grands acteurs de l'hôtellerie et du voyage (Marriott, Expedia Group, Airbnb) ont tous documenté publiquement des politiques de non-discrimination ou de fair lodging et des processus de revue interne à la suite d'actions de mise en application et de procès passés ; les plateformes plus petites et les gestionnaires de biens indépendants qui utilisent des outils de pricing ou de screening sur étagère disposent souvent de bien moins de contrôle, et c'est là que se concentrent le risque réglementaire et réputationnel.

Points clés

• La discrimination par proxy survient lorsque des variables neutres (code postal, type d'appareil, nom, tier de fidélité) corrèlent avec des caractéristiques protégées, produisant un disparate impact même sans intention discriminatoire explicite.
• Les trois zones les plus à risque dans le voyage et l'hôtellerie sont la personnalisation fondée sur la fidélité, le scoring de risque/crédit des clients pour les locations, et le price steering par localisation ou appareil.
• L'exposition juridique découle de standards fondés sur les résultats (disparate impact au titre du Fair Housing Act et du Title II) et de règles plus récentes spécifiques à l'IA (classification à haut risque de l'EU AI Act, article 22 du RGPD, AI Act du Colorado), pas seulement du droit de la discrimination fondé sur l'intention.
• Menez le test de disparate impact des quatre cinquièmes, un audit de corrélation des proxies, des tests contrefactuels et un suivi des résultats par segment après lancement, avant et après la mise en production de tout modèle de pricing, de classement ou de screening.
• La gouvernance suppose trois responsables travaillant ensemble : juridique/conformité pour la cartographie réglementaire, data science pour les tests techniques, et produit/business pour accepter ou refuser les arbitrages entre équité et performance.