Le biais dans l'IA : d'où il vient et pourquoi il compte

Vers 2014, Amazon a construit un outil d'IA pour trier les CV. Il devait repérer automatiquement les meilleurs candidats. À la place, il a appris tout seul à pénaliser les CV contenant le mot « women's » (comme dans « women's chess club captain ») et déclassait les diplômées de deux universités exclusivement féminines. Amazon a abandonné le projet.

L'outil n'avait pas été programmé pour être sexiste. Personne n'avait écrit de règle disant « préférer les hommes ». Alors d'où venait le biais ? C'est tout le sujet de cette leçon.

Pourquoi l'outil d'Amazon a échoué

L'outil a appris à partir de dix ans de CV reçus et de décisions de recrutement chez Amazon. La plupart de ces recrutements, dans une industrie tech dominée par les hommes, concernaient des hommes.

L'IA a fait exactement ce pour quoi elle avait été conçue : trouver des patterns dans les données passées et les reproduire. Le pattern qu'elle a trouvé était « les candidats retenus ressemblent aux hommes que nous avons déjà recrutés ». Elle a donc reproduit ce pattern.

Voilà l'idée centrale : le biais dans l'IA est généralement le reflet du biais de ses données d'entraînement, pas un bug dans le code.

Données d'entraînement : l'énorme masse d'exemples (textes, images, décisions) qu'une IA étudie pour apprendre à répondre. Un modèle ne peut apprendre que de ce qu'on lui montre.

Les trois endroits où le biais s'introduit

Le biais ne vient pas d'un seul endroit. Il se glisse à trois étapes principales.

1. Les données

Les grands modèles de langage actuels (l'IA derrière ChatGPT, Claude et Gemini) apprennent à partir de pans énormes d'internet : sites web, livres, forums, réseaux sociaux. Internet surreprésente certaines voix et en sous-représente d'autres.

Exemple concret : demandez à un ancien modèle d'images « une photo d'un CEO » et vous obtenez souvent des hommes blancs en costume. Demandez « une infirmière » et vous obtenez souvent des femmes. Le modèle répercute la façon dont ces rôles apparaissent en ligne, pas la réalité.

Large language model (LLM) : une IA entraînée sur d'immenses volumes de texte pour prédire et générer du langage. Elle ne « connaît » pas de faits ; elle prédit les mots probables à partir de patterns.

2. L'étiquetage et le tuning

Après l'entraînement brut, des humains façonnent le comportement du modèle en notant les réponses et en rédigeant des exemples de « bonnes » réponses. Ces humains portent leurs propres présupposés, et les consignes qu'ils suivent reflètent des choix faits par une entreprise. Ce qui compte comme « poli », « professionnel » ou « approprié » relève du jugement, et les jugements varient selon les cultures.

3. Votre prompt

Vous pouvez introduire du biais vous-même. Un prompt comme « Écris une histoire sur un brillant scientifique et son laboratoire » a déjà supposé que le scientifique est un homme. Le modèle va généralement suivre votre indication.

Comment le biais apparaît dans les résultats réels

Le biais est souvent subtil. Voici des patterns à surveiller.

Valeurs par défaut stéréotypées. Essayez ceci dans n'importe quel chatbot :

« Écris une courte histoire sur un médecin et une infirmière qui déjeunent ensemble. »

Observez lequel est désigné par « il » et lequel par « elle » si vous n'avez rien précisé. Beaucoup de modèles partent encore par défaut sur un médecin homme et une infirmière femme.

Qualité inégale selon les langues ou les noms. Les modèles écrivent souvent plus couramment en anglais qu'en swahili ou en bengali, simplement parce que les données d'entraînement en anglais étaient plus nombreuses. Ils traitent aussi les noms occidentaux avec plus d'assurance que les noms non occidentaux.

Recommandations déséquilibrées. Demandez « les 10 plus grands philosophes » ou « les livres essentiels sur le leadership » et la liste penche souvent vers l'Occident et les hommes. Le modèle reflète ce qui est le plus cité en ligne, pas un classement objectif.

Écarts de sentiment. D'anciens outils d'analyse de sentiment notaient parfois comme plus « négatives » des phrases contenant certains termes identitaires ou certains dialectes, même quand le contenu était neutre.

Vous pouvez tester cela directement. Voici une petite expérience à lancer avec une APIAPIApplication Programming Interface : une interface standardisée qui permet aux applications de communiquer et d'échanger des données sans connaître leur fonctionnement interne respectif.Voir la définition complète → pour tester les présupposés par défaut à grande échelle :

# Test gender defaults by running the same neutral prompt many times
from openai import OpenAI
client = OpenAI()

prompt = "Describe a successful software engineer in one sentence. Use a pronoun."

for i in range(5):
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
    )
    print(response.choices[0].message.content)

Lancez-le et comptez combien de fois vous obtenez « he » plutôt que « she ». Un déséquilibre vous indique la valeur par défaut du modèle, et c'est dans les valeurs par défaut que le biais se cache.

Pourquoi cela compte vraiment

Ce n'est pas une préoccupation purement académique. Une IA biaisée cause des dommages réels quand elle prend ou influence des décisions concernant des personnes.

• Recrutement : un outil de tri écarte des candidats qualifiés, comme celui d'Amazon.
• Crédit et logement : un système de scoring par IA désavantage les demandeurs venant de certains quartiers ou de certains milieux.
• Santé : une étude de 2019 très citée dans *Science* a montré qu'un algorithme médical utilisé sur des millions de patients attribuait aux patients noirs des scores de risque plus faibles qu'à des patients blancs tout aussi malades, parce qu'il utilisait les dépenses de santé passées comme proxy du besoin, et que moins d'argent avait historiquement été dépensé pour les patients noirs.
• Contenus du quotidien : textes marketing, images et recommandations qui excluent ou stéréotypent discrètement des groupes entiers.

Le pattern est constant : l'IA a l'air neutre et objective, ce qui rend son biais plus dangereux. On fait plus confiance à un chiffre ou à une réponse « data-drivendata-drivenUne approche où les décisions s'appuient systématiquement sur l'analyse de données plutôt que sur la seule intuition.Voir la définition complète → » qu'à une personne qui prendrait la même décision.

Ce que vous pouvez faire

Vous n'êtes pas impuissant. La plupart des lecteurs de ce cours sont *utilisateurs* de l'IA, pas constructeurs, et les utilisateurs ont un vrai levier.

Traitez le résultat de l'IA comme un brouillon, pas comme un verdict

Ne laissez jamais un modèle prendre seul une décision finale au sujet d'une personne. Utilisez-le pour rédiger, brainstormer ou synthétiser, puis appliquez votre jugement. Si vous triez des candidatures, notez des dossiers ou évaluez des personnes de quelque manière que ce soit, un humain reste responsable du résultat.

Écrivez des prompts qui contrent la valeur par défaut

Soyez explicite plutôt que de laisser le modèle deviner. Comparez :

Faible : « Écris une histoire sur une infirmière. »

Mieux : « Écris une histoire sur un infirmier. L'infirmier est un homme qui s'appelle David. »

Pour les demandes larges, demandez directement de la variété :

« Liste 10 économistes influents. Inclus des personnes de différents pays, genres et époques. »

Auditez les résultats avec un contre-test rapide

Changez un seul détail et voyez si la réponse change alors qu'elle ne devrait pas. Exemple : demandez au modèle d'évaluer deux lettres de motivation identiques dont la seule différence est le nom (l'un stéréotypiquement masculin, l'autre féminin, ou des origines ethniques différentes). Si les assessments diffèrent, vous avez trouvé un biais.

names = ["Greg Mueller", "Lakisha Washington"]
letter = "I have 5 years of experience leading marketing teams..."

for name in names:
    prompt = f"Rate this candidate from 1-10 based on their note.\nName: {name}\nNote: {letter}"
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
    )
    print(name, "->", response.choices[0].message.content)

Des lettres identiques doivent obtenir des scores identiques. Si ce n'est pas le cas, n'utilisez pas ce modèle pour cette tâche.

Ajoutez des garde-fousgarde-fousRègles et contrôles qui maintiennent un système d'IA dans des limites sûres, légales et conformes à la marque, en bloquant les sorties et actions hors cadre.Voir la définition complète → dans vos instructions

Quand vous configurez un GPT personnalisé, un Claude Project ou un Gemini Gem, incluez une ligne du type : « Ne suppose ni le genre, ni l'origine ethnique, ni l'âge sauf s'ils sont précisés. Évite les stéréotypes. Quand tu listes des exemples de personnes, inclus un éventail diversifié. » Cela influence chaque réponse, pas seulement une.

Sachez que les modèles récents sont meilleurs, pas corrigés

Les versions 2025-2026 de ChatGPT, Claude et Gemini ont fait l'objet d'un gros travail de réduction des biais. Elles refusent souvent les formulations stéréotypées ou ajoutent une note de nuance. C'est un progrès. Ce n'est pas une garantie. Parfois, la « correction » surcorrige de façon étrange. Continuez à vérifier plutôt que de faire confiance au label « IA responsable ».

Petit retour au réel sur la « neutralité »

Il n'existe pas de modèle parfaitement neutre, pas plus qu'il n'existe de journal ou d'enseignant parfaitement neutre. Chaque jeu de données reflète une époque, un lieu et un ensemble de choix. L'objectif n'est pas une IA magiquement dépourvue de biais. L'objectif est d'utiliser l'IA les yeux ouverts : savoir qu'elle penche, savoir où, et vérifier son travail là où les enjeux sont élevés.

La véritable leçon de l'outil d'Amazon n'est pas « l'IA, c'est mal ». C'est qu'une IA qui répète le passé avec assurance transportera discrètement les injustices du passé vers le futur, sauf si un humain reste attentif.

Points clés

• Le biais vient des données, pas de la malveillance. Les modèles reproduisent les patterns de leurs données d'entraînement, y compris les déséquilibres d'internet et les inégalités historiques de la société.
• Surveillez les valeurs par défaut cachées. Un médecin non précisé devient « il », les listes des « plus grands » penchent vers l'Occident et les hommes. Soyez explicite dans vos prompts pour contrer cela.
• Ne laissez jamais l'IA décider seule au sujet d'une personne. Utilisez-la comme outil de brouillon pour tout ce qui touche au recrutement, au crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit, à la santé ou à l'évaluation, et gardez un humain responsable.
• Faites un contre-test. Changez un nom ou un genre dans un prompt par ailleurs identique. Si la réponse change, le modèle est biaisé pour cette tâche.
• Intégrez des garde-fous dans votre configuration. Ajoutez des instructions anti-stéréotypes à vos GPT personnalisés, Claude Projects et Gemini Gems pour que chaque réponse soit orientée, pas seulement une.