Hallucinations et vérification dans les travaux à fort enjeu

En 2023, deux avocats new-yorkais ont été condamnés à 5 000 $ d'amende après avoir déposé un mémoire citant six décisions de justice inexistantes. ChatGPT les avait inventées, avec de fausses citations et de faux numéros de dossier. Les avocats n'ont pas vérifié. Le juge, si.

Voilà le problème central résumé en une anecdote. Les modèles d'IA peuvent produire des informations assurées, fluides et totalement fausses. On appelle cela une hallucinationhallucinationUne hallucination, c'est lorsqu'un modèle d'IA produit une réponse fluide et assurée mais factuellement fausse, inventée, ou non étayée par ses données sources.Voir la définition complète → : quand un modèle génère un contenu qui sonne juste mais qui est factuellement faux ou entièrement inventé.

Une statistique inventée dans un brainstorming ne vous coûte rien. La même erreur dans un dossier médical, un contrat ou une déclaration fiscale peut mettre fin à une carrière ou nuire à une personne. Cette leçon vous apprend à calibrer votre effort de vérification sur le niveau d'enjeu.

Pourquoi les hallucinations se produisent

Un grand modèle de langage (l'IA derrière ChatGPT, Claude et Gemini) est un moteur de prédiction. Il prédit le mot suivant le plus probable à partir des motifs de ses données d'entraînement. Il ne consulte pas des faits dans une base de données. **Il produit un texte qui *ressemble* à une réponse correcte**.

C'est pour cela que les hallucinations sont si dangereuses : le modèle n'a aucune alarme interne qui dit « là, je devine ». Une citation réelle et une citation fabriquée paraissent aussi assurées l'une que l'autre.

Les modèles de 2026 sont meilleurs qu'avant. Des outils comme ChatGPT, Claude et Gemini citent désormais des sources et cherchent sur le web. Mais « meilleur » n'est pas « résolu ». Le taux de fabrication a baissé ; il n'est pas tombé à zéro.

L'état d'esprit de la vérification par paliers

Vous n'avez pas besoin de vérifier chaque mot produit par une IA. Cela rendrait l'IA inutile. À la place, posez-vous une question avant d'agir sur un résultat :

Que se passe-t-il si c'est faux ?

La réponse fixe votre palier de vérification.

Palier 1 : enjeu faible (un coup d'œil et on avance)

Le coût d'une erreur est négligeable ou facilement réversible.

• Brainstorming de titres d'articles
• Rédaction d'un e-mail informel que vous relirez de toute façon
• Résumé d'un article pour votre propre compréhension
• Génération d'idées pour une fête d'anniversaire

Vérification : une lecture rapide pour repérer les absurdités évidentes. C'est tout. Si une statistique issue du brainstorming vous paraît douteuse, écartez-la ou vérifiez-la plus tard.

Palier 2 : enjeu moyen (contrôle par échantillonnage des affirmations)

Une erreur serait embarrassante, coûterait du temps réel ou induirait des collègues en erreur, mais n'est ni dangereuse ni juridiquement contraignante.

• Une synthèse de marché pour une réunion d'équipe interne
• Un guide pratique que vous publierez sur le blog de l'entreprise
• Une recherche comparative de produits pour une décision d'achat
• Un brouillon de demande de subvention

Vérification : contrôlez chaque affirmation précise et vérifiable. Noms, chiffres, dates, citations et statistiques. Ouvrez une seconde source pour tout ce que vous énoncerez comme un fait.

Une habitude simple : demandez au modèle de séparer les faits de l'interprétation.

« Liste chaque affirmation factuelle de ta dernière réponse sous forme de puces, avec la source précise pour chacune. Signale tout ce dont tu n'es pas certain. »

Vérifiez ensuite les puces, pas la prose.

Palier 3 : enjeu élevé (tout vérifier, de façon indépendante)

Une erreur pourrait nuire à une personne, enfreindre la loi, faire perdre des sommes importantes ou détruire la confiance.

• Médical : posologies, diagnostics, interactions médicamenteuses
• Juridique : références de jurisprudence, clauses contractuelles, délais légaux
• Financier : conseil fiscal, chiffres d'investissement, déclarations réglementaires
• Sécurité : instructions impliquant l'électricité, des produits chimiques, des travaux structurels

Vérification : traitez le résultat de l'IA comme un *brouillon rédigé par un stagiaire non vérifié*. Chaque fait doit être confirmé par une source autorisée et indépendante. Un médecin consulte une base de données de médicaments. Un avocat récupère la décision elle-même. Un comptable confirme dans le code fiscal en vigueur.

Au palier 3, l'IA n'a pas le dernier mot. Un humain qualifié et une source primaire l'ont.

Scénarios concrets

Médical. Vous demandez à une IA : « Quelle est la dose quotidienne maximale de paracétamol pour un adulte ? » Elle répond « 4 000 mg ». C'est un chiffre courant, mais les doses dépendent de la santé hépatique, de la consommation d'alcool et des autres médicaments. En contexte clinique, vous confirmez avec une source comme la base de données des notices FDA ou une référence clinique, jamais le chatbot seul.

Juridique. Vous demandez des décisions appuyant votre argumentation. Le modèle en renvoie trois avec des références d'apparence parfaite. Avant que quoi que ce soit n'entre dans un dépôt, vous cherchez chaque décision dans la base de données du tribunal ou sur un service comme CourtListener. Si vous ne la trouvez pas, elle n'existe pas.

Financier. Une IA vous indique un plafond de déduction fiscale. Les règles fiscales changent chaque année et varient selon la région. Vous confirmez avec les instructions officielles en vigueur (aux États-Unis, IRS.gov) ou auprès d'un professionnel agréé.

Le schémamaUtiliser un logiciel pour automatiser les tâches et campagnes marketing répétitives, afin de personnaliser à grande échelle sur des canaux comme l'email, le web et le social.Voir la définition complète → est identique : l'IA accélère le brouillon, mais la source de vérité n'est jamais l'IA.

Réduire les hallucinations avant de vérifier

La vérification est votre filet de sécurité. Un bon prompting réduit le nombre d'erreurs à rattraper.

1. Donnez au modèle le matériau source. Si vous collez le document réel et posez des questions dessus, le modèle a beaucoup moins de latitude pour inventer. C'est ce qu'on appelle le grounding.

2. Demandez-lui d'admettre son incertitude. Ajoutez : « Si tu n'es pas sûr ou si tu n'as pas de source fiable, dis-le. Ne devine pas. » Les modèles récents respectent bien cette instruction.

3. Utilisez des outils qui citent. En 2026, Gemini, ChatGPT et Claude proposent tous des modes de recherche web avec des sources cliquables. Activez-les pour le travail factuel. Puis *cliquez sur les sources*. Une citation que vous n'ouvrez pas n'est pas une vérification.

4. Demandez le raisonnement, puis contrôlez-le. Une conclusion fausse comporte souvent une étape visiblement fausse.

Voici un petit exemple utilisant une APIAPIApplication Programming Interface : une interface standardisée qui permet aux applications de communiquer et d'échanger des données sans connaître leur fonctionnement interne respectif.Voir la définition complète → pour imposer une structure « confiance et sources » dans le résultat :

from openai import OpenAI

client = OpenAI()

prompt = """Answer the question below.
Then add two sections:
FACTS: every checkable claim as a bullet, each with a source.
CONFIDENCE: low / medium / high, and say what would change your answer.

Question: What is the standard statute of limitations for
breach of written contract in California?"""

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": prompt}],
)

print(response.choices[0].message.content)

Le résultat structuré rend la vérification rapide : vous contrôlez les puces FACTS et traitez tout ce qui est marqué « low » comme non vérifié jusqu'à preuve du contraire.

Installer une habitude de vérification

Le plus grand risque n'est pas le modèle. C'est le biais d'automatisation : notre tendance humaine à faire confiance à une réponse assurée et bien formatée simplement parce qu'une machine l'a produite. Une mise en forme soignée donne une impressionimpressionLe nombre total de fois qu'une publicité ou un contenu est affiché, indépendamment des clics. Chaque affichage compte pour une impression, même auprès de la même personne.Voir la définition complète → d'exactitude. Ce n'en est pas une.

Mettez en place de petits rituels qui interrompent ce réflexe.

Le filtre des 3 questions

Avant que tout résultat d'IA ne quitte vos mains, demandez-vous :

1. De quel palier s'agit-il ? (Que se passe-t-il si c'est faux ?)
2. Quelles affirmations précises sont vérifiables ? (Noms, chiffres, dates, références, citations.)
3. Les ai-je confirmées auprès d'une source indépendante ?

Pour le palier 1, cela prend dix secondes. Pour le palier 3, c'est tout le travail.

Surveillez les signaux d'alerte d'hallucination

Certains résultats méritent une suspicion accrue :

• Références et URL précises. Les modèles les fabriquent souvent. Cliquez toujours.
• Statistiques précises sans source. « 73 % des utilisateurs préfèrent... » D'où cela vient-il ?
• Événements récents. Les modèles peuvent être dépassés ou affabuler des détails d'actualité.
• Sujets de niche ou obscurs. Moins de données d'entraînement signifie plus de devinettes.
• **Tout ce que vous *souhaitez* voir vrai.** Votre propre biais combiné à la fluidité du modèle est un mélange dangereux.

Désignez un responsable

Dans une équipe ou une organisation, nommez un propriétaire humain pour chaque résultat d'IA à fort enjeu. « C'est l'IA qui l'a écrit » n'est pas une défense. Les avocats new-yorkais l'ont appris à leurs dépens. Quelqu'un valide, et ce quelqu'un a vérifié.

Pour un cadre plus approfondi et opérationnel sur ce sujet, le NIST AI Risk Management Framework est une ressource gratuite et reconnue sur la gestion du risque IA dans les organisations réelles.

Mise en pratique : un workflow rapide

Imaginons que vous rédigiez une FAQ client sur un produit financier.

1. Rédigez avec l'IA. Collez votre documentation produit réelle et demandez-lui d'écrire la FAQ à partir de ces documents uniquement.
2. Attribuez un palier. De l'information financière destinée aux clients, c'est le palier 3.
3. Extrayez les affirmations. Demandez au modèle de lister chaque énoncé factuel avec sa source dans vos documents.
4. Vérifiez de façon indépendante. Confirmez chacun avec les documents sources et la réglementation en vigueur.
5. Validation humaine. Une personne qualifiée relit et approuve avant publication.

L'IA a fait 70 % du travail, vite. Vous avez fait les 30 % qui protègent tout le monde.

Points clés

• Calibrez la vérification sur l'enjeu. Demandez « Que se passe-t-il si c'est faux ? » avant d'agir. Un coup d'œil pour les enjeux faibles ; une vérification indépendante de tout pour le médical, le juridique et le financier.
• L'IA n'est jamais la source de vérité au palier 3. Confirmez chaque fait auprès d'une source autorisée et indépendante, et faites valider par un humain qualifié.
• Surveillez les signaux d'alerte. Références, URL, statistiques précises, événements récents et sujets de niche : c'est là que se concentrent les hallucinations. Cliquez sur chaque source ; ne vous fiez pas à la mise en forme.
• Réduisez les erreurs avant d'avoir à les rattraper. Ancrez le modèle dans un matériau source réel, demandez-lui d'admettre son incertitude, utilisez les modes de recherche qui citent, puis ouvrez réellement les citations.
• Méfiez-vous du biais d'automatisation. Une réponse assurée et soignée n'est pas une réponse vérifiée. Désignez un propriétaire humain pour les résultats à fort enjeu.