Évaluer les outputs : comment savoir si ça marche ?

Vous avez construit un outil qui résume les avis clients. Vous l'avez testé deux fois, le résultat semblait excellent, vous l'avez mis en production. Trois semaines plus tard, quelqu'un vous montre un résumé qui qualifie de « négatif » un avis cinq étoiles. Depuis combien de temps cela se produisait-il ? Vous n'en avez aucune idée, parce que vous ne l'avez jamais mesuré.
C'est le piège. « Ça avait l'air bien » est une impression, pas une métrique. Pour améliorer un système d'IA, il vous faut un moyen de le noter qui ne dépende pas de votre humeur de l'après-midi.
Cet outil s'appelle une eval (abréviation d'« evaluation ») : un test reproductible qui mesure à quel point votre IA accomplit bien une tâche précise.
Pourquoi « ça a l'air bien » ne suffit pas
Les grands modèles de langage sont non déterministes. Autrement dit, le même prompt peut donner une réponse légèrement différente à chaque fois. Vérifier un output ne vous dit donc presque rien sur les cent suivants.
Vous modifiez aussi les choses en permanence : vous retouchez un prompt, vous passez de GPT-5 à GPT-5 mini, moins cher, vous ajoutez une instruction. Chaque changement peut améliorer un cas et en casser un autre sans bruit. Sans score, vous pilotez à l'aveugle.
Une eval règle ce problème. Vous construisez une fois un petit ensemble de cas de test, puis vous le relancez à chaque modification. Le score monte ou descend. Vous pouvez enfin vous améliorer.
L'idée centrale : un test set
Un test set est une collection d'inputs d'exemple, chacun associé à ce à quoi ressemble un bon output. Pour un outil de résumé, la version la plus simple est un ensemble de paires question-réponse.
Voici la démarche. Au lieu d'essayer de noter un résumé dans son ensemble (difficile et flou), vous rédigez des questions précises auxquelles un résumé correct doit permettre de répondre.
Prenons cet avis produit à résumer :
« Le blender est puissant et pile la glace facilement, mais il est extrêmement bruyant et le couvercle fuit si on le remplit au-delà de la moitié. La livraison a pris deux semaines. »
Vous écrivez des questions dont les réponses doivent survivre au résumé :
| Question | Réponse attendue |
|---|---|
| Le blender est-il puissant ? | Oui |
| Quelle est la principale plainte concernant le bruit ? | Il est bruyant |
| Le couvercle pose-t-il problème ? | Oui, il fuit quand on le remplit trop |
| La livraison a-t-elle été rapide ? | Non, elle a pris deux semaines |
Si le résumé vous permet de répondre correctement aux quatre, il a conservé les faits importants. S'il oublie le couvercle qui fuit, vous le détectez.
Une question vague (« est-ce un bon résumé ? ») devient une question concrète et dénombrable (« combien de ces faits a-t-il conservés ? »).
Construire une vraie eval, étape par étape
Construisons-en une toute petite. Il vous faut trois éléments :
- Des inputs : une poignée d'avis (commencez avec 10 à 20, pas 1 000).
- Des vérifications : des paires question-réponse pour chaque input.
- Un scorer : quelque chose qui décide si c'est réussi ou raté.
Étape 1 : rassembler les inputs et les faits attendus
Stockez-les sous forme de données simples. Pas besoin de savoir coder pour lire ceci :
test_cases = [
{
"review": "The blender is powerful and crushes ice easily, "
"but it is extremely loud and the lid leaks if you "
"fill it past the halfway line. Shipping took two weeks.",
"must_include": ["loud", "leak", "powerful"],
},
{
"review": "Battery lasts all day and the screen is bright. "
"Setup was confusing and customer support never replied.",
"must_include": ["battery", "setup", "support"],
},
]La liste must_include est une version simplifiée de vos « réponses » : les faits clés que le résumé doit mentionner.
Étape 2 : générer les résumés
Ici, on appelle un modèle. Cet exemple utilise la Responses APIAPIApplication Programming Interface : une interface standardisée qui permet aux applications de communiquer et d'échanger des données sans connaître leur fonctionnement interne respectif.Voir la définition complète → d'OpenAI, mais le schémamaUtiliser un logiciel pour automatiser les tâches et campagnes marketing répétitives, afin de personnaliser à grande échelle sur des canaux comme l'email, le web et le social.Voir la définition complète → est identique pour Claude ou Gemini.
from openai import OpenAI
client = OpenAI()
def summarize(review):
response = client.responses.create(
model="gpt-5-mini",
instructions="Summarize this product review in one sentence. Keep the key pros and cons.",
input=review,
)
return response.output_textÉtape 3 : noter
Le scorer le plus simple possible : le résumé contient-il chaque mot-clé requis ?
def score(summary, must_include):
hits = [word for word in must_include if word.lower() in summary.lower()]
return len(hits) / len(must_include)
total = 0
for case in test_cases:
summary = summarize(case["review"])
s = score(summary, case["must_include"])
total += s
print(f"Score: {s:.2f} | {summary}")
print(f"\nAverage score: {total / len(test_cases):.2f}")Lancez-le. Vous obtiendrez peut-être une moyenne de 0,83. Ce chiffre est votre baseline. Modifiez maintenant votre prompt, relancez, et regardez le chiffre bouger. S'il monte, c'est bien. S'il baisse, vous venez de casser quelque chose, et vous l'avez vu avant vos utilisateurs.
La correspondance par mots-clés est grossière. Pour commencer, ce n'est pas grave.
Chercher le mot « leak » rate un résumé qui dit « le couvercle laisse passer le liquide ». Le scoring par mots-clés est rudimentaire, mais il est gratuit, rapide, et détecte les régressions évidentes. Commencez par là.
Quand il ne suffit plus, l'étape suivante est le LLM-as-judge : vous demandez à un second modèle d'IA de noter l'output. Vous lui fournissez l'avis, le résumé et une grille d'évaluation, et vous lui demandez une note.
def judge(review, summary):
prompt = f"""Original review: {review}
Summary: {summary}
Does the summary capture the main pros AND cons?
Answer only PASS or FAIL."""
response = client.responses.create(
model="gpt-5",
input=prompt,
)
return response.output_text.strip()Cette méthode capte le sens, pas seulement les mots exacts. La limite : le juge est lui aussi une IA, donc il peut se tromper. Comparez ses notes avec votre propre jugement sur quelques cas avant de lui faire confiance.
Vérification des acquis
1. Quel est l'objectif central d'une « eval » telle que décrite dans la leçon ?
2. Pourquoi se fier à « ça avait l'air bien » ne fonctionne-t-il pas pour juger un système d'IA ?
3. Pourquoi la leçon recommande-t-elle de rédiger des paires question-réponse précises plutôt que de noter directement un résumé entier ?
4. Sélectionnez TOUTES les raisons données dans la leçon expliquant pourquoi une eval devient précieuse à mesure que vous modifiez votre système. (Sélectionnez TOUTES les bonnes réponses)
Sélectionnez toutes les réponses correctes.
5. Pour le test set d'un outil de résumé, qu'est-ce qui fait une bonne paire question-réponse selon la leçon ? (Sélectionnez TOUTES les bonnes réponses)
Sélectionnez toutes les réponses correctes.
Lire vos scores avec du recul
Un chiffre unique est un début, mais la façon de le regarder compte.
Suivez-le dans le temps. Enregistrez la moyenne de chaque exécution. Un tableur suffit. Quand le score passe de 0,85 à 0,72 après avoir « amélioré » le prompt, vous revenez en arrière.
Regardez les échecs, pas la moyenne. La moyenne de 0,83 masque les cas qui ont échoué. Lisez toujours les pires. C'est là que vous apprenez ce qui pose problème à votre IA : avis longs, sarcasme, langues multiples.
Ajoutez volontairement des cas difficiles. Quand un utilisateur signale un mauvais résumé, ne vous contentez pas de le corriger. Ajoutez-le à votre test set comme cas permanent. Votre eval devient plus fine à chaque problème. Cette collection est parfois appelée golden set : votre banque d'exemples de référence.
Fixez votre seuil de réussite. 0,83 suffit-il pour mettre en production ? Cela dépend des enjeux. Pour résumer des mèmes, oui. Pour résumer des instructions médicales, absolument pas. Vous fixez le seuil en fonction du coût d'une erreur.
Un mot sur l'état d'esprit
Les evals ressemblent à du travail en plus quand vous avez hâte de livrer. Ce n'est pas un surcoût. C'est ce qui vous permet d'aller vite sans rien casser en silence.
Pensez à la cuisine. Goûter le plat une fois, c'est « ça avait l'air bien ». Une recette avec des ingrédients pesés et un minuteur, c'est une eval. La recette vous permet de refaire le même bon plat cent fois, et de l'améliorer de façon délibérée.
Commencez de façon ridiculement modeste. Dix cas de test et une vérification par mots-clés valent mieux que rien. Vous pourrez toujours étoffer.
Si vous voulez un guide plus approfondi mais toujours lisible, la documentation OpenAI Evals explique comment lancer des evals structurées avec leurs outils, et les concepts s'appliquent à n'importe quel modèle.
Et avec ChatGPT, Claude et Gemini ?
Vous n'avez pas toujours besoin de code. Si vous prototypez dans l'interface de chat, vous pouvez mener une eval légère à la main :
- Collez votre prompt de résumé.
- Soumettez-lui vos 10 avis de test un par un.
- Pour chacun, posez-vous les paires question-réponse et comptez les réussites et les échecs.
Les trois principaux outils (ChatGPT, Claude et Gemini) permettent aussi d'importer un fichier d'exemples et de demander au modèle de noter son propre lot selon une grille que vous rédigez. C'est un LLMLLMUn Large Language Model est un système d'IA entraîné sur d'énormes volumes de texte pour prédire et générer du langage, ce qui permet de rédiger, résumer ou répondre à des questions.Voir la définition complète →-as-judge manuel. C'est plus lent que le code mais cela ne demande aucune configuration, et c'est une très bonne façon de commencer avant d'automatiser.
L'état d'esprit est le même partout : définissez ce que « bon » signifie en termes concrets et vérifiables avant de faire confiance à l'output.
Points clés
- Remplacez « ça a l'air bien » par un chiffre. Construisez un petit test set d'inputs accompagnés des faits qu'un bon output doit contenir, puis notez par rapport à ce référentiel.
- Commencez petit et rudimentaire. Dix cas de test avec une simple correspondance par mots-clés valent infiniment mieux qu'aucune eval. Vous étofferez plus tard.
- Relancez votre eval après chaque changement de prompt ou de modèle, et suivez le score dans le temps pour détecter les régressions silencieuses.
- Lisez les échecs, pas seulement la moyenne. Ajoutez chaque mauvais cas réel à votre golden set pour que votre eval s'affine avec le temps.
- Adaptez votre seuil de réussite aux enjeux. Un résumé de mèmes et un résumé de posologie ne méritent pas le même seuil.
À faire, tiré de cette leçon
Ces actions sont compilées dans le plan d'action du rôle.
- Annoter 100 exemples réels à la main et évaluer les résultats face à ces annotations
- Relancez votre eval après chaque changement de prompt ou de modèle
Articles liés
Les articles récents du blog qui s'appuient sur cette leçon.
- IAGemini Decision 1 tranche 1 000 questions d'un coup, alors arrêtez de choisir votre IA par marqueGoogle et OpenAI vendent désormais un modèle qui tranche (oui, non, choix, note) à côté de celui qui rédige. Le choix entre ChatGPT, Claude et Gemini se fait donc tâche par tâche, et la première question porte sur la forme de la réponse attendue.
- IA600 millions de raisons de comprendre d'où vient le vibe codingLovable dépasse 600 millions de dollars de revenus annualisés et ses applications totalisent près d'un milliard de vues mensuelles. Pour comprendre ce que cela signifie vraiment, il faut remonter à l'époque où écrire du code était le seul moyen de construire un logiciel.
- IALa dépense IA par employé recule : alerte ou ajustement normal ?En août 2026, les dépenses IA par employé ont chuté dans plusieurs grandes entreprises, au moment même où les hyperscalers misaient sur une adoption en accélération. Avant de conclure à un essoufflement, il faut regarder ce que ces chiffres mesurent réellement, et ce qu'ils occultent.