+160 XP

Évaluer les outputs : comment savoir si ça marche ?

Un robot juge de ligne, perché sur une haute chaise d'arbitre, lève un drapeau coloré sous le regard d'un entraîneur vu de dos.

Vous avez construit un outil qui résume les avis clients. Vous l'avez testé deux fois, le résultat semblait excellent, vous l'avez mis en production. Trois semaines plus tard, quelqu'un vous montre un résumé qui qualifie de « négatif » un avis cinq étoiles. Depuis combien de temps cela se produisait-il ? Vous n'en avez aucune idée, parce que vous ne l'avez jamais mesuré.

C'est le piège. « Ça avait l'air bien » est une impression, pas une métrique. Pour améliorer un système d'IA, il vous faut un moyen de le noter qui ne dépende pas de votre humeur de l'après-midi.

Cet outil s'appelle une eval (abréviation d'« evaluation ») : un test reproductible qui mesure à quel point votre IA accomplit bien une tâche précise.

Pourquoi « ça a l'air bien » ne suffit pas

Les grands modèles de langage sont non déterministes. Autrement dit, le même prompt peut donner une réponse légèrement différente à chaque fois. Vérifier un output ne vous dit donc presque rien sur les cent suivants.

Vous modifiez aussi les choses en permanence : vous retouchez un prompt, vous passez de GPT-5 à GPT-5 mini, moins cher, vous ajoutez une instruction. Chaque changement peut améliorer un cas et en casser un autre sans bruit. Sans score, vous pilotez à l'aveugle.

Une eval règle ce problème. Vous construisez une fois un petit ensemble de cas de test, puis vous le relancez à chaque modification. Le score monte ou descend. Vous pouvez enfin vous améliorer.

L'idée centrale : un test set

Un test set est une collection d'inputs d'exemple, chacun associé à ce à quoi ressemble un bon output. Pour un outil de résumé, la version la plus simple est un ensemble de paires question-réponse.

Voici la démarche. Au lieu d'essayer de noter un résumé dans son ensemble (difficile et flou), vous rédigez des questions précises auxquelles un résumé correct doit permettre de répondre.

Prenons cet avis produit à résumer :

« Le blender est puissant et pile la glace facilement, mais il est extrêmement bruyant et le couvercle fuit si on le remplit au-delà de la moitié. La livraison a pris deux semaines. »

Vous écrivez des questions dont les réponses doivent survivre au résumé :

QuestionRéponse attendue
Le blender est-il puissant ?Oui
Quelle est la principale plainte concernant le bruit ?Il est bruyant
Le couvercle pose-t-il problème ?Oui, il fuit quand on le remplit trop
La livraison a-t-elle été rapide ?Non, elle a pris deux semaines

Si le résumé vous permet de répondre correctement aux quatre, il a conservé les faits importants. S'il oublie le couvercle qui fuit, vous le détectez.

Une question vague (« est-ce un bon résumé ? ») devient une question concrète et dénombrable (« combien de ces faits a-t-il conservés ? »).

Construire une vraie eval, étape par étape

Construisons-en une toute petite. Il vous faut trois éléments :

  1. Des inputs : une poignée d'avis (commencez avec 10 à 20, pas 1 000).
  2. Des vérifications : des paires question-réponse pour chaque input.
  3. Un scorer : quelque chose qui décide si c'est réussi ou raté.

Étape 1 : rassembler les inputs et les faits attendus

Stockez-les sous forme de données simples. Pas besoin de savoir coder pour lire ceci :

python
test_cases = [
    {
        "review": "The blender is powerful and crushes ice easily, "
                  "but it is extremely loud and the lid leaks if you "
                  "fill it past the halfway line. Shipping took two weeks.",
        "must_include": ["loud", "leak", "powerful"],
    },
    {
        "review": "Battery lasts all day and the screen is bright. "
                  "Setup was confusing and customer support never replied.",
        "must_include": ["battery", "setup", "support"],
    },
]

La liste must_include est une version simplifiée de vos « réponses » : les faits clés que le résumé doit mentionner.

Étape 2 : générer les résumés

Ici, on appelle un modèle. Cet exemple utilise la Responses API d'OpenAI, mais le schéma est identique pour Claude ou Gemini.

python
from openai import OpenAI
client = OpenAI()

def summarize(review):
    response = client.responses.create(
        model="gpt-5-mini",
        instructions="Summarize this product review in one sentence. Keep the key pros and cons.",
        input=review,
    )
    return response.output_text

Étape 3 : noter

Le scorer le plus simple possible : le résumé contient-il chaque mot-clé requis ?

python
def score(summary, must_include):
    hits = [word for word in must_include if word.lower() in summary.lower()]
    return len(hits) / len(must_include)

total = 0
for case in test_cases:
    summary = summarize(case["review"])
    s = score(summary, case["must_include"])
    total += s
    print(f"Score: {s:.2f} | {summary}")

print(f"\nAverage score: {total / len(test_cases):.2f}")

Lancez-le. Vous obtiendrez peut-être une moyenne de 0,83. Ce chiffre est votre baseline. Modifiez maintenant votre prompt, relancez, et regardez le chiffre bouger. S'il monte, c'est bien. S'il baisse, vous venez de casser quelque chose, et vous l'avez vu avant vos utilisateurs.

La correspondance par mots-clés est grossière. Pour commencer, ce n'est pas grave.

Chercher le mot « leak » rate un résumé qui dit « le couvercle laisse passer le liquide ». Le scoring par mots-clés est rudimentaire, mais il est gratuit, rapide, et détecte les régressions évidentes. Commencez par là.

Quand il ne suffit plus, l'étape suivante est le LLM-as-judge : vous demandez à un second modèle d'IA de noter l'output. Vous lui fournissez l'avis, le résumé et une grille d'évaluation, et vous lui demandez une note.

python
def judge(review, summary):
    prompt = f"""Original review: {review}

Summary: {summary}

Does the summary capture the main pros AND cons? 
Answer only PASS or FAIL."""
    response = client.responses.create(
        model="gpt-5",
        input=prompt,
    )
    return response.output_text.strip()

Cette méthode capte le sens, pas seulement les mots exacts. La limite : le juge est lui aussi une IA, donc il peut se tromper. Comparez ses notes avec votre propre jugement sur quelques cas avant de lui faire confiance.

Vérification des acquis

1. Quel est l'objectif central d'une « eval » telle que décrite dans la leçon ?

2. Pourquoi se fier à « ça avait l'air bien » ne fonctionne-t-il pas pour juger un système d'IA ?

3. Pourquoi la leçon recommande-t-elle de rédiger des paires question-réponse précises plutôt que de noter directement un résumé entier ?

CHOIX MULTIPLES

4. Sélectionnez TOUTES les raisons données dans la leçon expliquant pourquoi une eval devient précieuse à mesure que vous modifiez votre système. (Sélectionnez TOUTES les bonnes réponses)

Sélectionnez toutes les réponses correctes.

CHOIX MULTIPLES

5. Pour le test set d'un outil de résumé, qu'est-ce qui fait une bonne paire question-réponse selon la leçon ? (Sélectionnez TOUTES les bonnes réponses)

Sélectionnez toutes les réponses correctes.

Lire vos scores avec du recul

Un chiffre unique est un début, mais la façon de le regarder compte.

Suivez-le dans le temps. Enregistrez la moyenne de chaque exécution. Un tableur suffit. Quand le score passe de 0,85 à 0,72 après avoir « amélioré » le prompt, vous revenez en arrière.

Regardez les échecs, pas la moyenne. La moyenne de 0,83 masque les cas qui ont échoué. Lisez toujours les pires. C'est là que vous apprenez ce qui pose problème à votre IA : avis longs, sarcasme, langues multiples.

Ajoutez volontairement des cas difficiles. Quand un utilisateur signale un mauvais résumé, ne vous contentez pas de le corriger. Ajoutez-le à votre test set comme cas permanent. Votre eval devient plus fine à chaque problème. Cette collection est parfois appelée golden set : votre banque d'exemples de référence.

Fixez votre seuil de réussite. 0,83 suffit-il pour mettre en production ? Cela dépend des enjeux. Pour résumer des mèmes, oui. Pour résumer des instructions médicales, absolument pas. Vous fixez le seuil en fonction du coût d'une erreur.

Un mot sur l'état d'esprit

Les evals ressemblent à du travail en plus quand vous avez hâte de livrer. Ce n'est pas un surcoût. C'est ce qui vous permet d'aller vite sans rien casser en silence.

Pensez à la cuisine. Goûter le plat une fois, c'est « ça avait l'air bien ». Une recette avec des ingrédients pesés et un minuteur, c'est une eval. La recette vous permet de refaire le même bon plat cent fois, et de l'améliorer de façon délibérée.

Commencez de façon ridiculement modeste. Dix cas de test et une vérification par mots-clés valent mieux que rien. Vous pourrez toujours étoffer.

Si vous voulez un guide plus approfondi mais toujours lisible, la documentation OpenAI Evals explique comment lancer des evals structurées avec leurs outils, et les concepts s'appliquent à n'importe quel modèle.

Et avec ChatGPT, Claude et Gemini ?

Vous n'avez pas toujours besoin de code. Si vous prototypez dans l'interface de chat, vous pouvez mener une eval légère à la main :

  1. Collez votre prompt de résumé.
  2. Soumettez-lui vos 10 avis de test un par un.
  3. Pour chacun, posez-vous les paires question-réponse et comptez les réussites et les échecs.

Les trois principaux outils (ChatGPT, Claude et Gemini) permettent aussi d'importer un fichier d'exemples et de demander au modèle de noter son propre lot selon une grille que vous rédigez. C'est un LLM-as-judge manuel. C'est plus lent que le code mais cela ne demande aucune configuration, et c'est une très bonne façon de commencer avant d'automatiser.

L'état d'esprit est le même partout : définissez ce que « bon » signifie en termes concrets et vérifiables avant de faire confiance à l'output.

Points clés

  • Remplacez « ça a l'air bien » par un chiffre. Construisez un petit test set d'inputs accompagnés des faits qu'un bon output doit contenir, puis notez par rapport à ce référentiel.
  • Commencez petit et rudimentaire. Dix cas de test avec une simple correspondance par mots-clés valent infiniment mieux qu'aucune eval. Vous étofferez plus tard.
  • Relancez votre eval après chaque changement de prompt ou de modèle, et suivez le score dans le temps pour détecter les régressions silencieuses.
  • Lisez les échecs, pas seulement la moyenne. Ajoutez chaque mauvais cas réel à votre golden set pour que votre eval s'affine avec le temps.
  • Adaptez votre seuil de réussite aux enjeux. Un résumé de mèmes et un résumé de posologie ne méritent pas le même seuil.

À faire, tiré de cette leçon

Ces actions sont compilées dans le plan d'action du rôle.

  • Annoter 100 exemples réels à la main et évaluer les résultats face à ces annotations
  • Relancez votre eval après chaque changement de prompt ou de modèle
Voir le plan d'action complet →

Articles liés

Les articles récents du blog qui s'appuient sur cette leçon.