Température, top-p, contexte : ce que chaque professionnel devrait comprendre sur le fonctionnement des LLMs

Un directeur financier demande à GPT-4o d'analyser un contrat de 40 pages. Il obtient un résumé vague et générique. Sa collègue, responsable juridique, pose la même question avec un contexte structuré et des instructions précises : elle obtient une analyse clause par clause avec des signaux d'alerte identifiés. Même modèle, même document, résultats incomparables. La différence ne vient pas du modèle. Elle vient de la compréhension de ce que le modèle fait réellement.

Ce que font vraiment les LLMs quand ils génèrent du texte

Un grand modèle de langage ne "réfléchit" pas. Il prédit. À chaque étape, il calcule la probabilité de chaque mot possible dans la suite du texte, en fonction de tout ce qui précède, et choisit parmi les candidats les plus probables. Cette prédiction statistique repose sur des milliards de paramètres appris pendant l'entraînement, sur des corpus textuels représentant plusieurs billions de tokenstokensA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Voir la définition complète →.

Trois paramètres techniques gouvernent directement la qualité et la nature des sorties.

Latempérature contrôle la dispersion de la distribution de probabilité. À 0, le modèle choisit toujours le tokentokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Voir la définition complète → le plus probable : sorties prévisibles, répétitives, utiles pour la classification ou l'extraction de données structurées. À 1 ou au-delà, la distribution s'aplatit, le modèle explore des options moins probables, ce qui favorise la crcrThe percentage of visitors or prospects who complete a desired action (purchase, sign-up, contact form), calculated as conversions divided by total opportunities.Voir la définition complète →éativité mais augmente le risque d'hallucinations. Pour un usage professionnel standard, une température entre 0,2 et 0,5 offre un équilibre raisonnable.

Le top-p (aussi appelé nucleus sampling) fonctionne différemment : il restreint le choix aux tokens dont la probabilité cumulée atteint le seuil défini. Un top-p de 0,9 signifie que le modèle ne considère que les tokens qui constituent les 90 % supérieurs de la masse de probabilité. Combiné à la température, ce paramètre affine la cohérence des sorties longues, notamment dans les rapports ou les analyses sectorielles.

La fenêtre de contexte mérite une attention particulière. GPT-4o propose 128 000 tokens de contexte, Claude 3.5 Sonnet d'Anthropic peut aller jusqu'à 200 000 tokens, et Gemini 1.5 Pro de Google (selon les configurations commerciales disponibles en 2026) peut atteindre 1 million de tokens dans certains cas. Mais une fenêtre large ne garantit pas une attention uniforme : des travaux de recherche publiés par des équipes universitaires, notamment à Stanford et à l'Université de Toronto, ont documenté le phénomène dit "lost in the middle", où les informations placées au centre d'un long document sont traitées moins fidèlement que celles en début et en fin de contexte. Placer les informations critiques au début du prompt reste donc une bonne pratique, indépendamment de la taille de la fenêtre.

Ce que ça change pour l'utilisateur d'IA au quotidien

La conséquence directe de ces mécanismes est que la formulation du prompt n'est pas une question de style, c'est une question de pilotage du modèle. Quatre éléments structurent un prompt efficace.

Le rôle assigné au modèle conditionne le registre et le cadre de référence. "Tu es un analyste crédit senior dans une banque européenne" produit des réponses différentes de "réponds à mamaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Voir la définition complète → question" parce que le modèle active des patterns linguistiques et conceptuels associés à ce profil dans ses données d'entraînement.

Les instructions de format réduisent l'ambiguïté de sortie. Demander "liste les risques sous forme de tableau avec deux colonnes : risque et impact estimé" génère quelque chose d'exploitable directement. Sans cette contrainte, le modèle choisira librement une structure narrative qui peut être utile ou non selon le contexte.

Les exemples fournis dans le prompt (ce qu'on appelle le few-shot promptingpromptingPrompt engineering is the practice of designing and refining text inputs to guide large language models toward accurate, relevant, and reliable outputs.Voir la définition complète →) fonctionnent comme des calibreurs. Si vous montrez deux exemples de la façon dont vous voulez qu'un email de relance client soit rédigé, le modèle s'aligne sur ce registre bien plus efficacement qu'avec n'importe quelle description verbale du ton souhaité.

La gestion de la mémoire est souvent sous-estimée. Les LLMs n'ont pas de mémoire native entre les sessions, sauf quand l'application ajoute cette couche explicitement. Dans ChatGPT avec la fonction mémoire activée, OpenAI stocke des résumés que le modèle réinjecte en contexte. Dans une APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Voir la définition complète → directe, chaque appel repart de zéro. Confondre les deux peut mener à des résultats incohérents dans un workflow qui suppose une continuité.

Un dernier point souvent ignoré : le modèle répond à ce qui est dans le contexte, pas à ce que l'utilisateur avait en tête. L'implicite n'existe pas pour un LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Voir la définition complète →. Si le contexte métier, les contraintes, le public cible ou le format final ne sont pas explicités, le modèle comble les lacunes avec ce qui est statistiquement le plus probable, ce qui correspond rarement à votre situation spécifique.

Pour travailler plus efficacement avec un LLM dès maintenant

• Commencez chaque prompt complexe par le contexte métier, pas par la demande. "Contexte : je prépare un comité de direction pour une PME industrielle de 200 personnes. Objectif : synthétiser ces trois rapports en 5 points actionnables pour un public non technique" oriente le modèle avant qu'il ne commence à générer.
• Testez la température si vous avez accès à l'API ou à des interfaces avancées. Pour extraire des données structurées, passez à 0,1 ou 0,2. Pour générer des options créatives en brainstorming, montez à 0,8.
• Placez toujours l'information la plus importante en début de contexte, surtout quand vous collez un document long. Ce conseil contre-intuitif découle directement de la recherche sur l'attention dans les transformeurs.
• Utilisez des séparateurs visuels dans vos prompts (----, des balises XML comme `<document>`, ou des titres en majuscules) pour délimiter les sections. Les modèles modernes gèrent mieux les prompts structurés que les blocs de texte continu.
• Méfiez-vous des confirmations enthousiastes. Un LLM qui dit "absolument, voici une analyse complète" n'a aucun mécanisme interne pour évaluer si son analyse est juste. La validation externe reste indispensable pour tout élément factuel critique.

Comprendre ces mécanismes de base ne demande pas de formation en machine learning. Cela demande de traiter le LLM comme un outil avec des caractéristiques précises, pas comme un interlocuteur omniscient. Les professionnels qui obtiennent des résultats régulièrement bons avec ces outils ne sont pas ceux qui utilisent le modèle le plus récent : ce sont ceux qui savent exactement comment le configurer et le solliciter.