Température, tokens, contexte : ce que tout utilisateur d'IA devrait comprendre sur le fonctionnement des LLMs

Un juriste d'affaires demande à ChatGPT de rédiger une clause de non-concurrence. Le résultat est correct mais générique. Il reformule sa demande, ajoute le contexte du secteur, précise la juridiction et le profil du salarié concerné. Le second résultat est directement utilisable. Le modèle n'a pas changé entre les deux tentatives. Ce qui a changé, c'est la qualité de l'information fournie en entrée. C'est là que se joue l'essentiel.

La plupart des formations sur l'IA s'attardent sur les cas d'usage ou les interfaces. Elles évitent les mécanismes internes, au motif que cela serait trop technique. C'est une erreur. Quelques notions de base, accessibles sans formation en informatique, suffisent à expliquer pourquoi un modèle répond bien dans certaines conditions et produit des résultats médiocres dans d'autres.

Ce que font réellement les LLMs quand ils génèrent du texte

Un grand modèle de langage (LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Voir la définition complète →, pour Large Language ModelLarge Language ModelA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Voir la définition complète →) ne "comprend" pas au sens humain du terme. Il prédit le tokentokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Voir la définition complète → suivant le plus probable, à partir du contexte disponible. Un token correspond approximativement à trois quarts d'un mot en français. GPT-4 d'OpenAI, Claude 3.5 Sonnet d'Anthropic ou Gemini 1.5 Pro de Google opèrent tous sur ce même principe, avec des variantes architecturales importantes mais un mécanisme fondateur identique.

Ce qui distingue concrètement les modèles récents de leurs prédécesseurs, c'est avant tout la taille de leur fenêtre de contexte. En 2026, les modèles commerciaux courants gèrent entre 128 000 et 1 million de tokenstokensA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Voir la définition complète → de contexte. Gemini 1.5 Pro affiche une fenêtre de 1 million de tokens, ce qui correspond à peu près à dix romans de longueur moyenne. Cela signifie qu'un modèle peut traiter simultanément un contrat entier, l'historique d'une négociation et une jurisprudence de référence, sans perdre le fil. Mais cela ne signifie pas qu'il traite toutes ces informations avec la même attention : les études publiées par des équipes de recherche indépendantes, notamment à Stanford, montrent que les LLMs tendent à mieux retenir les éléments placés en début et en fin de contexte, un phénomène parfois appelé "lost in the middle".

Le paramètre dit de température mérite aussi d'être compris. Il contrôle le degré de variabilité dans les prédictions du modèle. Une température basse (proche de zéro) produit des réponses déterministes et conservatrices. Une température élevée favorise des formulations plus crcrThe percentage of visitors or prospects who complete a desired action (purchase, sign-up, contact form), calculated as conversions divided by total opportunities.Voir la définition complète →éatives mais aussi plus imprévisibles. Pour un résumé juridique ou une extraction de données structurées, une température basse est préférable. Pour générer des options de positionnementpositionnementThe mental space you want your brand to occupy in your target customer's mind relative to alternatives.Voir la définition complète → marketing ou brainstormer des noms de produit, une température plus haute donne de meilleurs résultats. La plupart des interfaces grand public ne donnent pas accès à ce paramètre directement, mais certaines plateformes comme l'APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Voir la définition complète → OpenAI ou Claude.ai en version avancée permettent de l'ajuster.

Ce que cela change pour l'utilisateur au quotidien

La fenêtre de contexte et la température ne sont pas des curiosités techniques. Elles ont des implications directes sur la façon de construire ses prompts et d'organiser son travail avec un LLM.

Première implication : la qualité du contexte fourni est le levier le plus puissant dont dispose un utilisateur non-technique. Avant de rédiger une instruction, il faut se demander quelles informations le modèle ne peut pas deviner. Secteur d'activité, contraintes réglementaires, audience cible, format attendu, exemples de ce qu'on cherche : chaque élément ajouté réduit l'espace des réponses génériques. Un modèle comme GPT-4o ou Claude 3.7 ne devient pas plus intelligent quand on lui donne ce contexte, mais il oriente ses prédictions vers des portions de son espace de connaissances beaucoup plus pertinentes.

Deuxième implication : la taille de la fenêtre de contexte change la stratégie de travail sur des documents longs. Il n'est plus nécessaire de découper manuellement un rapport annuel en morceaux pour l'analyser. On peut injecter le document entier et poser des questions précises sur son contenu. Cela dit, un utilisateur avisé place les informations les plus critiques au début ou à la fin de son prompt, pas au milieu d'un long bloc de texte.

Troisième implication, souvent négligée : les LLMs ne disposent pas d'une mémoire persistante entre les sessions, sauf si la plateforme l'implémente explicitement. ChatGPT avec la fonctionnalité "Memory" activée, ou des outils comme Notion AI dans leurs versions entreprise, gèrent une forme de persistance. Mais par défaut, chaque conversation repart de zéro. Pour des flux de travail récurrents, cela justifie de maintenir des "blocs de contexte" réutilisables : un paragraphe décrivant son entreprise, son rôle, ses contraintes habituelles, que l'on colle systématiquement en début de prompt.

Quelques pratiques concrètes à mettre en place

• Construire une bibliothèque personnelle de blocs de contexte : un pour son secteur, un pour son rôle, un pour les contraintes spécifiques d'un projet en cours. Cela prend une heure à rédiger et fait gagner du temps à chaque utilisation.
• Tester systématiquement deux niveaux de contexte sur une même tâche. Envoyer d'abord une instruction courte, observer le résultat, puis enrichir le contexte et comparer. Cet exercice, fait une fois sur un vrai cas de travail, ancre la compréhension mieux que n'importe quelle lecture théorique.
• Pour des tâches d'extraction ou de structuration de données (résumer un contrat, identifier des engagements chiffrés dans un document), préférer les modèles accessibles via API avec une température basse plutôt que les interfaces conversationnelles grand public dont les paramètres sont figés.
• Ne pas traiter les résultats d'un LLM comme une source primaire. Les modèles "hallucinent" des faits avec une confiance rhétorique identique à celle qu'ils affichent sur des informations correctes. Sur tout élément factuel à enjeu, une vérification indépendante reste nécessaire.
• Prendre en compte la date de coupure des données d'entraînement. La plupart des modèles commerciaux majeurs ont une connaissance du monde arrarrAnnual Recurring Revenue (ARR) is the normalized, predictable revenue a subscription business expects to earn from active contracts over a single year.Voir la définition complète →êtée à une date précise. GPT-4o, selon la documentation publiée par OpenAI (éditeur du modèle, chiffres à croiser), avait une coupure à début 2024. Pour des sujets d'actualité, il faut soit utiliser des modèles avec accès web, soit injecter soi-même les informations récentes dans le contexte.

Comprendre ces mécanis