Tokens, entraînement et inférence : ce qui se passe quand vous appuyez sur Entrée
Tapez « Paris est la capitale de » dans ChatGPT, Claude ou Gemini, et le modèle complétera presque à coup sûr par « la France ». Nous détaillons pourquoi le modèle fait cela dans « Ce que fait réellement un modèle : prédire, pas comprendre ».
Cette leçon ouvre le capot. Trois notions expliquent tout le pipelinepipelineL'ensemble des opportunités commerciales actives réparties selon les étapes du processus de vente, avec leur valeur potentielle cumulée et leur probabilité de conclusion.Voir la définition complète → : les tokenstokensUn token est l'unité de base de texte que traitent les modèles de langage : le plus souvent un fragment de mot, un mot entier ou un signe de ponctuation, plutôt qu'un simple caractère.Voir la définition complète →, l'entraînement et l'inférenceinférenceLe moment où un modèle d'IA entraîné se met au travail : il reçoit une donnée nouvelle et produit une réponse, une prédiction ou un contenu.Voir la définition complète →.
Étape 1 : les tokens (comment le modèle lit)
Un grand modèle de langage (LLMLLMUn Large Language Model est un système d'IA entraîné sur d'énormes volumes de texte pour prédire et générer du langage, ce qui permet de rédiger, résumer ou répondre à des questions.Voir la définition complète →) ne lit pas les mots comme vous. Il découpe le texte en tokens : de petits fragments qui sont souvent des mots entiers, mais parfois des morceaux de mots.
Voici la surprise classique. Pour le modèle, le mot « strawberry » n'est pas une seule unité. Il est généralement lu comme quelque chose du genre « straw » + « berry ». C'est pour cela que les modèles ont longtemps eu du mal à compter les lettres de « strawberry » : ils n'ont jamais vu les lettres individuelles, seulement les fragments.
Règle approximative en anglais : 1 token correspond à environ 4 caractères, soit à peu près 3/4 d'un mot. 100 tokens représentent donc environ 75 mots.
Quelques exemples rapides de découpage :
- « cat » donne 1 token
- « unbelievable » donne « un » + « believ » + « able » (3 tokens)
- « GPT-4 » donne « G » + « PT » + « - » + « 4 » (plusieurs tokens)
- L'espace qui précède un mot fait généralement partie du token (« France » précédé d'une espace est différent de « France »)
Vous pouvez le constater vous-même avec l'outil Tokenizer gratuit d'OpenAI. Collez une phrase et regardez-la se découper en fragments colorés.
Pourquoi les tokens vous concernent
Les tokens sont l'unité de facturation et de limites. Quand un outil annonce une « fenêtre de contexte de 200 000 tokens », cela signifie qu'environ 150 000 mots tiennent dans une seule conversation. Quand une APIAPIApplication Programming Interface : une interface standardisée qui permet aux applications de communiquer et d'échanger des données sans connaître leur fonctionnement interne respectif.Voir la définition complète → facture « 3 $ par million de tokens en entrée », elle compte ces fragments, pas des mots.
À retenir en pratique : des prompts plus courts coûtent moins cher et laissent plus de place. Les comportements étranges en orthographe, en rimes ou pour compter des lettres viennent souvent de la tokenisation.
Étape 2 : l'entraînement (comment le modèle a appris)
Avant même que vous ne tapiez quoi que ce soit, le modèle a été entraîné. C'est un processus long et coûteux d'apprentissage sur d'énormes volumes de texte : livres, sites web, code, articles.
La tâche de base est d'une simplicité déconcertante. On montre au modèle une séquence de texte dont le dernier token est masqué, et il doit prédire le token suivant.
Montrez-lui « Le ciel est » et il apprend à prédire « bleu ». Montrez-lui « 2 + 2 = » et il apprend à prédire « 4 ». Répétez l'opération sur des milliers de milliards de tokens, des milliards de fois, et le modèle ajuste peu à peu ses réglages internes pour mieux deviner. Ces réglages s'appellent des paramètres : ce sont les nombres qu'il ajuste.
Personne n'a codé à la main la règle « Paris va avec la France ». Le modèle a vu ce schéma des millions de fois dans ses textes d'entraînement et a appris le lien statistique tout seul.
Deux phases à connaître
- Pré-entraînement : le modèle lit l'immense masse de texte et apprend à prédire le token suivant. On obtient un modèle « brut », riche en connaissances mais peu utile et peu poli.
- Fine-tuning et alignement : des humains et des retours automatisés apprennent au modèle à suivre des instructions, à être utile et à éviter les réponses nuisibles. C'est ce qui transforme un prédicteur de texte en ChatGPT. Les modèles récents reçoivent aussi un entraînement supplémentaire qui les récompense lorsqu'ils résolvent les problèmes étape par étape. Cet entraînement produit les modèles de « raisonnement » que vous verrez à l'étape 3.
C'est aussi pour cela que les modèles ont une date limite de connaissances. L'entraînement a eu lieu à un moment donné, donc un modèle peut ignorer les événements postérieurs à cette date, sauf s'il peut chercher sur le web. ChatGPT, Claude et Gemini proposent tous une recherche web en direct pour combler ce manque, mais les connaissances de base restent figées au moment de l'entraînement.
Étape 3 : l'inférence (ce qui se passe quand vous appuyez sur Entrée)
L'inférence est le moment de l'utilisation. Le modèle a fini d'apprendre et fait maintenant des prédictions pour vous en temps réel.
Voici la séquence complète quand vous appuyez sur Entrée :
- Votre prompt est découpé en tokens.
- Le modèle lit ces tokens et prédit un token suivant probable.
- Il ajoute ce token à la séquence, puis prédit le suivant.
- Il recommence, un token à la fois, jusqu'à juger la réponse terminée.
Vous voyez les mots défiler dans l'interface au fur et à mesure que la réponse s'affiche. C'est littéralement le modèle qui génère un token, puis le suivant, puis encore le suivant. Vous assistez à l'inférence en direct.
Réfléchir avant de répondre
Beaucoup des modèles que vous utilisez aujourd'hui sont des modèles de raisonnement, par exemple le mode thinking de GPT-5, Claude avec la réflexion étendue et les modèles thinking de Gemini. Ils prédisent toujours un token à la fois. La différence, c'est qu'ils génèrent d'abord une longue série de tokens de « réflexion » pour planifier, vérifier leur travail et essayer d'autres pistes, et seulement ensuite rédigent la réponse que vous voyez. Souvent, vous n'obtenez qu'un court résumé de ce raisonnement, ou un indicateur « Thinking... ».
Cela a deux effets pratiques. Les questions difficiles (maths, code, planification en plusieurs étapes) obtiennent des réponses nettement meilleures. Les réponses sont aussi plus lentes, et les tokens de réflexion cachés comptent dans votre facture API même si vous ne les lisez jamais. Pour une reformulation rapide ou un fait simple, un mode rapide sans réflexion suffit généralement.
Pourquoi le même prompt donne des réponses différentes
Si le modèle choisissait toujours le token le plus probable, il serait répétitif et mécanique. Il existe donc un réglage appelé température qui ajoute une part d'aléatoire mamaUtiliser un logiciel pour automatiser les tâches et campagnes marketing répétitives, afin de personnaliser à grande échelle sur des canaux comme l'email, le web et le social.Voir la définition complète →îtrisée.
- Température basse (proche de 0) : prévisible, ciblé, reproductible. Adapté aux tâches factuelles, au code, à l'extraction de données.
- Température élevée (proche de 1 ou au-delà) : varié, crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →éatif, surprenant. Adapté au brainstorming, aux idées d'histoires, aux textes marketing.
C'est pour cela que demander deux fois « donne-moi un slogan pour mon café » donne deux slogans différents. L'aléatoire est voulu. Une réserve : beaucoup de modèles de raisonnement fixent eux-mêmes leurs paramètres d'échantillonnage, et leurs API ignorent ou rejettent une valeur de température.
Voir l'inférence dans le code
Si vous voulez observer le pipeline concrètement, voici un court exemple exécutable avec l'API OpenAI. Il vous faut une clé API, et le même principe fonctionne avec les API Claude d'Anthropic et Gemini de Google.
from openai import OpenAI
client = OpenAI() # utilise votre clé API
response = client.chat.completions.create(
model="gpt-4.1-mini", # un modèle rapide sans raisonnement qui accepte la température
messages=[
{"role": "user", "content": "Paris is the capital of"}
],
temperature=0, # proche de zéro = token le plus probable, très prévisible
max_completion_tokens=5 # limite la réponse à quelques tokens
)
print(response.choices[0].message.content)
# Sortie attendue : FranceDeux points à noter. temperature=0 demande au modèle de jouer la sécurité et de choisir la suite la plus probable. max_completion_tokens=5 plafonne la longueur de la réponse en tokens, pas en mots, ce qui renvoie directement à l'étape 1. Avec un modèle de raisonnement, ce plafond doit aussi couvrir les tokens de réflexion cachés. Une limite de 5 vous laisserait avec une réponse vide.
Vérification des acquis
1. Pourquoi les modèles de langage ont-ils longtemps eu du mal à compter les lettres d'un mot comme « strawberry » ?
2. Un outil annonce une « fenêtre de contexte de 200 000 tokens ». Qu'est-ce que cela vous indique concrètement ?
3. D'après la leçon, quelle est la tâche de base que le modèle apprend pendant l'entraînement ?
4. Sélectionnez TOUTES les affirmations exactes sur les tokens et leur importance.
Sélectionnez toutes les réponses correctes.
5. Sélectionnez TOUS les enseignements pratiques qui découlent correctement du fonctionnement de la tokenisation.
Sélectionnez toutes les réponses correctes.
Synthèse : le pipeline complet
Voici un vrai prompt suivi de bout en bout. Vous tapez :
« Résume cet e-mail en une phrase : [colle un long e-mail] »
- Tokens : votre instruction et l'e-mail entier sont découpés en tokens. Un e-mail de 500 mots représente environ 650 tokens.
- Entraînement (déjà fait) : il y a longtemps, le modèle a appris ce que signifie « résumer » et comment un résumé est structuré, à partir d'innombrables exemples.
- Inférence : le modèle lit tous ces tokens et génère un résumé d'une phrase, un token à la fois, jusqu'à atteindre un point d'arrarrL'Annual Recurring Revenue (ARR) est le revenu normalisé et prévisible qu'une entreprise par abonnement attend de ses contrats actifs sur une année.Voir la définition complète →êt naturel. Un modèle de raisonnement peut d'abord réfléchir pendant quelques centaines de tokens.
Il n'y a aucune recherche dans une base. Le modèle fait de la très bonne prédiction du token suivant, façonnée par l'entraînement et exécutée par l'inférence.
Pourquoi ce modèle mental vous rend meilleur avec l'IA
Une fois que vous voyez le modèle comme un prédicteur du token suivant, beaucoup de conseils pratiques prennent sens :
- Donnez le contexte d'emblée. Le modèle prédit uniquement à partir des tokens qu'il a devant lui. Si vous ne collez pas l'e-mail, il ne peut pas le résumer. En dehors des fonctions visibles, comme les réglages de mémoire ou les fichiers téléversés, il n'a aucune connaissance cachée de vos documents.
- Les exemples orientent les prédictions. Montrer au modèle deux résumés types dans le style que vous préférez le pousse à prédire ce même style. C'est pour cela que « montrer plutôt que seulement dire » fonctionne si bien dans les prompts.
- Soyez précis pour restreindre les possibilités. « Écris un tweet » laisse la prédiction grande ouverte. « Écris un tweet de 280 caractères, ton amical, un emoji, pas de hashtags » contraint fortement la suite.
- Les hallucinations sont des prédictions trop sûres d'elles. Quand le modèle invente une fausse source, il prédit un texte qui *semble* juste d'après les schémas, même s'il est faux. Les modèles de raisonnement le font moins souvent, mais ils le font encore, alors vérifiez tout ce qui compte.
Pour une explication plus approfondie mais toujours lisible, l'article Wikipédia sur les grands modèles de langage est une référence solide et gratuite, qui reste assez accessible.
Points clés
- Le modèle lit en tokens, pas en mots. Environ 4 caractères par token. Cela détermine la facturation, les limites de contexte et des bizarreries comme les erreurs de comptage des lettres de « strawberry ». Essayez une fois l'outil Tokenizer pour le voir concrètement.
- L'entraînement, c'est la prédiction du token suivant à très grande échelle. Le modèle a appris des schémas comme « Paris va avec la France » en devinant le fragment suivant sur des milliers de milliards de tokens, pas en mémorisant une base de faits.
- L'inférence, c'est ce qui tourne quand vous appuyez sur Entrée : un token prédit à la fois, renvoyé vers vous en flux. Les modèles de raisonnement ajoutent d'abord une phase de réflexion cachée. Elle coûte du temps et des tokens supplémentaires, et elle est rentable sur les problèmes difficiles.
- Utilisez la température à dessein : basse pour un travail factuel et reproductible, élevée pour le brainstorming créatif. Attendez-vous à ce que les modèles de raisonnement ignorent ou rejettent ce réglage.
- Donnez au modèle du contexte et des exemples. Il ne prédit qu'à partir des tokens que vous lui fournissez, donc des prompts précis avec des exemples clairs produisent des réponses plus nettes.
À faire, tiré de cette leçon
Ces actions sont compilées dans le plan d'action du rôle.
- Rédigez des prompts précis, avec exemples, rôle et contraintes de format
- Réglez une température basse pour le factuel, haute pour le brainstorming créatif
- Calibrer la consommation de tokens par rapport aux limites de contexte avec le tokenizer
Articles liés
Les articles récents du blog qui s'appuient sur cette leçon.
- IALa dépense IA par employé recule : alerte ou ajustement normal ?En août 2026, les dépenses IA par employé ont chuté dans plusieurs grandes entreprises, au moment même où les hyperscalers misaient sur une adoption en accélération. Avant de conclure à un essoufflement, il faut regarder ce que ces chiffres mesurent réellement, et ce qu'ils occultent.
- IAFenêtre de contexte : ce que ce paramètre change concrètement dans votre travailLa fenêtre de contexte d'un LLM détermine combien d'information le modèle peut traiter en une seule fois. Comprendre ce mécanisme change radicalement la façon dont on structure ses prompts, ses workflows, et ses attentes.
- IACe qui arrive vraiment à vos données quand vous les confiez à un modèle d'IAChaque requête envoyée à un modèle d'IA embarque potentiellement des informations sensibles sur votre entreprise, vos clients ou vos contrats. Comprendre exactement où vont ces données et dans quelles conditions elles peuvent être réutilisées est devenu une compétence de base pour tout professionnel qui utilise ces outils.