+140 XP

Tokens, entraînement et inférence : ce qui se passe quand vous appuyez sur Entrée

Tapez « Paris est la capitale de » dans ChatGPT, Claude ou Gemini, et le modèle complétera presque à coup sûr par « la France ». Nous détaillons pourquoi le modèle fait cela dans « Ce que fait réellement un modèle : prédire, pas comprendre ».

Cette leçon ouvre le capot. Trois notions expliquent tout le pipeline : les tokens, l'entraînement et l'inférence.

Étape 1 : les tokens (comment le modèle lit)

Un grand modèle de langage (LLM) ne lit pas les mots comme vous. Il découpe le texte en tokens : de petits fragments qui sont souvent des mots entiers, mais parfois des morceaux de mots.

Voici la surprise classique. Pour le modèle, le mot « strawberry » n'est pas une seule unité. Il est généralement lu comme quelque chose du genre « straw » + « berry ». C'est pour cela que les modèles ont longtemps eu du mal à compter les lettres de « strawberry » : ils n'ont jamais vu les lettres individuelles, seulement les fragments.

Règle approximative en anglais : 1 token correspond à environ 4 caractères, soit à peu près 3/4 d'un mot. 100 tokens représentent donc environ 75 mots.

Quelques exemples rapides de découpage :

  • « cat » donne 1 token
  • « unbelievable » donne « un » + « believ » + « able » (3 tokens)
  • « GPT-4 » donne « G » + « PT » + « - » + « 4 » (plusieurs tokens)
  • L'espace qui précède un mot fait généralement partie du token (« France » précédé d'une espace est différent de « France »)

Vous pouvez le constater vous-même avec l'outil Tokenizer gratuit d'OpenAI. Collez une phrase et regardez-la se découper en fragments colorés.

Pourquoi les tokens vous concernent

Les tokens sont l'unité de facturation et de limites. Quand un outil annonce une « fenêtre de contexte de 200 000 tokens », cela signifie qu'environ 150 000 mots tiennent dans une seule conversation. Quand une API facture « 3 $ par million de tokens en entrée », elle compte ces fragments, pas des mots.

À retenir en pratique : des prompts plus courts coûtent moins cher et laissent plus de place. Les comportements étranges en orthographe, en rimes ou pour compter des lettres viennent souvent de la tokenisation.

Étape 2 : l'entraînement (comment le modèle a appris)

Avant même que vous ne tapiez quoi que ce soit, le modèle a été entraîné. C'est un processus long et coûteux d'apprentissage sur d'énormes volumes de texte : livres, sites web, code, articles.

La tâche de base est d'une simplicité déconcertante. On montre au modèle une séquence de texte dont le dernier token est masqué, et il doit prédire le token suivant.

Montrez-lui « Le ciel est » et il apprend à prédire « bleu ». Montrez-lui « 2 + 2 = » et il apprend à prédire « 4 ». Répétez l'opération sur des milliers de milliards de tokens, des milliards de fois, et le modèle ajuste peu à peu ses réglages internes pour mieux deviner. Ces réglages s'appellent des paramètres : ce sont les nombres qu'il ajuste.

Personne n'a codé à la main la règle « Paris va avec la France ». Le modèle a vu ce schéma des millions de fois dans ses textes d'entraînement et a appris le lien statistique tout seul.

Deux phases à connaître

  1. Pré-entraînement : le modèle lit l'immense masse de texte et apprend à prédire le token suivant. On obtient un modèle « brut », riche en connaissances mais peu utile et peu poli.
  2. Fine-tuning et alignement : des humains et des retours automatisés apprennent au modèle à suivre des instructions, à être utile et à éviter les réponses nuisibles. C'est ce qui transforme un prédicteur de texte en ChatGPT. Les modèles récents reçoivent aussi un entraînement supplémentaire qui les récompense lorsqu'ils résolvent les problèmes étape par étape. Cet entraînement produit les modèles de « raisonnement » que vous verrez à l'étape 3.

C'est aussi pour cela que les modèles ont une date limite de connaissances. L'entraînement a eu lieu à un moment donné, donc un modèle peut ignorer les événements postérieurs à cette date, sauf s'il peut chercher sur le web. ChatGPT, Claude et Gemini proposent tous une recherche web en direct pour combler ce manque, mais les connaissances de base restent figées au moment de l'entraînement.

Étape 3 : l'inférence (ce qui se passe quand vous appuyez sur Entrée)

L'inférence est le moment de l'utilisation. Le modèle a fini d'apprendre et fait maintenant des prédictions pour vous en temps réel.

Voici la séquence complète quand vous appuyez sur Entrée :

  1. Votre prompt est découpé en tokens.
  2. Le modèle lit ces tokens et prédit un token suivant probable.
  3. Il ajoute ce token à la séquence, puis prédit le suivant.
  4. Il recommence, un token à la fois, jusqu'à juger la réponse terminée.

Vous voyez les mots défiler dans l'interface au fur et à mesure que la réponse s'affiche. C'est littéralement le modèle qui génère un token, puis le suivant, puis encore le suivant. Vous assistez à l'inférence en direct.

Réfléchir avant de répondre

Beaucoup des modèles que vous utilisez aujourd'hui sont des modèles de raisonnement, par exemple le mode thinking de GPT-5, Claude avec la réflexion étendue et les modèles thinking de Gemini. Ils prédisent toujours un token à la fois. La différence, c'est qu'ils génèrent d'abord une longue série de tokens de « réflexion » pour planifier, vérifier leur travail et essayer d'autres pistes, et seulement ensuite rédigent la réponse que vous voyez. Souvent, vous n'obtenez qu'un court résumé de ce raisonnement, ou un indicateur « Thinking... ».

Cela a deux effets pratiques. Les questions difficiles (maths, code, planification en plusieurs étapes) obtiennent des réponses nettement meilleures. Les réponses sont aussi plus lentes, et les tokens de réflexion cachés comptent dans votre facture API même si vous ne les lisez jamais. Pour une reformulation rapide ou un fait simple, un mode rapide sans réflexion suffit généralement.

Pourquoi le même prompt donne des réponses différentes

Si le modèle choisissait toujours le token le plus probable, il serait répétitif et mécanique. Il existe donc un réglage appelé température qui ajoute une part d'aléatoire maîtrisée.

  • Température basse (proche de 0) : prévisible, ciblé, reproductible. Adapté aux tâches factuelles, au code, à l'extraction de données.
  • Température élevée (proche de 1 ou au-delà) : varié, créatif, surprenant. Adapté au brainstorming, aux idées d'histoires, aux textes marketing.

C'est pour cela que demander deux fois « donne-moi un slogan pour mon café » donne deux slogans différents. L'aléatoire est voulu. Une réserve : beaucoup de modèles de raisonnement fixent eux-mêmes leurs paramètres d'échantillonnage, et leurs API ignorent ou rejettent une valeur de température.

Voir l'inférence dans le code

Si vous voulez observer le pipeline concrètement, voici un court exemple exécutable avec l'API OpenAI. Il vous faut une clé API, et le même principe fonctionne avec les API Claude d'Anthropic et Gemini de Google.

python
from openai import OpenAI

client = OpenAI()  # utilise votre clé API

response = client.chat.completions.create(
    model="gpt-4.1-mini",  # un modèle rapide sans raisonnement qui accepte la température
    messages=[
        {"role": "user", "content": "Paris is the capital of"}
    ],
    temperature=0,             # proche de zéro = token le plus probable, très prévisible
    max_completion_tokens=5    # limite la réponse à quelques tokens
)

print(response.choices[0].message.content)
# Sortie attendue : France

Deux points à noter. temperature=0 demande au modèle de jouer la sécurité et de choisir la suite la plus probable. max_completion_tokens=5 plafonne la longueur de la réponse en tokens, pas en mots, ce qui renvoie directement à l'étape 1. Avec un modèle de raisonnement, ce plafond doit aussi couvrir les tokens de réflexion cachés. Une limite de 5 vous laisserait avec une réponse vide.

Vérification des acquis

1. Pourquoi les modèles de langage ont-ils longtemps eu du mal à compter les lettres d'un mot comme « strawberry » ?

2. Un outil annonce une « fenêtre de contexte de 200 000 tokens ». Qu'est-ce que cela vous indique concrètement ?

3. D'après la leçon, quelle est la tâche de base que le modèle apprend pendant l'entraînement ?

CHOIX MULTIPLES

4. Sélectionnez TOUTES les affirmations exactes sur les tokens et leur importance.

Sélectionnez toutes les réponses correctes.

CHOIX MULTIPLES

5. Sélectionnez TOUS les enseignements pratiques qui découlent correctement du fonctionnement de la tokenisation.

Sélectionnez toutes les réponses correctes.

Synthèse : le pipeline complet

Voici un vrai prompt suivi de bout en bout. Vous tapez :

« Résume cet e-mail en une phrase : [colle un long e-mail] »
  1. Tokens : votre instruction et l'e-mail entier sont découpés en tokens. Un e-mail de 500 mots représente environ 650 tokens.
  2. Entraînement (déjà fait) : il y a longtemps, le modèle a appris ce que signifie « résumer » et comment un résumé est structuré, à partir d'innombrables exemples.
  3. Inférence : le modèle lit tous ces tokens et génère un résumé d'une phrase, un token à la fois, jusqu'à atteindre un point d'arrêt naturel. Un modèle de raisonnement peut d'abord réfléchir pendant quelques centaines de tokens.

Il n'y a aucune recherche dans une base. Le modèle fait de la très bonne prédiction du token suivant, façonnée par l'entraînement et exécutée par l'inférence.

Pourquoi ce modèle mental vous rend meilleur avec l'IA

Une fois que vous voyez le modèle comme un prédicteur du token suivant, beaucoup de conseils pratiques prennent sens :

  • Donnez le contexte d'emblée. Le modèle prédit uniquement à partir des tokens qu'il a devant lui. Si vous ne collez pas l'e-mail, il ne peut pas le résumer. En dehors des fonctions visibles, comme les réglages de mémoire ou les fichiers téléversés, il n'a aucune connaissance cachée de vos documents.
  • Les exemples orientent les prédictions. Montrer au modèle deux résumés types dans le style que vous préférez le pousse à prédire ce même style. C'est pour cela que « montrer plutôt que seulement dire » fonctionne si bien dans les prompts.
  • Soyez précis pour restreindre les possibilités. « Écris un tweet » laisse la prédiction grande ouverte. « Écris un tweet de 280 caractères, ton amical, un emoji, pas de hashtags » contraint fortement la suite.
  • Les hallucinations sont des prédictions trop sûres d'elles. Quand le modèle invente une fausse source, il prédit un texte qui *semble* juste d'après les schémas, même s'il est faux. Les modèles de raisonnement le font moins souvent, mais ils le font encore, alors vérifiez tout ce qui compte.

Pour une explication plus approfondie mais toujours lisible, l'article Wikipédia sur les grands modèles de langage est une référence solide et gratuite, qui reste assez accessible.

Points clés

  • Le modèle lit en tokens, pas en mots. Environ 4 caractères par token. Cela détermine la facturation, les limites de contexte et des bizarreries comme les erreurs de comptage des lettres de « strawberry ». Essayez une fois l'outil Tokenizer pour le voir concrètement.
  • L'entraînement, c'est la prédiction du token suivant à très grande échelle. Le modèle a appris des schémas comme « Paris va avec la France » en devinant le fragment suivant sur des milliers de milliards de tokens, pas en mémorisant une base de faits.
  • L'inférence, c'est ce qui tourne quand vous appuyez sur Entrée : un token prédit à la fois, renvoyé vers vous en flux. Les modèles de raisonnement ajoutent d'abord une phase de réflexion cachée. Elle coûte du temps et des tokens supplémentaires, et elle est rentable sur les problèmes difficiles.
  • Utilisez la température à dessein : basse pour un travail factuel et reproductible, élevée pour le brainstorming créatif. Attendez-vous à ce que les modèles de raisonnement ignorent ou rejettent ce réglage.
  • Donnez au modèle du contexte et des exemples. Il ne prédit qu'à partir des tokens que vous lui fournissez, donc des prompts précis avec des exemples clairs produisent des réponses plus nettes.

À faire, tiré de cette leçon

Ces actions sont compilées dans le plan d'action du rôle.

  • Rédigez des prompts précis, avec exemples, rôle et contraintes de format
  • Réglez une température basse pour le factuel, haute pour le brainstorming créatif
  • Calibrer la consommation de tokens par rapport aux limites de contexte avec le tokenizer
Voir le plan d'action complet →

Articles liés

Les articles récents du blog qui s'appuient sur cette leçon.