Fine-Tuning
Aussi : Model fine-tuning, Domain adaptation, Supervised fine-tuning (SFT)
Le fine-tuning adapte un modèle pré-entraîné à une tâche ou un domaine précis en poursuivant son entraînement sur un jeu de données plus petit et ciblé, ce qui améliore la précision et le style pour ce cas d'usage.
De quoi il s'agit
Le fine-tuning consiste à reprendre un modèle déjà entraîné sur un large jeu de données généraliste (un modèle pré-entraîné ou foundation model) et à poursuivre son entraînement sur un jeu de données plus petit et ciblé. L'objectif est de spécialiser le modèle pour qu'il performe mieux sur une tâche, un domaine ou un style donné, sans entraîner un nouveau modèle de zéro.
Comme le modèle de base encode déjà des connaissances étendues (structures du langage, caractéristiques visuelles, raisonnement général), le fine-tuning n'a qu'à ajuster le modèle au nouvel objectif. C'est donc beaucoup moins cher et plus rapide qu'un entraînement complet.
Pourquoi c'est important
- Moins de coût et moins de données : vous réutilisez un pré-entraînement coûteux, si bien que quelques centaines à quelques milliers d'exemples annotés peuvent suffire.
- Meilleure performance sur la tâche : un modèle fine-tuné dépasse généralement un modèle générique sur les tâches de niche (résumés juridiques, codage médical, voix de marque).
- Cohérence : il permet de fixer un ton, un format ou un vocabulaire métier que le prompting seul a du mal à imposer de façon fiable.
Comment on l'utilise en pratique
1. Collecter les données : rassembler des paires entrée/sortie de qualité, représentatives de la tâche visée.
2. Choisir une méthode :
- Fine-tuning complet : mise à jour de tous les poids du modèle (le plus flexible, le plus coûteux).
- Parameter-efficient fine-tuning (PEFT) : mise à jour de petites couches d'adaptation uniquement, par exemple LoRA, la majorité des poids restant gelés.
3. Entraîner : lancer des epochs d'entraînement supplémentaires avec un learning rate faible pour ne pas effacer les connaissances antérieures (un risque appelé catastrophic forgetting).
4. Évaluer et déployer : valider sur des exemples mis de côté, puis mettre en production le modèle adapté.
Exemple concret
Une équipe support dispose d'un modèle de langage généraliste qui répond aux questions mais ne colle pas à leur produit. Elle prépare 1 500 tickets passés associés aux réponses d'agents validées. Après fine-tuning, le modèle répond avec la terminologie de l'entreprise, ses règles d'escalade et son ton. La précision mesurée en interne passe de 68 % à 91 %, et les réponses demandent moins de retouches.
Quand ne pas y recourir
Si le besoin est occasionnel ou si les connaissances changent souvent, le prompt engineering ou le retrieval augmented generation (RAG) seront peut-être moins chers et plus faciles à mettre à jour qu'un réentraînement.
Voir aussi
Questions fréquentes
Que signifie exactement le fine-tuning d'un modèle ?
Le fine-tuning consiste à reprendre un modèle déjà entraîné sur un grand jeu de données généraliste (modèle pré-entraîné ou foundation model) et à poursuivre son entraînement sur un jeu de données plus petit et ciblé, pour qu'il performe mieux sur une tâche, un domaine ou un style précis. Le modèle de base encode déjà des connaissances larges : il suffit de l'ajuster, ce qui coûte beaucoup moins cher qu'un entraînement complet. On parle aussi de domain adaptation ou de supervised fine-tuning (SFT).
Quand faut-il faire du fine-tuning plutôt que travailler ses prompts ou passer par du RAG ?
Le fine-tuning se justifie quand vous devez verrouiller un ton, un format ou un vocabulaire métier que le prompt seul n'impose pas de façon fiable, et quand la tâche est stable dans le temps. Si le besoin est ponctuel ou si la connaissance change souvent, le prompt engineering ou le retrieval augmented generation (RAG) coûtent moins cher et se mettent à jour bien plus facilement qu'un réentraînement.
Combien d'exemples annotés faut-il pour faire un fine-tuning ?
Quelques centaines à quelques milliers de paires entrée/sortie de bonne qualité suffisent souvent, puisque le pré-entraînement coûteux est réutilisé. La qualité et la représentativité des paires comptent davantage que le volume : elles doivent refléter la tâche telle qu'elle sera réellement utilisée. Dans un cas de support client, 1 500 tickets passés associés aux réponses validées des agents ont fait passer la précision de 68 % à 91 % en évaluation interne.
Quelle différence entre un full fine-tuning et LoRA ?
Le full fine-tuning met à jour tous les poids du modèle : c'est l'option la plus flexible et la plus coûteuse. LoRA relève du parameter-efficient fine-tuning (PEFT) : seules de petites couches d'adaptateurs sont entraînées, la majorité des poids restant gelés, ce qui réduit fortement les coûts de calcul et de stockage. Avec un budget contraint ou plusieurs variantes de tâche à servir, on commence en général par le PEFT.
Qu'est-ce que le catastrophic forgetting et comment l'éviter ?
Le catastrophic forgetting désigne la perte des connaissances générales acquises au pré-entraînement, effacées par un entraînement supplémentaire sur un jeu de données trop étroit. La précaution habituelle consiste à lancer les epochs additionnels avec un learning rate faible, puis à valider sur des exemples mis de côté avant tout déploiement. Les méthodes parameter-efficient, qui gèlent l'essentiel des poids, limitent aussi ce risque.