Bloomberg et les LLM : pourquoi ils ont choisi le fine-tuning plutôt que le RAG, et ce que ça révèle

En 2023, Bloomberg a publié un article de recherche décrivant BloombergGPT, un modèle de langage de 50 milliards de paramètres entraîné sur un corpus financier propriétaire de 363 milliards de tokenstokensA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Voir la définition complète →, complété par 345 milliards de tokens de texte général. L'objectif était direct : disposer d'un modèle qui comprenne la terminologie financière, les conventions du secteur et les nuances du langage boursier sans avoir à enrichir chaque requête avec des documents contextuels. Bloomberg avait le corpus, les ressources de calcul et une définition précise du domaine. La question n'était pas "LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Voir la définition complète → ou pas LLM", mais "comment adapter un LLM à nos besoins".

Ce choix mérite d'être examiné de près, parce que Bloomberg disposait aussi des conditions techniques pour déployer une architecture RAG (Retrieval-Augmented Generation). Les deux options étaient sur la table. Comprendre pourquoi ils ont tranché en faveur du fine-tuningfine-tuningFine-tuning adapts a pre-trained model to a specific task or domain by continuing training on a smaller, targeted dataset, improving accuracy and style for that use case.Voir la définition complète → dit autant sur les limites du RAG que sur ses forces.

Ce qu'ils ont fait

L'équipe Bloomberg a constitué un corpus appelé FinPile, regroupant des dépêches financières, des rapports de résultats, des communiqués de presse, des formulaires réglementaires SEC et des données issues de terminaux Bloomberg. Ce corpus couvre des décennies de production textuelle financière, rédigée dans un registre très spécifique que les modèles généralistes comme GPT-3 ou les versions antérieures de LLaMA ne mamaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Voir la définition complète →îtrisaient pas avec suffisamment de précision.

Le fine-tuning ici n'est pas un simple ajustement de quelques couches. C'est un pré-entraînement complet sur ce corpus, une opération coûteuse en GPU-heures et en ingénierie de données. Bloomberg a choisi cette voie pour deux raisons distinctes.

La première tient à la nature du savoir recherché. Les conventions financières, les abréviations sectorielles, la syntaxe des rapports de résultats ou la signification d'un "guidance cut" ne sont pas des faits récupérables dans un document. Ce sont des patterns linguistiques et sémantiques qui doivent être intégrés dans les poids du modèle. Un système RAG qui retrouve les bons documents ne suffit pas si le modèle ne sait pas lire ces documents comme un analyste le ferait.

La deuxième raison est la cohérence des performances sur des tâches de classification, d'analyse de sentiment financier et d'extraction d'entités nommées. Ces tâches sont répétitives, définies avec précision et peu sensibles à l'actualité immédiate. Le RAG apporte de la valeur quand la réponse dépend d'un document récent et spécifique. Pour classer le ton d'un communiqué de résultats, le modèle a besoin de comprendre le domaine, pas de retrouver un fichier.

Les résultats

D'après l'article de recherche Bloomberg publié en mars 2023, BloombergGPT surpasse les modèles généralistes de taille comparable sur cinq benchmarks financiers : FiQA SA, PhraseBank, Headline, NER (entités nommées financières) et ConvFinQA. Sur certains de ces benchmarks, la marge est significative. Sur d'autres, elle reste modérée, ce qui confirme que le fine-tuning sur domaine ne produit pas de miracles uniformes.

Il faut noter une limite claire dans la communication de Bloomberg : les performances en production, sur des cas d'usage réels internes, ne sont pas publiées. Les chiffres disponibles sont ceux des benchmarks académiques, qui mesurent des capacités spécifiques dans des conditions contrôlées. L'impact business réel, le gain de productivité des analystes ou la réduction du temps de traitement documentaire, n'a pas été rendu public.

Bloomberg n'a pas non plus affirmé que BloombergGPT remplace un système RAG pour des requêtes sur des données de marché temps réel. Ces deux architectures adressent des problèmes différents, et l'entreprise le sait.

Ce qui se transfère

La décision de Bloomberg repose sur trois critères qui se vérifient dans d'autres contextes.

Le premier : le domaine est linguistiquement distinct du langage général. Si votre secteur produit des textes avec des conventions, des abréviations ou des raisonnements que les modèles généralistes traitent mal, le fine-tuning sur un corpus représentatif produit des gains mesurables. C'est vrai en finance, en droit, en pharmacovigilance, en ingénierie industrielle.

Le deuxième : les tâches cibles sont stables et répétitives. Le fine-tuning optimise un modèle pour un ensemble de tâches définies. Si ces tâches changent fréquemment, vous réentraînez souvent, ce qui coûte cher. Si elles sont stables, l'investissement initial se rentabilise.

Le troisième : le corpus d'entraînement existe et est de qualité contrôlée. Bloomberg avait des décennies de données propriétairesdonnées propriétairesData collected directly from your own customers and prospects through your own channels: your most reliable and privacy-compliant source.Voir la définition complète →, nettoyées et structurées. Sans ce corpus, le fine-tuning produit soit peu d'effet, soit des comportements non souhaitables par mémorisation de bruit.

À l'inverse, le RAG s'impose quand la réponse correcte dépend d'un document récent, spécifique ou confidentiel que le modèle ne peut pas avoir vu lors de l'entraînement. Un contrat signé hier, un rapport interne mis à jour la semaine dernière, une réglementation publiée ce mois-ci : ces éléments n'existent pas dans les poids d'un modèle, qu'il soit généraliste ou fine-tuné. Le RAG les injecte au moment de l'inférence.

Pour la majorité des entreprises qui n'ont ni le corpus de Bloomberg ni son budget GPU, l'architecture hybride est la voie réaliste : un modèle généraliste (GPT-4o, Claude 3.5, Gemini 1.5 Pro) combiné à un système de récupération documentaire bien construit. Le fine-tuning intervient en complément, sur des tâches très définies, quand les gains justifient le coût.

Ce que Bloomberg illustre aussi, c'est que la question "fine-tuning ou RAG" est souvent mal posée. Les deux techniques adressent des lacunes différentes. Le fine-tuning corrige ce que le modèle ne sait pas faire. Le RAG lui donne accès à ce qu'il ne peut pas savoir. Une architecture d'entreprise mature combine les deux en fonction de la nature du problème, pas par préférence technologique.

Le cas Bloomberg reste une référence utile parce qu'il documente publiquement une décision d'architecture avec ses hypothèses explicites. Pour toute équipe qui affronte ce choix en 2026, la vraie question à poser n'est pas laquelle des deux options est meilleure en général, mais laquelle des deux lacunes, ignorance du domaine ou absence d'information récente, est le vrai goulot d'étranglement dans votre cas précis. La réponse à cette question détermine l'architecture, le