IAPrompt engineering

Donner à l'IA le bon contexte : ce que Morgan Stanley a compris avant les autres

Quand Morgan Stanley a déployé un assistant IA pour ses conseillers financiers, le projet a failli échouer non par manque d'information fournie au modèle, mais par excès. L'histoire de ce déploiement illustre une règle que beaucoup de professionnels apprennent à leurs dépens : ce qui compte, c'est la pertinence du contexte, pas son volume.

En 2023, Morgan Stanley a lancé un assistant interne basé sur GPT-4, développé en partenariat avec OpenAI, pour donner à ses quelque 16 000 conseillers financiers un accès rapide à une base documentaire de plus de 100 000 pages de recherches, notes de marché et procédures internes. L'objectif était simple : réduire le temps passé à chercher de l'information et permettre aux conseillers de se concentrer sur leurs clients.

Le problème est apparu dès les premières semaines de test. Les conseillers qui obtenaient les réponses les moins utiles n'étaient pas ceux qui posaient les mauvaises questions. C'était ceux qui, par réflexe, incluaient tout ce qu'ils savaient dans leurs requêtes : le contexte du client, l'historique du portefeuille, trois questions en une, des nuances sur la réglementation fiscale et une demande de synthèse finale. Le modèle produisait alors des réponses longues, génériques, qui tentaient d'adresser chaque élément sans en traiter aucun avec précision.

Ce que l'équipe a fait

L'équipe projet de Morgan Stanley, travaillant avec les ingénieurs d'OpenAI, a identifié le problème comme un problème de design de prompt, non de capacité du modèle. Leur réponse a pris trois formes concrètes.

La première décision a été de structurer le contexte autour de la tâche immédiate, pas du tableau complet. Plutôt que de demander aux conseillers de décrire la situation globale d'un client avant de poser leur question, l'interface a été repensée pour les forcer à formuler une requête unique et délimitée. Un conseiller qui veut savoir quelle allocation obligataire recommander pour un client de 58 ans en phase de transition vers la retraite n'a pas besoin que le modèle connaisse aussi les préférences ESG du client ou son historique de rendement sur dix ans, sauf si ces éléments modifient directement la réponse.

La deuxième décision concernait les métadonnées de contexte plutôt que le contenu brut. Au lieu de coller des extraits de documents dans le prompt, l'équipe a configuré un système de retrieval (RAG, pour retrieval-augmented generation) qui sélectionne les passages les plus pertinents selon la requête formulée. Le conseiller ne choisit pas ce que le modèle lit. Le système le fait, selon des critères de pertinence sémantique. Cela a réduit la fenêtre de contexte active tout en augmentant la précision des réponses.

La troisième décision touche à la formation des utilisateurs. Morgan Stanley a produit des guides internes montrant la différence entre un prompt surchargé et un prompt ciblé, avec des exemples tirés des cas d'usage les plus fréquents. Ce n'est pas de la pédagogie abstraite sur les LLM : c'est une formation métier, ancrée dans des situations que les conseillers reconnaissent.

Les résultats

Morgan Stanley a communiqué publiquement sur plusieurs métriques, avec une prudence appropriée sur leur interprétation. Selon les déclarations de Jeff McMillan, alors responsable des données et de l'analytique chez Morgan Stanley Wealth Management, les conseillers utilisant l'assistant réduisaient de façon notable le temps consacré à la recherche documentaire interne. Des chiffres précis de productivité n'ont pas été publiés de façon indépendante et vérifiable, ce qui oblige à traiter les estimations internes avec réserve.

Ce qui est documenté de manière plus fiable : le taux d'adoption. Morgan Stanley a indiqué que l'outil a atteint un taux d'utilisation régulière élevé parmi les conseillers, ce qui est rare pour un outil interne de ce type dans les douze premiers mois. Ce chiffre est significatif parce que les outils internes d'IA déployés sans travail de design de prompt ont typiquement des taux d'abandon élevés après les premières semaines.

L'autre résultat mesurable est indirect : les équipes de formation ont rapporté une baisse des escalades vers le support humain pour des questions documentaires standards. Si un conseiller trouve la réponse via l'assistant, il ne sollicite pas un analyste junior. Ce temps libéré a une valeur réelle, même difficile à quantifier avec précision.

Ce qui se transfère, et où votre situation diffère

La leçon centrale de Morgan Stanley n'est pas technologique. C'est une leçon sur la discipline du contexte.

Quand on utilise un LLM au quotidien, que ce soit ChatGPT, Claude, Gemini ou un outil interne, le réflexe naturel est de fournir le maximum d'information pour "sécuriser" la réponse. Ce réflexe est contre-productif. Un modèle qui reçoit dix paramètres quand la tâche n'en nécessite que deux va pondérer ces dix paramètres, produire une réponse qui essaie d'être fidèle à tous, et finir par manquer l'essentiel.

La question à se poser avant chaque prompt n'est pas "qu'est-ce que le modèle doit savoir ?", mais "qu'est-ce qui change la réponse si je l'inclus ?". Si un élément de contexte ne modifie pas la réponse attendue, il dilue l'attention du modèle sans apporter de valeur.

Quelques applications directes :

  • Pour une tâche de rédaction, précisez le format de sortie et le public cible. Pas l'historique complet du dossier.
  • Pour une analyse, définissez l'angle que vous voulez traiter. Une question large ("analyse ce marché") produit une réponse large et peu actionnable.
  • Pour un travail de synthèse, indiquez ce que vous allez faire de la synthèse. Le modèle calibre différemment selon que c'est pour une note interne ou une présentation client.

Là où votre situation diffère de Morgan Stanley : vous n'avez probablement pas un système RAG qui filtre automatiquement les documents pertinents. Vous gérez ce filtrage manuellement. Cela exige encore plus de rigueur sur ce que vous décidez d'inclure, parce que chaque élément collé dans un prompt est un choix actif, pas une sélection automatisée.

Morgan Stanley avait aussi les ressources pour reformer 16 000 personnes avec des supports métier. Si vous formez une équipe plus petite, l'investissement est proportionnellement plus simple : quelques exemples concrets tirés de vos propres cas d'usage suffisent à changer les habitudes.

Le principe reste le même dans les deux cas. Un prompt qui donne moins de contexte mais le bon contexte produit une réponse plus utile qu'un prompt exhaustif. Ce n'est pas une question de confiance dans le modèle, c'est une question de clarté sur ce que vous demandez.

Vous avez lu cet article ?

Validez votre lecture pour gagner de l’XP et alimenter votre radar.