Quand Goldman Sachs a mis un chiffre sur l'IA et s'est retrouvé à tout recalculer

En 2023, l'équipe de recherche économique de Goldman Sachs publie une note qui fait le tour des salles de direction du monde entier. Le titre est sobre, le contenu ne l'est pas : l'IA générative pourrait affecter 300 millions de postes à temps plein dans les économies développées, et augmenter le PIB mondial de 7 % sur dix ans. Les directions générales s'emparent du document. Les budgets IA s'ouvrent. Les projets pilotes prolifèrent.

Puis vient une question que personne n'avait vraiment préparée : comment on mesure ça, concrètement, dans notre entreprise ?

Ce qui s'est passé ensuite, dans les faits

Goldman Sachs lui-même a fourni une réponse partielle, et elle mérite attention. La banque a déployé des outils de génération de code assistée par IA pour ses développeurs, en s'appuyant notamment sur des solutions du type de GitHub Copilot. Selon des déclarations publiques de dirigeants de la banque rapportées par Reuters et Bloomberg en 2023-2024, certaines tâches de développement auraient vu leur cadence s'améliorer de façon notable. Mais la banque a refusé de publier un ROIROIReturn on Investment: the ratio of net profit to the cost of an investment. A 300% ROI means each dollar invested returns $3.Voir la définition complète → global consolidé. Et ce refus est éloquent.

Pourquoi ? Parce que mesurer le retour sur investissementretour sur investissementReturn on Investment: the ratio of net profit to the cost of an investment. A 300% ROI means each dollar invested returns $3.Voir la définition complète → de l'IA dans un environnement professionnel réel est une opération qui résiste aux méthodes classiques. On ne dispose pas d'un groupe contrôle propre. Les gains de productivité se mélangent avec d'autres changements organisationnels. Et les coûts réels, incluant la formation, la gouvernance, les erreurs corrigées, les hallucinations gérées, ne sont presque jamais consolidés dans un seul poste comptable.

Ce que l'on sait, grâce à des sources indépendantes, est plus nuancé que les annonces de lancement. Selon une étude publiée par le MIT et Stanford en 2023 (Brynjolfsson, Li, Raymond), portant sur des agents de service client utilisant un outil d'assistance IA dans une grande entreprise anonymisée, la productivité moyenne a augmenté de 14 %. Fait notable : les gains les plus forts ont bénéficié aux agents les moins expérimentés, pas aux meilleurs. L'IA avait, en quelque sorte, transféré la compétence des experts vers les novices, ce qui n'était pas l'objectif annoncé du projet.

Chez Klarna, le cas a été abondamment relayé. La fintech suédoise a annoncé début 2024 que son assistant IA gérait l'équivalent du travail de 700 agents humains. Ce chiffre vient directement de Klarna (source commerciale et communication corporate), et il a depuis été questionné par plusieurs observateurs indépendants qui soulignent l'absence de méthodologie publiée et la tendance naturelle d'une entreprise en phase de valorisation à présenter ses résultats sous leur meilleur angle. À prendre avec prudence.

Pourquoi cet épisode révèle quelque chose de durable

Ce que la séquence Goldman-puis-tout-le-monde a mis en lumière, c'est que les entreprises ont adopté une logique de foi avant une logique de mesure. On croyait au potentiel, on déployait, et on comptait les gains après. Cette séquence est compréhensible sur le plan concurrentiel : attendre d'avoir un cadre de mesure parfait, c'est risquer de rater une fenêtre. Mais elle a crcrThe percentage of visitors or prospects who complete a desired action (purchase, sign-up, contact form), calculated as conversions divided by total opportunities.Voir la définition complète →éé un problème structurel.

Les directions financières se retrouvent aujourd'hui avec des budgets IA significatifs et des tableaux de bord qui mélangent des indicateurs incompatibles : temps gagné par tâche, satisfaction utilisateur, réduction de tickets support, taux d'adoption des outils. Aucun de ces indicateurs n'est faux en soi. Ensemble, ils ne permettent pas de répondre à la question simple qu'un CFO pose en comité de direction : est-ce que cet investissement vaut mieux que l'alternative ?

Le problème est aggravé par la structure des coûts. Les licences d'outils comme Microsoft Copilot ou les APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Voir la définition complète → OpenAI sont visibles en comptabilité. Les coûts cachés, temps de prompt engineeringprompt engineeringPrompt engineering is the practice of designing and refining text inputs to guide large language models toward accurate, relevant, and reliable outputs.Voir la définition complète →, adaptation des workflows, formation continue, gestion des erreurs et des biais, contrôle qualité humain sur les outputs, ne sont presque jamais attribués au projet IA. Ils se dissolvent dans les charges générales.

Selon une enquête de McKinsey publiée début 2025 (McKinsey Global Institute, source à usage analytique mais émanant d'un cabinet conseil avec ses propres intérêts commerciaux dans l'adoption IA, à croiser avec des sources académiques), moins de 30 % des entreprises ayant déployé de l'IA générative disposaient d'un cadre de mesure défini avant le déploiement. La majorité construisait ses métriques après coup.

Ce que vous pouvez en retenir

La leçon n'est pas d'attendre. C'est de définir, avant tout déploiement, trois choses précises : quelle est la tâche exacte que l'IA modifie, quel était le coût de référence de cette tâche sans IA (en temps, en erreurs, en ressources), et quel seuil de performance déclenche une décision de continuer, d'ajuster ou d'arrarrAnnual Recurring Revenue (ARR) is the normalized, predictable revenue a subscription business expects to earn from active contracts over a single year.Voir la définition complète →êter.

Cette approche ressemble à ce que les directions marketing font avec les tests A/B depuis des années. Elle n'a rien de révolutionnaire sur le plan méthodologique. Ce qui change, c'est qu'elle doit être appliquée à des processus cognitifs diffus, pas à des clics mesurables sur une page web.

Quelques points concrets à intégrer dans votre cadre de mesure :

• Définir un périmètre pilote suffisamment large pour produire des données significatives, mais suffisamment isolé pour éviter la contamination par d'autres variables.
• Inclure systématiquement le temps de supervision humaine dans le calcul des coûts, car c'est là que se cachent les vraies heures consommées.
• Distinguer les gains de vitesse des gains de qualité : un document produit deux fois plus vite mais nécessitant deux cycles de relecture n'est pas un gain net.
• Fixer une date de bilan avant de lancer, pas après avoir vu les premiers résultats.

Goldman Sachs a eu raison de poser la question à l'échelle macro. Mais c'est à l'échelle du processus, du département, de l'équipe, que les chiffres deviennent exploitables. Un ROI mesuré sur un périmètre précis et honnête, même décevant, vaut infiniment plus qu'une projection macro que personne ne peut rattacher à une ligne de budget réelle.