Mesurer le ROI de l'IA

En 2022, une banque de détail mondiale a mis en place un dashboard interne montrant que son programme IA avait « généré 340 M$ de valeur ». Le chiffre a été célébrbrLe pourcentage de visiteurs qui repartent après avoir vu une seule page, souvent le signe d'une pertinence insuffisante, d'un décalage d'intention ou d'une expérience utilisateur faible.Voir la définition complète →é dans le board deck, cité dans le rapport annuel, et utilisé pour justifier un doublement des effectifs data science. Dix-huit mois plus tard, un nouveau CFO a posé une question simple : *montrez-moi où ces 340 M$ apparaissent dans le P&L.* Ils n'y étaient pas. Environ 70 % correspondaient à un « gain de productivité estimé », des heures théoriquement économisées par les modèles, valorisées au coût salarial chargé, jamais rapprochées des lignes de coûts réelles. Personne n'avait été licencié, aucun contrat fournisseur n'avait été annulé, aucune ligne de revenu n'avait bougé. La banque mesurait de l'activité et l'appelait de la valeur.

C'est le piège. À mesure que les programmes IA passent d'une poignée de POC à un portefeuille en production, la pression pour *prouver la valeur* se heurte à la difficulté de l'*attribuer*. Les CDO qui survivent à ce choc sont ceux qui mesurent honnêtement, même quand l'honnêteté produit des chiffres plus petits et moins flatteurs que les calculs de vanité.

Le problème d'attributionattributionUn framework qui attribue le crédit d'une conversion aux différents touchpoints y ayant contribué, afin de mesurer quels canaux et quelles interactions génèrent réellement des résultats.Voir la définition complète →, c'est tout le sujet

Le difficile dans le ROI de l'IA, ce n'est pas le retour, c'est l'attribution. Un modèle agit rarement seul. Il s'inscrit dans un process, aux côtés du jugement humain, en aval d'un pipeline de donnéespipeline de donnéesSéquence automatisée d'étapes qui déplace les données de la source vers la destination : ingestion, transformation, validation et chargement, pour qu'elles arrivent propres et prêtes à l'emploi.Voir la définition complète →, en amont d'une décision business qu'une dizaine d'autres facteurs influencent aussi. Quand le revenu monte, tout le monde le revendique. Quand il baisse, c'est la faute du modèle.

Votre posture par défaut doit être le scepticisme envers toute affirmation causale qui n'a pas été isolée. Il existe trois niveaux de rigueur d'attribution, et vous devez savoir en permanence sur lequel vous vous situez :

Niveau 1, la corrélation déguisée en causalité. « Nous avons déployé le modèle de churn et le churn a baissé de 4 %. » C'est l'histoire des 340 M$. Elle ignore la saisonnalité, les changements de prix, la panne d'un concurrent et la campagne de rétention lancée le même trimestre. Ne présentez jamais un Niveau 1 comme une preuve. C'est une hypothèse.

Niveau 2, la comparaison contrôlée. Vous réservez un groupe de contrôle randomisé qui ne reçoit *pas* le traitement piloté par l'IA, et vous mesurez le delta. C'est le gold standard, et il est plus accessible que la plupart des CDO ne le prétendent. Un moteur de recommandation, un modèle de next-best-action, un système de pricing dynamique : tous peuvent tourner face à un holdout.

Niveau 3, la modélisation contrefactuelle. Quand un vrai holdout est impossible (vous ne pouvez pas priver 10 % des transactions de détection de fraude pour des raisons éthiques et légales), vous construisez un contrefactuel : que se serait-il passé sous le système de référence précédent ? C'est plus faible qu'un holdout mais défendable si la baseline est bien caractérisée.

La discipline ici est simple à énoncer et difficile à faire respecter : aucune valeur IA n'entre dans un board deck sans un niveau d'attribution explicite. Faites-en une colonne dans votre reporting. Quand un patron de business unit veut revendiquer une crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édibilité de Niveau 2 pour une corrélation de Niveau 1, la colonne met le débat sur la table.

Concevez la mesure avant de déployer le modèle

L'échec le plus courant consiste à **essayer de mesurer le ROIROIReturn on Investment : le rapport entre le profit net et le coût d'un investissement. Un ROI de 300 % signifie que chaque dollar investi en rapporte 3.Voir la définition complète → *après* le déploiement, quand le holdout a disparu et que la baseline est irrirrLe taux de rendement interne est le taux d'actualisation qui annule la valeur actuelle nette d'un projet. Il exprime le rendement annualisé attendu d'un investissement.Voir la définition complète →écupérable**. À ce stade, vous êtes bloqué au Niveau 1 pour toujours.

Intégrez la mesure au plan de déploiement. Pour un modèle de réduction du churn, la config est triviale et le gain énorme :

experiment:
  name: churn_model_v3_rollout
  treatment_group: 0.90   # reçoit les offres de rétention pilotées par le modèle
  control_group: 0.10     # reçoit les offres legacy à base de règles
  primary_metric: net_revenue_retention_90d
  guardrail_metrics:
    - offer_cost_per_customer
    - false_positive_rate
  min_runtime_days: 60

Le holdout de 10 % vous coûte un peu d'upside. Il vous achète la capacité d'affirmer, sans rougir : « le modèle a produit X $ de rétention incrémentale *par rapport au groupe de contrôle* ». Cette phrase vaut plus pour votre crédibilité que n'importe quel dashboard.

Comptabilité en coût complet : le dénominateur que tout le monde saute

Le ROI est un ratio. Les programmes s'obsèdent sur le numérateur (la valeur) et se mentent sur le dénominateur (le coût). Le dénominateur d'un système d'IA est bien plus large que le coût de construction du modèle qui figure dans un budget projet, et les composantes les plus lourdes arrivent *après* le déploiement.

Construisez votre vision de coûts sur l'ensemble du cycle de vie :

• Coût de build, temps des data scientists et des ingénieurs, compute d'expérimentation, acquisition de données. C'est le chiffre que tout le monde cite. Il représente en général 20 à 40 % du total.
• Coût de la donnée, le labeling, le nettoyage et la maintenance de pipelinepipelineL'ensemble des opportunités commerciales actives réparties selon les étapes du processus de vente, avec leur valeur potentielle cumulée et leur probabilité de conclusion.Voir la définition complète → en continu pour garder fraîches les données d'entraînement et d'inférenceinférenceLe moment où un modèle d'IA entraîné se met au travail : il reçoit une donnée nouvelle et produit une réponse, une prédiction ou un contenu.Voir la définition complète →. Le labeling en particulier est un coût récurrent qui croît avec le réentraînement des modèles, pas une dépense ponctuelle.
• Coût d'inférence, le compute que vous payez à chaque exécution du modèle en production. Pour un modèle à fort volume ou tout ce qui utilise des large language models, il peut écraser le coût de build. Une seule fonctionnalité propulsée par un LLM répondant à des millions de requêtes par mois peut coûter plus cher par an que l'équipe qui l'a construite.
• Coût de MLOps et de monitoring, détection de drift, pipelines de réentraînement, gestion d'incidents, temps de l'équipe plateforme.
• Coût de risque modèle et de conformité, validation, documentation, audit, cycles de revue de la fonction model risk management. Dans les secteurs régulés, c'est une taxe permanente sur chaque modèle.
• Coût d'opportunité et de décommissionnement, les modèles construits et jamais mis en production, et le coût de démantèlement des modèles sous-performants. Un portefeuille avec un taux d'abandon POC-vers-production de 70 % porte le coût des sept échecs dans les deux qui ont été livrés.

L'insight qui sépare les CDO seniors des juniors : le coût d'un modèle est un problème de stock et de flux, pas un problème de projet. Vous ne payez pas un modèle une fois. Vous payez pour le maintenir vivant, précis et conforme chaque jour où il est en production. Un modèle qui génère 2 M$/an de valeur mais exige 1,5 M$/an de réentraînement, de monitoring et d'inférence est un actif très différent de ce que suggère le titre « 2 M$ de valeur », et c'est un candidat au décommissionnement, pas à la célébration.

C'est pourquoi une métrique de cost-to-serve par prédiction a sa place dans vos revues opérationnelles. Elle rend l'abstrait concret : *ce modèle coûte 0,8 centime par prédiction et génère 3 centimes de valeur de décision.* Vous pouvez dès lors le piloter comme l'activité à unit economics qu'il est réellement.

Vanity metrics vs. métriques de valeur

Tout programme IA accumule des métriques qui ressemblent à du progrès et ne signifient rien pour le P&L. Votre travail est de les nommer et de refuser de les reporter comme de la valeur.

Voici les vanity metrics à traquer dans votre propre reporting :

La précision du modèle prise isolément. Un modèle de fraude à 99,2 % d'AUC est un fait technique, pas un résultat business. Si les 0,8 % qu'il rate se concentrent sur vos transactions à plus forte valeur, le modèle précis vous fait perdre de l'argent. Reportez les *dollars de fraude évités nets de la friction liée aux faux positifs*, pas l'AUC.

Le nombre de modèles en production. Cela mesure l'activité de votre équipe, pas le bénéfice pour le business. Un portefeuille de 200 modèles dont 40 créent de la valeur et 160 se dégradent silencieusement est pire qu'un portefeuille discipliné de 30.

Les heures économisées (non réalisées). L'erreur à 340 M$ de la banque. Les heures économisées ne sont de la valeur que si vous avez effectivement supprimé le coût, réduit les effectifs, évité un recrutement ou redéployé des personnes vers un travail générateur de revenus que vous pouvez montrer. De la « capacité libérée » réabsorbée en réunions supplémentaires n'est pas du ROI. Le test : *une ligne de coût a-t-elle baissé, ou une ligne de revenu a-t-elle monté ?* Si ni l'un ni l'autre, vous avez une hypothèse de productivité, pas un retour.

Les compteurs d'adoption et d'usage. « 12 000 collaborateurs ont utilisé l'assistant IA ce mois-ci » ne dit rien sur le fait que ces interactions aient changé une décision ou un résultat. L'usage est un indicateur avancé qu'il vaut la peine de suivre, mais ce n'est pas de la valeur, et il ne doit jamais être converti en dollars sans preuve d'un changement de comportement.

Le passage de la vanité à la valeur suit une seule règle : reliez la métrique à un cash flow. Si vous ne pouvez pas tracer une ligne entre la métrique et de l'argent entrant ou sortant de l'entreprise, c'est une métrique opérationnelle : utile pour piloter le programme, inutile pour le justifier.

Une structure pratique pour les métriques de valeur, par ordre décroissant de crédibilité :

1. Financier dur, revenu enregistré, coût éliminé, capital libéré. Auditable. C'est ce que le CFO croit.
2. Ajusté du risque, pertes évitées (fraude, crédit, amendes de conformité). Exige une baseline défendable, mais réel.
3. Efficacité réalisée, coût réellement sorti du P&L, avec la variation d'effectif ou de dépense pour le prouver.
4. Optionnalité stratégique, capacités qui permettent de la valeur future (une fondation data, un feature store réutilisable). Réel, mais explicitement signalé comme un investissement, jamais comptabilisé comme un retour.

Gardez les catégories 1 à 3 dans votre chiffre de ROI. Gardez la catégorie 4 sur une ligne « investissement stratégique » distincte. Les mélanger, c'est ainsi qu'on finit à défendre un chiffre qu'on ne peut pas réconcilier.

Construire une vision portefeuille à laquelle un board fera confiance

Le ROI d'un modèle individuel compte, mais le CDO est responsable d'un *portefeuille*. Et un portefeuille mesuré honnêtement ne ressemble pas à la somme des pitchs individuels optimistes, car au niveau du portefeuille, vous devez porter les échecs.

Adoptez un cadrage de type portefeuille de venture. Vos modèles sont des paris à différents stades. Reportez-les en trois strates :

• Producteurs éprouvés, en production, valeur attribuée en Niveau 2 ou 3, ROI positif net de coût complet. Ils méritent un investissement continu.
• Sous surveillance, en production mais attribution faible, ou ROI en coût complet marginal. Ils reçoivent une échéance de décision : prouver la valeur à une date fixée, ou décommissionner.
• Paris en cours, POC et déploiements précoces. Valorisés à leur valeur *attendue* pondérée par la probabilité de succès, et explicitement étiquetés comme investissement, pas comme retour.

Le chiffre de portefeuille que vous présentez au board est le net des trois strates, *y compris le coût des paris qui ont échoué*. C'est le chiffre que la banque de détail n'a jamais calculé. Ses 340 M$ ignoraient le cimetière de POC morts et le coût en run-rate complet des survivants. Une vision portefeuille disciplinée aurait peut-être montré 60 M$ réels et défendables : un chiffre plus petit, mais qui survit à la question du CFO.

Deux gestes de gouvernance ancrent tout cela :

Une porte de réalisation de la valeur. Aucun modèle ne passe de « déployé » à « valeur revendiquée » tant qu'une revue post-déploiement n'a pas confirmé la valeur attribuée au regard du plan de mesure pré-enregistré. Cela boucle la boucle entre la promesse faite au financement et le résultat livré, et c'est là que la plupart des programmes n'ont aucun process.

Un rituel trimestriel de décommissionnement. Passez explicitement en revue le quartile inférieur des modèles par ROI net de coût et tuez ceux qui ne justifient pas leur run-rate. Célébrer des arrêts est contre-intuitif mais essentiel : cela prouve que vos chiffres de ROI sont nets de la réalité, et cela libère du capital pour de meilleurs paris. Un CDO qui n'a jamais décommissionné un modèle rapporte presque certainement une valeur gonflée.

Le bénéfice culturel, c'est la confiance. Quand vous entrez dans un board meeting après avoir déjà tué vos propres modèles faibles et réconcilié votre valeur au P&L, les chiffres qui survivent pèsent d'un poids qu'aucun dashboard de vanity metrics n'aura jamais. Des chiffres honnêtes et plus petits capitalisent en crédibilité. Des chiffres gonflés capitalisent jusqu'au moment où un nouveau CFO demande où sont passés les 340 M$.

À retenir

• Associez un niveau d'attribution à chaque revendication de valeur. Le Niveau 1 (corrélation) est une hypothèse, pas une preuve. Concevez holdouts et contrefactuels *avant* le déploiement : la config pour réserver un groupe de contrôle de 10 % est triviale et vous achète une causalité défendable.
• Mesurez le ROI net du coût complet du cycle de vie, pas du coût de build. Inférence, réentraînement, monitoring, conformité et coût des POC échoués constituent le vrai dénominateur. Suivez le cost-to-serve par prédiction et traitez les modèles comme des actifs de stock et de flux qu'il faut nourrir pour les garder en vie.
• Traquez et éliminez les vanity metrics. Nombre de modèles, précision isolée, compteurs d'usage et « heures économisées » non réalisées sont de l'activité, pas de la valeur. Le test : pouvez-vous le relier à un cash flow entrant ou sortant de l'entreprise ?
• Reportez une vision de portefeuille de venture qui porte ses échecs. Nettez votre chiffre board entre producteurs éprouvés, modèles sous surveillance et paris en cours actualisés, cimetière de POC morts inclus.
• Instaurez une porte de réalisation de la valeur et un rituel trimestriel de décommissionnement. Bouclez la boucle entre la promesse de financement et le résultat livré, et tuez les modèles faibles de façon proactive. Des chiffres honnêtes plus petits bâtissent la crédibilité que les chiffres gonflés détruisent.