La taxonomie des risques IA que tout banquier doit connaître, au-delà du biais et de l'hallucination

En août 2024, les algorithmes de trading de plusieurs grands gestionnaires d'actifs auraient réagi au même signal macro à quelques minutes d'intervalle, amplifiant une forte baisse des actions japonaises et le débouclage du carry trade sur le yen. Aucun modèle n'avait « tort ». Chacun s'est comporté exactement comme prévu. Le danger : des milliers d'institutions faisaient tourner, de fait, des variantes du même modèle, entraînées sur les mêmes données, réagissant de la même façon, au même moment. Ce n'est pas un problème de biais ni d'hallucinationhallucinationUne hallucination, c'est lorsqu'un modèle d'IA produit une réponse fluide et assurée mais factuellement fausse, inventée, ou non étayée par ses données sources.Voir la définition complète →. C'est un risque IA systémique, et la plupart des comités de risque bancaires n'ont pas encore de nom pour le désigner dans leur checklist.

Cette leçon vous donne quatre noms que les régulateurs et superviseurs emploient réellement : risque de concentration, contagion par les tiers, boucles de rétroaction et model herding. MaMaUtiliser un logiciel pour automatiser les tâches et campagnes marketing répétitives, afin de personnaliser à grande échelle sur des canaux comme l'email, le web et le social.Voir la définition complète →îtriser ce vocabulaire est le minimum pour toute conversation de gouvernance dans la banque aujourd'hui.

Pourquoi le biais et l'hallucination ne suffisent pas

Le biais (iniquité systématique dans les sorties d'un modèle, souvent au détriment de groupes protégés) et l'hallucination (un modèle génératif produisant un contenu faux mais assuré) dominent le débat public parce qu'ils sont visibles et faciles à démontrer avec une seule mauvaise sortie.

Mais les superviseurs bancaires, dont la Réserve fédérale, la Prudential Regulation Authority (PRA) de la Banque d'Angleterre et la Banque centrale européenne (BCE), s'inquiètent davantage des risques qui émergent au niveau *système* : de nombreuses banques utilisant des modèles similaires, des fournisseurs similaires ou des données similaires, crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →éant des modes de défaillance corrélés qu'aucune validation de modèle prise isolément ne détecterait. C'est le domaine du model risk management, formalisé aux États-Unis par SR 11-7, la guidance fondatrice de la Fed sur le risque de modèle, de plus en plus étendue aux modèles IA/ML en particulier.

Risque de concentration : quand tout le monde loue le même cerveau

Le risque de concentration désigne ici la dépendance à un petit nombre de fournisseurs d'IA, de modèles de fondation ou de jeux de données à l'échelle du secteur.

Exemple concret : plusieurs banques américaines de taille moyenne utilisent le même fournisseur tiers pour le credit scoring piloté par IA, construit sur un modèle de base similaire (par exemple une version fine-tunée d'un grand modèle de fondation d'OpenAI, Anthropic ou Google). Si le modèle sous-jacent de ce fournisseur comporte un défaut systématique, une hypothèse macro obsolète, un problème de data drift, des dizaines de banques héritent simultanément du même angle mort.

Cela reproduit le problème « trop d'œufs dans le même panier » que les régulateurs connaissent bien avec les infrastructures cloud. La Banque d'Angleterre et la BCE ont signalé que le basculement vers une poignée de fournisseurs cloud et IA hyperscale (Microsoft Azure, AWS, Google Cloud) concentre le risque opérationnel sur une large part du secteur financier. Le Digital Operational Resilience Act (DORA) de l'UE, pleinement applicable depuis janvier 2025, exige spécifiquement des banques qu'elles cartographient et déclarent leurs fournisseurs ICT (technologies de l'information et de la communication) tiers critiques, précisément pour cette raison.

Exemple chiffré : si 40 % des banques de détail européennes utilisent les trois mêmes fournisseurs d'IA hébergés dans le cloud pour la détection de fraude, une vulnérabilité partagée ou une erreur de mise à jour de modèle ne fait pas grimper les pertes de fraude d'une seule banque. Elle peut provoquer des défaillances corrélées de détection de fraude sur une part significative du secteur de la banque de détail, simultanément.

Contagion par les tiers : la panne de votre fournisseur est votre incident

La contagion par les tiers est le cousin du risque de concentration : elle porte sur la façon dont une défaillance se *propage*, pas seulement sur l'endroit où se situe la dépendance.

Exemple côté desk de crédit : une banque externalise la vérification des revenus à un fournisseur d'IA de traitement documentaire. Le fournisseur déploie une mise à jour de modèle qui lit mal un format de bulletin de paie courant, approuvant silencieusement des prêts qu'il aurait dû signaler. La banque ne s'en aperçoit que des semaines plus tard, quand les données d'impayés paraissent étranges. À ce moment-là, des milliers de prêts sont concernés. La banque porte le risque de crédit ; le fournisseur portait le modèle.

C'est pourquoi DORA et, aux États-Unis, la guidance sur la gestion du risque tiers de l'OCC (Office of the Comptroller of the Currency) poussent tous deux les banques vers un monitoring continu de la performance des IA de leurs fournisseurs, et pas seulement une due diligence à l'onboarding. La gouvernance doit dépasser les murs de la banque.

Boucles de rétroaction : quand le modèle modifie le monde qu'il prédit

Une boucle de rétroaction se produit quand les sorties d'un modèle altèrent les données futures sur lesquelles il sera entraîné ou évalué, renforçant (ou déformant) ses propres prédictions.

Exemple côté trading : un algorithme de market making élargit systématiquement les spreads pour un certain segment de clients, sur la base d'un « flux toxique » prédit (trading informé, susceptible d'être profitable aux dépens du market maker). Ces clients obtiennent une exécution dégradée, passent moins par ce desk, et les données d'entraînement reflètent de plus en plus uniquement le comportement des clients « sûrs » que le modèle attendait déjà. Le modèle paraît plus précis avec le temps, mais seulement parce qu'il a façonné la population qu'il observe.

Exemple côté crédit : un modèle refuse les demandeurs sous un certain score. Ces demandeurs n'obtiennent jamais de prêt, donc la banque n'observe jamais s'ils auraient remboursé. La « précision » du modèle n'est mesurée que sur la population qu'il a approuvée, une forme de biais de sélection qui se cumule à chaque cycle de réentraînement. C'est ce qu'on appelle parfois le « selective labels problem » dans la recherche sur la modélisation du crédit, bien documenté dans la littérature académique, notamment dans les travaux synthétisés par le Consumer Financial Protection Bureau.

Model herding : tout le monde court vers la même sortie

Le model herding, c'est quand des modèles construits indépendamment convergent vers des décisions similaires, parce qu'ils sont entraînés sur des données ou des signaux de marché similaires, en particulier sous stress, amplifiant des mouvements qu'un ensemble diversifié de décideurs humains ou de modèles aurait amortis.

C'est le mécanisme à l'œuvre dans l'exemple d'ouverture. Il est structurellement proche du risque identifié par les régulateurs après le krach de l'assurance de portefeuille de 1987 et le Flash Crash de 2010, sauf que les stratégies de trading pilotées par IA élèvent les enjeux : une plus grande part du « raisonnement » est désormais automatisée et les modèles peuvent être réentraînés plus vite que les stratégies humaines ne s'adaptent.

La Banque des règlements internationaux (BRI) et le Financial Stability Board (FSB) ont tous deux publié sur ce sujet précis. Le rapport 2024 du FSB sur l'IA et la stabilité financière classe le herding et la prise de risque corrélée parmi les préoccupations systémiques de premier rang, précisément parce que cela n'apparaît sur aucun dashboard de risque d'une institution prise isolément.

Une méthode simple pour repérer le risque de herding chez vous

Herding risk checklist (desk-level):
1. Do we know which foundation model(s) our vendors' tools are built on?
2. Would a competitor's model likely reach the same decision on the same data?
3. If yes to #2, what % of the market shares this dependency? (estimate)
4. Do we have a "diversity of models" requirement in procurement policy?
5. Is there a manual override / circuit breaker if signals move in unison?

Si vous ne pouvez pas répondre à la question 1 pour vos trois principaux fournisseurs d'IA, c'est un écart de gouvernance qu'il vaut la peine de soulever, pas une hypothèse d'école.

Les garde-fousgarde-fousRègles et contrôles qui maintiennent un système d'IA dans des limites sûres, légales et conformes à la marque, en bloquant les sorties et actions hors cadre.Voir la définition complète → : ce qu'il faut vérifier avant le déploiement

Compte tenu de cette taxonomie, une checklist de pré-déploiement pour tout système d'IA dans une banque devrait inclure :

• Cartographie du fournisseur et de la lignée du modèle : connaître le modèle de fondation, la provenance des données d'entraînement et la cadence de mise à jour de chaque outil d'IA tiers, conformément aux exigences de type DORA.
• Stress testing de concentration : modéliser ce qui se passe si votre principal fournisseur d'IA subit une panne ou une erreur systématique, pas seulement ce qui se passe si votre propre modèle sous-performe.
• Audits des boucles de rétroaction : pour tout modèle qui influence qui est exclu (refus de prêt, signalements de fraude, limites de contreparties de trading), tester régulièrement la performance sur un petit échantillon de la population exclue, pas seulement de la population approuvée.
• Contrôles de corrélation à l'échelle du secteur : quand c'est possible, benchmarker les décisions de votre modèle contre le consensus du secteur ; les écarts importants ne sont pas automatiquement erronés, mais une convergence non examinée avec tout le monde est un signal d'alerte au regard du risque de herding.
• Points de reprise humaine : définir à l'avance les conditions de marché ou de portefeuille spécifiques dans lesquelles les décisions automatisées sont suspendues pour revue humaine. SR 11-7 et ses extensions propres à l'IA attendent que ce soit documenté, pas improvisé pendant une crise.

🎬 [VIDEO: "How AI Could Cause the Next Financial Crisis" - youtube.com/@TheEconomist - une explication concise du risque IA systémique en finance, couvrant les dynamiques de herding et de concentration pertinentes pour cette leçon]

Points clés

• Le biais et l'hallucination sont des risques au niveau du modèle individuel ; le risque de concentration, la contagion par les tiers, les boucles de rétroaction et le model herding sont des risques au niveau système que les régulateurs (Fed, BCE, PRA, FSB, BRI) surveillent activement.
• Le risque de concentration et la contagion par les tiers découlent du fait que trop de banques dépendent de trop peu de fournisseurs d'IA ou de modèles de fondation ; DORA (UE, pleinement applicable depuis janvier 2025) et la guidance de l'OCC (États-Unis) imposent tous deux la cartographie et le monitoring des fournisseurs pour cette raison.
• Les boucles de rétroaction déforment la précision du modèle au fil du temps en façonnant les données mêmes servant à le réentraîner, ce qui est particulièrement dangereux pour les refus de crédit et les signalements de fraude.
• Le model herding peut transformertransformerUn Transformer est une architecture de réseau de neurones qui utilise le self-attention pour traiter des séquences en parallèle. Elle est au cœur de la plupart des modèles de langage et d'IA générative actuels.Voir la définition complète → des systèmes d'IA construits indépendamment en un acteur corrélé, à comportement de foule, pendant un stress de marché : c'est le mécanisme derrière plusieurs épisodes récents de type flash crash.
• Avant le déploiement : cartographier la lignée des fournisseurs, stress tester la concentration, auditer les boucles de rétroaction sur les populations exclues et prédéfinir les déclencheurs de reprise humaine. Voilà ce que « gouvernance » signifie concrètement, au-delà d'un document de politique.