+150 XP

Banque · Passer au crible les promesses des fournisseurs d'IA avant d'acheter

Un fournisseur de détection de fraude annonce à votre comité des risques : « Notre modèle réduit les faux positifs de 40 %. » La slide affiche un histogramme bien net. Le commercial a son mur de logos clients. Personne dans la salle ne demande : 40 % par rapport à quoi, mesuré comment, sur les données de qui ?

Six mois plus tard, votre équipe fraud ops est submergée par une file d'alertes qui ne ressemble en rien au pitch. Cette leçon vous donne la checklist pour éviter ce scénario, avant même qu'un pilote ne touche des données de production.

Pourquoi « 40 % de faux positifs en moins » ne veut presque rien dire à lui seul

Un faux positif (une transaction légitime signalée à tort comme frauduleuse) a un coût réel : clients agacés, transactions abandonnées, volume au centre d'appels. Les fournisseurs savent que la réduction des faux positifs est l'une des premières préoccupations, c'est donc la métrique phare qu'ils mettent en avant.

Mais « 40 % en moins » est un ratio, pas un fait. Il vous faut le dénominateur. Demandez :

  • 40 % par rapport à quelle baseline ? Leur propre modèle moins performant ? Votre système interne actuel ? Un benchmark moyen du secteur qui ne ressemble peut-être pas à votre portefeuille ?
  • Sur quelle population ? Un dataset de 50 000 transactions provenant d'une seule banque régionale américaine de taille moyenne, ou des millions de transactions chez plusieurs émetteurs et dans plusieurs pays ?
  • À quel taux de détection de la fraude ? On peut toujours réduire les faux positifs en relâchant le seuil, au prix de davantage de fraudes manquées. Une affirmation sérieuse présente ensemble le taux de faux positifs et le taux de vrais positifs (fraude détectée), idéalement sous forme de courbe precision-recall ou ROC complète, pas d'un point isolé.

Si le fournisseur ne peut pas produire la matrice de confusion (le tableau 2x2 des vrais/faux positifs et négatifs) derrière le chiffre affiché, considérez l'affirmation comme du marketing, pas comme une preuve.

Les cinq éléments à exiger avant un pilote

1. La description du dataset de benchmark

Demandez une fiche de données précisant : période, géographie, types de transactions (carte présente vs carte non présente, virement, ACH), définition du label de fraude et équilibre des classes (quel pourcentage du dataset était réellement frauduleux). La fraude est rare, souvent bien en dessous de 1 % des transactions, donc un modèle testé sur un dataset artificiellement équilibré à 50/50 paraîtra bien meilleur qu'il ne l'est en conditions réelles.

2. La définition exacte des métriques

L'« accuracy » est quasiment inutile pour la détection d'événements rares comme la fraude ou la lutte anti-blanchiment (AML, le cadre réglementaire qui impose aux banques de détecter et de déclarer les activités financières suspectes), car un modèle qui prédit « pas de fraude » à chaque fois peut afficher plus de 99 % d'« accuracy » sans détecter une seule fraude. Exigez :

  • La précision (parmi les cas signalés, quel pourcentage était réellement frauduleux)
  • Le recall / taux de vrais positifs (parmi les fraudes réelles, quel pourcentage a été détecté)
  • Le taux de faux positifs à un seuil opérationnel déclaré

3. Les conditions de test et les contrôles de fuite de données

Posez la question explicitement : le jeu de test était-il entièrement séparé dans le temps du jeu d'entraînement (validation out-of-time), ou s'agissait-il d'un simple découpage aléatoire ? Sur des données transactionnelles, un découpage aléatoire peut laisser fuiter de l'information (les transactions ultérieures d'un client éclairent les prédictions sur ses transactions antérieures) et gonfler artificiellement les résultats. Le test out-of-time, entraînement sur les données 2023 et test sur les données 2024, est le standard réaliste.

4. La performance sur des données qui ressemblent aux vôtres

Un modèle évalué sur les données cartes d'une grande banque peut se dégrader fortement sur le mix de transactions plus réduit et différent d'une banque locale, ou sur des virements transfrontaliers s'il a été entraîné surtout sur de l'ACH domestique. Demandez un pilote champion-challenger : faites tourner le modèle du fournisseur en shadow mode (il score les transactions réelles sans déclencher d'action) face à votre système existant pendant une période définie, puis comparez les résultats sur votre population réelle.

5. La transparence sur la dérive et la fréquence de réentraînement

Les schémas de fraude évoluent en permanence, tout comme le comportement normal des clients. Demandez à quelle fréquence le modèle est réentraîné, ce qui déclenche un réentraînement et ce qu'il advient de la performance entre deux cycles (on parle de dérive du modèle ou de dégradation de performance). Un fournisseur qui n'a pas de réponse à « comment surveillez-vous la dérive ? » vous demande d'acheter un instantané, pas un système.

Un exemple chiffré simple : pourquoi les taux de base comptent

Supposons que votre taux de fraude soit réalistement de 0,3 % des transactions (un ordre de grandeur plausible pour les transactions par carte ; les taux réels varient selon l'émetteur et le canal). Sur 1 000 000 de transactions, cela représente environ 3 000 transactions frauduleuses.

Le fournisseur annonce : 90 % de recall (il détecte 90 % de la fraude) et un taux de faux positifs de 2 %.

  • Vrais positifs détectés : 90 % x 3 000 = 2 700
  • Faux positifs : 2 % x 997 000 (transactions non frauduleuses) ≈ 19 940

Votre équipe fraude examine donc environ 22 640 transactions signalées pour trouver 2 700 vrais cas de fraude. Cela correspond à une précision d'environ 12 %. L'affirmation « 40 % de faux positifs en moins que notre ancien modèle » peut être vraie et vous laisser quand même avec une file de revue ingérable, parce que le taux de base de la fraude est si faible que même de petits pourcentages de faux positifs génèrent des volumes absolus énormes.

C'est le problème du taux de base, et c'est la raison la plus fréquente pour laquelle les pilotes fournisseurs déçoivent en production. Convertissez toujours les pourcentages annoncés en volumes absolus rapportés à votre volume réel de transactions avant de signer quoi que ce soit.

Angle réglementaire et gouvernance

Aux États-Unis, la guidance SR 11-7 de la Federal Reserve sur la gestion du risque de modèle pose l'attente prudentielle selon laquelle les banques valident de manière indépendante tout modèle, y compris ceux fournis par des tiers, avant déploiement, puis le surveillent en continu. Vous ne pouvez pas déléguer la responsabilité de la validation au rapport de benchmark du fournisseur.

Dans l'UE, l'AI Act (en vigueur depuis août 2024) traite différemment les deux principaux cas d'usage bancaires. L'IA utilisée pour évaluer la solvabilité ou établir le score de crédit de personnes physiques figure parmi les systèmes à haut risque de l'annexe III. Cela déclenche des exigences de documentation, de supervision humaine et de tests d'exactitude et de robustesse que les superviseurs peuvent contrôler. L'IA utilisée uniquement pour détecter la fraude financière est explicitement exclue de cette catégorie de scoring de crédit : un modèle de fraude n'est donc pas à haut risque par défaut. Il reste soumis aux obligations de votre banque en matière de risque de modèle, de RGPD et de supervision.

Le calendrier a aussi bougé. Les obligations relatives au haut risque devaient s'appliquer à partir d'août 2026, et en novembre 2025 la Commission européenne a proposé un paquet « Digital Omnibus » qui les repousserait. Vérifiez la date d'application en vigueur avant de planifier en fonction d'elle.

La règle pratique pour les banques européennes : si un modèle fournisseur alimente des décisions de crédit sur des particuliers, faites correspondre sa documentation aux exigences du haut risque pendant l'achat, pas après.

Dans tous les cas, l'attente réglementaire et la due diligence commerciale vont dans le même sens : la validation indépendante sur vos propres données, et non la documentation marketing du fournisseur, constitue le niveau de preuve attendu.

Vérification des acquis

1. Un fournisseur affirme que son modèle réduit les faux positifs de 40 %. Pourquoi cette affirmation seule ne veut-elle presque rien dire ?

2. Pourquoi un fournisseur peut-il toujours réduire les faux positifs simplement en relâchant le seuil de détection ?

3. Que doit conclure un acheteur si un fournisseur ne peut pas produire la matrice de confusion derrière son chiffre de performance phare ?

CHOIX MULTIPLES

4. Plusieurs réponses possibles : quelles questions un acheteur doit-il poser pour interpréter correctement l'affirmation « X % de faux positifs en moins » d'un fournisseur ?

Sélectionnez toutes les réponses correctes.

CHOIX MULTIPLES

5. Plusieurs réponses possibles : quelles informations doivent figurer dans la description du dataset de benchmark demandée à un fournisseur d'IA avant un pilote ?

Sélectionnez toutes les réponses correctes.

Construire la grille d'évaluation des fournisseurs

Une checklist d'achat pragmatique pour les promesses des fournisseurs d'IA dans la banque doit noter chaque fournisseur sur :

  1. Transparence de la méthodologie : partagera-t-il la matrice de confusion, et pas seulement le ratio affiché ?
  2. Pertinence des données : le benchmark a-t-il été construit sur des données proches de votre portefeuille (géographie, canal, segment de clientèle) ?
  3. Disponibilité d'un pilote en shadow mode : acceptera-t-il un scoring réel, hors production, sur vos données avant la mise en service ?
  4. Explicabilité : les décisions de signalement du modèle peuvent-elles être expliquées à un client ou à un inspecteur (point pertinent au regard des lois sur le crédit équitable comme l'Equal Credit Opportunity Act aux États-Unis, et des dispositions du RGPD sur les décisions automatisées dans l'UE) ?
  5. Surveillance de la dérive et SLA de réentraînement : qu'est-ce qui est garanti contractuellement pour la performance dans la durée, et pas seulement le jour du lancement ?

Un petit snippet pour suivre cela en interne pendant l'évaluation des fournisseurs :

python
# contrôle de cohérence minimal des promesses fournisseur
fraud_rate = 0.003          # estimation : à ajuster à votre portefeuille réel
total_txns = 1_000_000
recall = 0.90                # taux de vrais positifs annoncé par le fournisseur
fpr = 0.02                   # taux de faux positifs annoncé par le fournisseur

fraud_txns = total_txns * fraud_rate
non_fraud_txns = total_txns - fraud_txns

true_positives = fraud_txns * recall
false_positives = non_fraud_txns * fpr

precision = true_positives / (true_positives + false_positives)
print(f"Flagged for review: {true_positives + false_positives:,.0f}")
print(f"Precision: {precision:.1%}")

Exécutez-le avec les chiffres réellement annoncés par le fournisseur et votre volume réel de transactions avant toute discussion contractuelle.

🎬 [VIDÉO : « Model Risk Management Explained » - https://www.youtube.com/results?search_query=model+risk+management+banking+explained - résultats de recherche de vidéos pédagogiques accessibles sur la validation des modèles et les frameworks de gouvernance comme SR 11-7, utiles en préparation des réunions d'évaluation des fournisseurs]

Points clés à retenir

  • N'acceptez jamais une affirmation réduite à un seul chiffre (« 40 % de faux positifs en moins ») sans la baseline, la description du dataset et la matrice de confusion complète qui la sous-tendent.
  • Convertissez chaque pourcentage annoncé en volumes absolus rapportés à votre volume réel de transactions ; des taux de base faibles (comme une fraude bien inférieure à 1 %) rendent les petits écarts de pourcentage énormes en pratique.
  • Exigez un test out-of-time et un pilote en shadow mode sur vos propres données avant toute décision de mise en production.
  • La guidance SR 11-7 de la Fed attend une validation indépendante des modèles fournisseurs. Au titre de l'AI Act européen, le scoring de crédit des particuliers est à haut risque tandis que la détection de fraude en est exclue, et la date d'application du haut risque est en cours de révision : vérifiez-la avant de planifier.
  • Notez les fournisseurs sur la transparence, la pertinence des données, l'explicabilité et la surveillance de la dérive, pas seulement sur la métrique phare du pitch.