Gouverner les modèles black-box avec SR 11-7 et les obligations d'explicabilité

# Gouverner les modèles black-box avec SR 11-7 et les obligations d'explicabilité

Un modèle de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit en gradient boosting bat l'ancienne régression logistique de la banque de six points de précision prédictive. Les data scientists sont ravis. Puis le Chief Risk Officer pose une seule question : « Quand nous refusons un demandeur, pouvez-vous lui dire exactement pourquoi ? » Silence dans la salle. C'est dans ce silence que vit le model risk management.

Cette leçon fait passer ce même modèle par le parcours de gouvernance d'une banque, de la validation jusqu'à la validation du conseil, et montre pourquoi la précision seule ne suffit jamais.

La colonne vertébrale réglementaire : SR 11-7

SR 11-7 est la guidance prudentielle de la Réserve fédérale américaine et de l'OCC sur le model risk management, publiée en 2011. Malgré son âge, elle reste le framework qui régit la façon dont les banques construisent, valident et surveillent leurs modèles, y compris les systèmes d'IA et de machine learning. Vous pouvez lire la guidance originale ici.

Deux idées de SR 11-7 comptent plus que les autres :

Le risque de modèle est un risque réel. Un modèle erroné produit des décisions erronées. SR 11-7 traite cela comme une source de perte, au même titre que le risque de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit ou de marché.

Effective challenge. Chaque modèle doit faire l'objet d'un examen indépendant et compétent, mené par des personnes qui ont l'autorité et l'intérêt de contester. Un validateur qui rend compte au concepteur du modèle n'est pas indépendant.

Pour un modèle en gradient boosting (un ensemble d'arbres de décision qui corrige ses propres erreurs de façon itérative), ces principes crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →éent des frictions. Le modèle est puissant mais opaque. SR 11-7 n'interdit pas la complexité. Elle exige que vous la compreniez et la contrôliez.

Étape 1 : développement et question de l'interprétabilité

Avant la validation, l'équipe de développement documente l'objectif du modèle, ses données et ses choix de conception. Cette « documentation de modèle » n'est pas du théâtre administratif. Les validateurs et les régulateurs la lisent de près.

La tension clé apparaît immédiatement. Un modèle black-box est un modèle dont la logique interne n'est pas directement lisible par un humain. Le gradient boosting entre dans cette catégorie. L'équipe doit donc y adjoindre une couche d'explicabilité.

L'outil le plus courant est SHAP (SHapley Additive exPlanations), une méthode emprutée à la théorie des jeux coopératifs. SHAP attribue à chaque variable d'entrée une valeur de contribution pour une prédiction donnée, montrant dans quelle mesure chaque facteur a poussé le score vers le haut ou vers le bas.

import shap

# model = trained gradient-boosted classifier
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(applicant_data)

# For one declined applicant, see the top drivers
shap.plots.waterfall(shap_values[0])

Pour un demandeur refusé, SHAP peut montrer : un taux d'utilisation du crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit élevé a fortement fait baisser le score, un historique de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit court l'a modérément fait baisser, un revenu stable l'a légèrement fait monter. C'est la matière première d'une explication.

Étape 2 : pourquoi les explications sont juridiquement obligatoires

Ce n'est pas optionnel dans le crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit à la consommation aux États-Unis. En vertu de l'Equal Credit Opportunity Act (ECOA) et de son règlement d'application, la Regulation B, un prêteur qui refuse un crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit doit indiquer au demandeur les principales raisons précises de la décision. Des formulations vagues comme « scoring interne » ne satisfont pas la règle.

En 2022, le Consumer Financial Protection Bureau (CFPB) a publié une circulaire confirmant que cette exigence s'applique pleinement aux algorithmes complexes. Un prêteur ne peut pas se cacher derrière la complexité du modèle. Si vous ne pouvez pas expliquer une décision, vous ne pouvez pas légalement la prendre.

Les sorties SHAP alimentent donc directement l'adverse action notice, la notification envoyée aux demandeurs refusés. C'est là qu'une technique de data science devient un contrôle de conformité.

Une mise en garde que les validateurs soulèveront : SHAP explique ce que le modèle a fait, pas si le modèle est équitable ou correct. L'explication d'une décision biaisée reste une décision biaisée.

Étape 3 : validation indépendante

Le modèle entre maintenant en validation de modèle, la revue indépendante exigée par SR 11-7. Une équipe distincte, souvent appelée Model Risk Management (MRM), l'attaque. Son travail est l'effective challenge, pas le tampon de complaisance.

Les validateurs testent généralement trois choses :

Solidité conceptuelle. Les variables d'entrée ont-elles un sens métier ? Si le modèle pondère fortement une variable qui sert de proxy à une catégorie protégée (race, genre, âge), c'est un signal d'alerte en matière de fair lending, même si la variable elle-même est légale.

Analyse des résultats. Le modèle performe-t-il sur des données qu'il n'a jamais vues ? Les validateurs vérifient la précision, mais aussi la stabilité entre segmentssegmentsDécouper un marché en groupes distincts de clients partageant des besoins, des caractéristiques ou des comportements similaires, afin de traiter chaque groupe avec une approche dédiée.Voir la définition complète → de clientèle. Un modèle globalement précis mais faible sur un segment démographique précis ouvre la porte aux accusations de discrimination.

Benchmarking. Ils comparent le modèle en gradient boosting à la régression logistique plus simple qu'il remplacerait. La question est brutale : le gain de précision vaut-il le risque supplémentaire ?

🎬 [VIDEO: "An Introduction to Explainable AI with Shapley Values" - youtube.com - une présentation claire de la façon dont SHAP attribue les prédictions aux variables]

Étape 4 : tests de fair lending

La revue fair lending mérite sa propre étape, car c'est là que les modèles black-box échouent le plus souvent en gouvernance.

Le disparate impact est une notion juridique : une politique d'apparence neutre qui pénalise de façon disproportionnée un groupe protégé peut être illégale même sans intention de discriminer. Un modèle de machine learning peut crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →éererLe rapport entre les interactions (likes, commentaires, partages) et le reach d'un contenu, utilisé pour mesurer la réaction de l'audience au regard du nombre de personnes touchées.Voir la définition complète → un disparate impact silencieusement, en trouvant des schémas corrélés à des caractéristiques protégées.

Les banques testent cela en comparant les taux d'acceptation et la tarification entre groupes, puis en cherchant une less discriminatory alternative (LDA) : un modèle qui performe presque aussi bien avec un disparate impact plus faible. Si une LDA existe et que la banque ne l'a pas adoptée, les régulateurs le voient très mal.

C'est souvent là que le gain de six points de précision se réduit. Contraindre le modèle pour réduire le disparate impact peut coûter du pouvoir prédictif. Cet arbitrage est une décision de gouvernance, pas une décision technique.

Étape 5 : surveillance continue

L'approbation n'est pas la ligne d'arrivée. SR 11-7 exige une surveillance continue parce que les modèles se dégradent.

La principale menace est le drift : le monde réel change alors que le modèle reste figé. Deux types comptent :

Data drift. La composition des demandeurs entrants se modifie, par exemple après l'entrée de la banque dans une nouvelle région.

Concept drift. La relation entre les variables d'entrée et les résultats change, par exemple quand une récession modifie la façon dont le revenu prédit le défaut.

Les dashboards de monitoring suivent les distributions de prédictions, la stabilité des variables et les taux de défaut réels comparés aux taux prédits. Quand les métriques franchissent les seuils fixés, le modèle est signalé pour recalibrage ou retrait. Les modèles en gradient boosting peuvent dériver vite, la cadence de monitoring est donc plus serrée que pour des modèles plus simples.

Étape 6 : la validation du conseil

Le modèle arrive maintenant devant un comité des risques, souvent sous supervision du conseil d'administration. C'est là que précision et interprétabilité sont explicitement mises en balance.

Le comité reçoit un dossier : métriques de performance, conclusions de validation, résultats fair lending, échantillons d'explicabilité et plans de monitoring. Sa décision relève de la gouvernance, pas de l'ingénierie.

Trois issues réalistes :

Approbation en l'état. La banque accepte le modèle black-box, en s'appuyant sur les explications SHAP et un monitoring solide. Fréquent quand le gain de précision est important et que les tests fair lending sont propres.

Approbation sous contrainte. Le comité exige une version plus simple ou contrainte, en sacrifiant un peu de précision au profit de la transparence et de la défendabilité. Fréquent dans les décisions à fort enjeu pour les particuliers.

Rejet. Si le modèle ne peut pas être expliqué à la satisfaction d'un régulateur, ou s'il existe une less discriminatory alternative, le conseil le refuse quelle que soit sa précision.

La leçon récurrente : dans une banque régulée, un modèle précis à 90 % et pleinement défendable bat souvent un modèle précis à 96 % et difficile à expliquer. Les points supplémentaires ne valent rien si un régulateur force la mise hors service du modèle.

Pourquoi l'interpretable-by-design gagne du terrain

Une réponse de plus en plus courante consiste à éviter l'arbitrage. Les modèles interpretable-by-design, comme le gradient boosting monotone (où chaque variable ne peut pousser le score que dans une seule direction cohérente) ou les modèles additifs généralisés, visent une précision proche du black-box avec une transparence intégrée.

Les contraintes de monotonie sont particulièrement utiles en crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit. Elles garantissent par exemple qu'un revenu plus élevé ne réduit jamais vos chances d'acceptation, ce qui est à la fois intuitif et plus facile à défendre devant un régulateur. La banque conserve l'essentiel de la précision et contourne le pire de la bataille sur l'explicabilité.

Le principe plus large à retenir au-delà des modèles de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit : la gouvernance doit façonner la conception, pas seulement la contrôler après coup. L'endroit le moins coûteux pour résoudre un problème d'explicabilité, c'est avant la construction du modèle.

Points clés

• SR 11-7 fait du risque de modèle un risque de premier rang. Tout modèle d'IA dans une banque nécessite documentation, validation indépendante (« effective challenge ») et surveillance continue, quelle que soit sa précision.

• Les explications sont juridiquement obligatoires, pas optionnelles. En vertu de l'ECOA et de la Regulation B, un demandeur refusé doit recevoir des raisons précises, et le CFPB a confirmé que cela s'applique aux algorithmes complexes. SHAP est un pont courant entre la sortie du modèle et l'adverse action notice.

• C'est sur les tests fair lending que les modèles black-box échouent le plus souvent. Surveillez le disparate impact, et attendez-vous à ce que les régulateurs demandent s'il existe une less discriminatory alternative.

• La précision l'emporte rarement à elle seule. Un modèle défendable et bien surveillé bat généralement un modèle marginalement plus précis qu'on ne peut ni expliquer ni maintenir.

• Concevez pour la gouvernance dès le départ. Les approches interpretable-by-design comme les contraintes de monotonie peuvent capter l'essentiel de la précision tout en dissolvant la bataille sur l'interprétabilité avant qu'elle ne commence.