Fairness, explainability et conformité réglementaire
# Fairness, explainability et conformité réglementaire
Un prêteur déploie un nouveau modèle de scoring crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit en machine learning. Les accords augmentent, les défauts baissent. Six mois plus tard, un examinateur pose une question simple : « Pourquoi ce demandeur a-t-il été refusé ? » L'équipe data science pointe un modèle de gradient boosting à 400 variables. Personne dans la pièce ne sait répondre. Ce silence est un manquement de conformité, et il peut geler un lancement produit ou déclencher une action réglementaire.
Cette leçon montre comment stress-tester un modèle de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit pour que ce silence n'arrive jamais.
Les règles que vous ne pouvez pas ignorer
Deux cadres juridiques américains structurent chaque décision de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit, et ils s'appliquent que la décision vienne d'un humain ou d'un modèle.
ECOA (Equal Credit Opportunity Act) : interdit la discrimination dans le crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit sur la base de caractéristiques protégées : race, couleur, religion, origine nationale, sexe, situation matrimoniale, âge et perception d'aides publiques. Sa mise en œuvre passe par la Regulation B.
Adverse action notice : sous Reg B, quand vous refusez, réduisez ou dégradez les conditions de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit, vous devez indiquer au demandeur les principaux motifs spécifiques. « Votre score était trop bas » ne suffit pas. Il faut des facteurs concrets comme « incident de paiement grave au dossier » ou « trop de demandes récentes ».
Disparate impact : une politique en apparence neutre qui produit de moins bons résultats pour un groupe protégé peut rester illégale, même sans intention de discriminer. C'est le piège dans lequel tombent les modèles complexes. Le modèle ne voit jamais la race, mais il peut apprendre des proxys (code postal, habitudes d'achat) qui y sont corrélés.
Les régulateurs attendent aussi un model risk management (MRM) solide, encadré aux États-Unis par les orientations prudentielles de la Federal Reserve et de l'OCC connues sous le nom de SR 11-7. Elles exigent que les modèles soient validés, documentés et compris par ceux qui portent le risque.
Le CFPB l'a dit clairement : la complexité « black box » n'est pas une excuse. Si vous ne pouvez pas expliquer une décision, vous ne pouvez pas légalement utiliser le modèle.
Étape 1 : tester le disparate impact
Vous ne pouvez pas tester la fairness sans données de groupe, or l'ECOA interdit généralement de collecter la race sur les dossiers de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit. Le contournement standard est l'estimation par proxy, le plus souvent BISG (Bayesian Improved Surname Geocoding), qui estime la probabilité d'appartenance à un groupe à partir du nom de famille et de la localisation. C'est imparfait : traitez les résultats comme des estimations, pas des certitudes.
Une fois les groupes estimés, lancez le test classique de disparate impact.
Adverse Impact Ratio (AIR) : comparez le taux d'accord d'un groupe protégé à celui du groupe de contrôle.
# Approval rates by estimated group (illustrative numbers)
approval_control = 0.62 # e.g., control group
approval_protected = 0.48 # e.g., protected group
air = approval_protected / approval_control
print(round(air, 2)) # 0.77Une règle empirique largement citée, issue du droit du travail, la four-fifths rule, signale pour examen tout AIR inférieur à 0,80. Ici 0,77 est un signal d'alerte. À noter : c'est un seuil de diagnostic, pas une protection juridique. Les tribunaux et les régulateurs apprécient l'ensemble du contexte.
Détecter un écart est un début, pas une fin. Deux questions suivent :
1. L'écart est-il expliqué par un facteur légitime ? Les revenus et les ratios d'endettement peuvent légalement peser sur l'accord.
2. Existe-t-il une less discriminatory alternative (LDA) ? C'est le standard actuel. Si vous pouvez trouver un modèle presque aussi précis mais plus équitable, on attend de vous que vous l'utilisiez.
Étape 2 : rechercher une less discriminatory alternative
Les contrôles fair lending se concentrent de plus en plus sur la LDA. La logique : si un modèle plus équitable existe pour un faible coût de performance, garder le modèle discriminatoire est difficile à défendre.
Parmi les techniques pratiques : supprimer ou plafonner les variables proxy à faible valeur prédictive mais fort disparate impact (par exemple certaines variables comportementales), l'adversarial debiasing (entraîner le modèle de sorte qu'un second modèle ne puisse pas prédire la classe protégée à partir de ses sorties), et le repondération ou l'ajustement de seuils par groupe, à manier avec précaution pour rester dans les limites légales.
L'objectif est une recherche documentée. Les examinateurs veulent voir que vous avez cherché des alternatives, mesuré l'arbitrage précision/fairness et fait un choix argumenté. Une perte minime de précision (par exemple passer d'un AIR de 0,77 à 0,92 en perdant une fraction de point de pouvoir prédictif) est en général un bon échange.
Étape 3 : l'explainability avec SHAP
Vient le problème de l'adverse action. Vous avez refusé un demandeur. Pourquoi ?
SHAP (SHapley Additive exPlanations) est la méthode standard du secteur. Empruntée à la théorie des jeux, elle répartit une prédiction entre les variables d'entrée, en montrant combien chacune a poussé la décision vers le haut ou vers le bas. Point clé : elle fournit des explications par demandeur, exactement ce qu'exigent les adverse-action notices.
import shap
explainer = shap.TreeExplainer(credit_model)
shap_values = explainer(applicant_features)
# Classer les variables qui ont poussé vers le refus
top_reasons = shap_values.values[0].argsort()[:4]Pour un demandeur refusé, SHAP peut faire ressortir les principaux facteurs négatifs :
1. Taux d'utilisation du crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit élevé
2. Incident de paiement grave récent
3. Historique de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit court
4. Plusieurs demandes récentes
Ces éléments se traduisent directement en reason codes d'adverse action. C'est là que l'explainability et la conformité se rejoignent : la même sortie SHAP qui satisfait votre validation data science génère aussi la notification légalement requise.
SHAP Values Explained
Une mise en garde soulevée par les régulateurs : SHAP explique ce que le modèle a fait, pas si la décision était équitable ou la variable légitime. Une explication de grande qualité d'une décision biaisée reste une décision biaisée. L'explainability soutient la conformité ; elle ne la crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →ée pas.
Étape 4 : transformertransformerUn Transformer est une architecture de réseau de neurones qui utilise le self-attention pour traiter des séquences en parallèle. Elle est au cœur de la plupart des modèles de langage et d'IA générative actuels.Voir la définition complète → les explications en adverse-action notices
La couche de traduction compte. SHAP produit des noms techniques de variables. Les demandeurs et les examinateurs ont besoin d'un langage clair.
Construisez une table de correspondance :
| Variable SHAP | Motif d'adverse action |
|---|---|
| util_ratio_revolving | Encours trop élevé sur les comptes revolving |
| months_since_delinq | Incident de paiement grave au dossier |
| num_inquiries_6mo | Trop de demandes de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit récentes |
Une règle sélectionne ensuite les principaux facteurs par demandeur et imprime les motifs correspondants. Vérifiez que la correspondance est fidèle : le motif donné doit réellement être un facteur majeur de cette décision précise, pas un modèle générique.
Étape 5 : documenter pour la gouvernance du risque modèle
La gouvernance du risque modèle est la fonction de contrôle interne qui valide avant la mise en production. Pour passer la revue selon les attentes de SR 11-7, constituez un dossier de documentation du modèle qui comprend :
- Objet et données : ce que le modèle prédit, les données d'entraînement, les limites connues.
- Tests de fairness : résultats d'AIR par groupe, recherche de LDA et justification du modèle retenu.
- Preuves d'explainability : méthodologie SHAP, exemples d'explications et correspondance des reason codes.
- Un plan de monitoring continu : comment vous retesterez l'AIR et la stabilité à mesure que la population dérive.
Ce dernier point est souvent oublié. Un modèle équitable au lancement peut dériver quand la population de demandeurs change. Les régulateurs attendent un monitoring continu, pas un certificat ponctuel.
Vérification des acquis
1. Une adverse action notice sous Regulation B indique seulement : « Votre score de crédit était trop bas. » Pourquoi est-ce insuffisant ?
2. Un modèle de crédit ne reçoit jamais la race en entrée, pourtant il accorde des crédits aux demandeurs du groupe protégé à un taux nettement inférieur parce qu'il pondère fortement le code postal et les habitudes d'achat. Quel concept cela illustre-t-il ?
3. Quand les examinateurs demandent « Pourquoi ce demandeur a-t-il été refusé ? » et que l'équipe ne peut pas répondre à cause d'un modèle de gradient boosting à 400 variables, quel est le problème de conformité central ?
4. Sélectionnez TOUTES les bonnes réponses. Quelles caractéristiques sont protégées par l'ECOA ?
Sélectionnez toutes les réponses correctes.
5. Sélectionnez TOUTES les bonnes réponses. Qu'attend un model risk management solide (selon SR 11-7) d'un modèle de crédit ?
Sélectionnez toutes les réponses correctes.
Synthèse : la revue avec l'examinateur
Imaginez le contrôle six mois plus tard, refait correctement. L'examinateur demande pourquoi un demandeur a été refusé. Cette fois, l'équipe sort le dossier :
- L'adverse-action notice liste quatre motifs en langage clair.
- Chaque motif renvoie à un facteur SHAP pour ce demandeur précis.
- L'AIR du modèle est à 0,92, au-dessus du seuil des four-fifths, avec une documentation montrant que trois alternatives ont été testées.
- Le dashboard de monitoring montre un contrôle trimestriel de l'AIR.
Voilà un modèle défendable. Mêmes objectifs de précision que la black box, mais l'institution peut désormais répondre à chaque question. La différence ne tient pas à un algorithme plus sophistiqué. Elle tient à un processus discipliné.
Où cela va en 2026
Deux évolutions méritent attention. D'abord, l'IA générative entre dans les workflows de crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édit (rédaction d'explications, résumés de documents), ce qui ajoute de nouvelles questions d'explainability puisque les grands modèles de langage sont plus difficiles à attribuer que les modèles à base d'arbres. Ensuite, les régulateurs continuent d'affûter l'idée que « on a utilisé de l'IA » n'est jamais un bouclier. La trajectoire est constante : plus de transparence, pas moins.
Points clés
- La complexité n'est pas une excuse. Sous ECOA et Reg B, tout demandeur refusé a droit à des motifs précis et exacts. Si votre modèle ne peut pas les produire, vous ne pouvez pas le déployer légalement.
- Le disparate impact est le risque principal des modèles de crédit en ML. Les modèles apprennent des proxys des caractéristiques protégées même sans les voir. Calculez l'Adverse Impact Ratio et traitez tout résultat sous 0,80 comme un signal d'alerte.
- Cherchez une less discriminatory alternative et documentez-la. Les examinateurs attendent de plus en plus la preuve que vous avez cherché un modèle plus équitable à un coût acceptable.
- SHAP relie validation et conformité. Les facteurs SHAP par demandeur, mis en correspondance avec des reason codes en langage clair, satisfont à la fois la gouvernance data science et les règles d'adverse action.
- La fairness est continue, pas une validation ponctuelle. Les populations dérivent : retestez l'AIR et la stabilité selon un calendrier et conservez les preuves du monitoring.