Banken · Black-Box-Modelle über SR 11-7 und Explainability-Anforderungen steuern

Ein Gradient-Boosted-Kreditmodell schlägt die alte logistische Regression der Bank um sechs Punkte bei der Prognosegüte. Die Data Scientists sind begeistert. Dann stellt der Chief Risk Officer eine Frage: „Wenn wir einen Antragsteller ablehnen, können Sie ihm genau sagen, warum?" Im Raum wird es still. In dieser Stille lebt das Model Risk Management.

Diese Lektion führt dasselbe Modell durch den Governance-Parcours einer Bank, von der Validierung bis zur Freigabe durch das Gremium, und zeigt, warum Accuracy allein nie gewinnt.

Das regulatorische Rückgrat: SR 11-7

SR 11-7 ist die aufsichtsrechtliche Leitlinie der US-Notenbank Federal Reserve und der OCC zum Model Risk Management aus dem Jahr 2011. Trotz ihres Alters bleibt sie das maßgebliche Framework dafür, wie Banken Modelle bauen, validieren und überwachen, einschließlich KI- und Machine-Learning-Systemen. Sie können die Originalleitlinie hier lesen.

Zwei Gedanken aus SR 11-7 sind am wichtigsten:

Modellrisiko ist echtes Risiko. Ein falsches Modell produziert falsche Entscheidungen. SR 11-7 behandelt das als Verlustquelle wie Kredit- oder Marktrisiko.

Effective challenge. Jedes Modell braucht unabhängige, fachkundige Prüfung durch Personen, die die Befugnis und den Anreiz haben, Widerspruch einzulegen. Ein Validator, der dem Modellentwickler berichtet, ist nicht unabhängig.

Für ein Gradient-Boosted-Modell (ein Ensemble aus Entscheidungsbäumen, das seine eigenen Fehler iterativ korrigiert) erzeugen diese Prinzipien Reibung. Das Modell ist leistungsfähig, aber undurchsichtig. SR 11-7 verbietet Komplexität nicht. Es verlangt, dass Sie sie verstehen und kontrollieren.

Stufe 1: Entwicklung und die Frage der Interpretierbarkeit

Vor der Validierung dokumentiert das Entwicklungsteam Zweck, Daten und Designentscheidungen des Modells. Diese „Modelldokumentation" ist kein Papiertheater. Validatoren und Aufsichtsbehörden lesen sie genau.

Die zentrale Spannung zeigt sich sofort. Ein Black-Box-Modell ist ein Modell, dessen interne Logik für einen Menschen nicht direkt lesbar ist. Gradient Boosting fällt darunter. Das Team muss also eine Explainability-Schicht anhängen.

Das gängigste Werkzeug ist SHAP (SHapley Additive exPlanations), eine Methode aus der kooperativen Spieltheorie. SHAP weist jedem Input-Feature für eine bestimmte Prognose einen Beitragswert zu und zeigt, wie stark jeder Faktor den Score nach oben oder unten gedrückt hat.

python

import shap

# model = trained gradient-boosted classifier
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(applicant_data)

# For one declined applicant, see the top drivers
shap.plots.waterfall(shap_values[0])

Für einen abgelehnten Antragsteller könnte SHAP zeigen: hohe Kreditausnutzung hat den Score stark nach unten gedrückt, kurze Kredithistorie moderat nach unten, stabiles Einkommen leicht nach oben. Das ist das Rohmaterial für eine Erklärung.

Stufe 2: Warum Erklärungen rechtlich verpflichtend sind

Im US-Verbraucherkreditgeschäft ist das nicht optional. Nach dem Equal Credit Opportunity Act (ECOA) und der zugehörigen Ausführungsvorschrift Regulation B muss ein Kreditgeber, der Kredit verweigert, dem Antragsteller die konkreten Hauptgründe für die Entscheidung nennen. Vage Aussagen wie „internes Scoring" genügen der Vorschrift nicht.

2022 veröffentlichte das Consumer Financial Protection Bureau (CFPB) ein Circular, das bestätigt, dass diese Anforderung vollständig auch für komplexe Algorithmen gilt. Ein Kreditgeber kann sich nicht hinter Modellkomplexität verstecken. Wenn Sie eine Entscheidung nicht erklären können, dürfen Sie sie rechtlich nicht treffen.

Der SHAP-Output fließt also direkt in die adverse action notice ein, die Mitteilung an abgelehnte Antragsteller. Hier wird aus einer Data-Science-Technik ein Compliance-Control.

Ein Vorbehalt, den die Validatoren vorbringen werden: SHAP erklärt, was das Modell getan hat, nicht ob das Modell fair oder korrekt ist. Die Erklärung einer voreingenommenen Entscheidung bleibt eine voreingenommene Entscheidung.

Stufe 3: Unabhängige Validierung

Jetzt geht das Modell in die Modellvalidierung, die von SR 11-7 geforderte unabhängige Prüfung. Ein separates Team, oft Model Risk Management (MRM) genannt, greift es an. Ihre Aufgabe ist effective challenge, nicht Abnicken.

Validatoren prüfen typischerweise drei Dinge:

Konzeptionelle Stimmigkeit. Sind die Inputs fachlich sinnvoll? Wenn das Modell ein Feature stark gewichtet, das ein Proxy für eine geschützte Gruppe ist (Ethnie, Geschlecht, Alter), ist das eine Warnflagge im Fair Lending, selbst wenn die Variable selbst legal ist.

Outcomes-Analyse. Funktioniert das Modell auf Daten, die es nie gesehen hat? Validatoren prüfen Accuracy, aber auch Stabilität über Kundensegmente hinweg. Ein Modell, das insgesamt genau ist, aber für eine bestimmte demografische Gruppe schwach, lädt zu Diskriminierungsklagen ein.

Benchmarking. Sie vergleichen das Gradient-Boosted-Modell mit der einfacheren logistischen Regression, die es ersetzen soll. Die Frage ist unverblümt: Ist der Accuracy-Gewinn das zusätzliche Risiko wert?

🎬 [VIDEO: "An Introduction to Explainable AI with Shapley Values" - youtube.com - eine klare Erläuterung, wie SHAP Prognosen auf Features zurückführt]

Stufe 4: Fair-Lending-Tests

Die Fair-Lending-Prüfung verdient eine eigene Stufe, weil Black-Box-Modelle hier am häufigsten an der Governance scheitern.

Disparate impact ist ein Rechtsbegriff: eine neutral wirkende Regel, die eine geschützte Gruppe überproportional benachteiligt, kann auch ohne Diskriminierungsabsicht rechtswidrig sein. Ein Machine-Learning-Modell kann disparate impact stillschweigend erzeugen, indem es Muster findet, die mit geschützten Merkmalen korrelieren.

Banken testen das, indem sie Genehmigungsquoten und Bepreisung über Gruppen hinweg vergleichen und dann nach einer less discriminatory alternative (LDA) suchen: einem Modell, das nahezu gleich gut funktioniert, mit geringerem disparate impact. Existiert eine LDA und die Bank hat sie nicht übernommen, sehen Aufsichtsbehörden das sehr kritisch.

Hier schrumpft der Accuracy-Gewinn von sechs Punkten häufig. Das Modell so einzuschränken, dass disparate impact sinkt, kann Prognosekraft kosten. Dieser Tradeoff ist eine Governance-Entscheidung, keine technische.

Stufe 5: Laufendes Monitoring

Die Freigabe ist nicht die Ziellinie. SR 11-7 verlangt kontinuierliches Monitoring, weil Modelle verfallen.

Die Hauptbedrohung ist Drift: die reale Welt verändert sich, während das Modell eingefroren bleibt. Zwei Arten sind relevant:

Data drift. Die Zusammensetzung der eingehenden Antragsteller verschiebt sich, zum Beispiel nachdem die Bank in eine neue Region eintritt.

Concept drift. Die Beziehung zwischen Inputs und Ergebnissen ändert sich, zum Beispiel wenn eine Rezession verändert, wie Einkommen Zahlungsausfälle vorhersagt.

Monitoring-Dashboards verfolgen Prognoseverteilungen, Feature-Stabilität sowie tatsächliche gegen prognostizierte Ausfallquoten. Wenn Metriken festgelegte Schwellen durchbrechen, wird das Modell zur Rekalibrierung oder Abschaltung markiert. Gradient-Boosted-Modelle können schnell driften, daher ist die Monitoring-Frequenz engmaschiger als bei einfacheren Modellen.

Wissenscheck

1. Warum wird Modellrisiko laut SR 11-7 als echte Verlustquelle für eine Bank behandelt?

2. Was verlangt das SR-11-7-Prinzip der „effective challenge" im Kern?

3. Ein Team argumentiert, sein Gradient-Boosted-Modell solle allein deshalb freigegeben werden, weil es die alte logistische Regression bei der Accuracy schlägt. Warum greift diese Begründung in einem Model-Risk-Framework zu kurz?

MEHRFACHAUSWAHL

4. Wählen Sie ALLE korrekten Antworten dazu, was ein Modell zu einem „Black-Box"-Modell macht und wie SR 11-7 darauf reagiert.

Wählen Sie alle richtigen Antworten aus.

MEHRFACHAUSWAHL

5. Wählen Sie ALLE korrekten Antworten zur Rolle der Modelldokumentation in der Entwicklungsphase.

Wählen Sie alle richtigen Antworten aus.

Stufe 6: Die Freigabe durch das Gremium

Das Modell erreicht nun ein Risikokomitee, oft mit Aufsicht auf Board-Ebene. Hier werden Accuracy und Interpretierbarkeit explizit gegeneinander abgewogen.

Das Komitee erhält ein Paket: Performance-Metriken, Validierungsergebnisse, Fair-Lending-Resultate, Explainability-Beispiele und Monitoring-Pläne. Ihre Entscheidung ist Governance, nicht Engineering.

Drei realistische Ergebnisse:

Freigabe wie gebaut. Die Bank akzeptiert das Black-Box-Modell und stützt sich auf SHAP-Erklärungen und starkes Monitoring. Üblich, wenn der Accuracy-Gewinn groß und die Fair-Lending-Tests unauffällig sind.

Freigabe mit Einschränkung. Das Komitee fordert eine einfachere oder eingeschränkte Version und opfert etwas Accuracy für Transparenz und Verteidigungsfähigkeit. Üblich bei Verbraucherentscheidungen mit hohem Einsatz.

Ablehnung. Wenn das Modell einer Aufsichtsbehörde nicht zufriedenstellend erklärt werden kann oder eine less discriminatory alternative existiert, lehnt das Gremium es unabhängig von der Accuracy ab.

Die wiederkehrende Lehre: Im regulierten Bankgeschäft schlägt ein Modell mit 90 Prozent Accuracy, das vollständig verteidigungsfähig ist, oft eines mit 96 Prozent Accuracy, das schwer zu erklären ist. Die zusätzlichen Punkte sind wertlos, wenn eine Aufsichtsbehörde das Modell vom Netz nimmt.

Warum interpretable-by-design an Boden gewinnt

Eine zunehmend verbreitete Antwort ist, den Tradeoff zu vermeiden. Interpretable-by-design-Modelle, etwa monotones Gradient Boosting (bei dem jedes Feature den Score nur in eine konsistente Richtung drücken kann) oder generalisierte additive Modelle, streben Accuracy nahe der Black Box mit eingebauter Transparenz an.

Monotone Constraints sind im Kreditgeschäft besonders nützlich. Sie garantieren zum Beispiel, dass ein höheres Einkommen Ihre Genehmigungschancen nie senkt, was intuitiv und gegenüber einer Aufsichtsbehörde leichter zu verteidigen ist. Die Bank behält viel von der Accuracy und umgeht das Schlimmste des Explainability-Streits.

Das übergreifende Prinzip über Kreditmodelle hinaus: Governance sollte Design prägen, nicht es erst nachträglich prüfen. Am günstigsten löst man ein Explainability-Problem, bevor das Modell gebaut wird.

Wichtigste Erkenntnisse

SR 11-7 macht Modellrisiko zu einem Risiko erster Ordnung. Jedes KI-Modell in einer Bank braucht Dokumentation, unabhängige Validierung („effective challenge") und laufendes Monitoring, egal wie genau es ist.

Erklärungen sind rechtlich gefordert, nicht optional. Nach ECOA und Regulation B muss ein abgelehnter Antragsteller konkrete Gründe erhalten, und das CFPB hat bestätigt, dass dies auch für komplexe Algorithmen gilt. SHAP ist eine gängige Brücke vom Modell-Output zur adverse action notice.

An Fair-Lending-Tests scheitern Black-Box-Modelle am häufigsten. Achten Sie auf disparate impact und rechnen Sie damit, dass Aufsichtsbehörden nach einer less discriminatory alternative fragen.

Accuracy gewinnt selten allein. Ein verteidigungsfähiges, gut überwachtes Modell schlägt meist ein marginal genaueres, das nicht erklärt oder gepflegt werden kann.

Planen Sie früh für Governance. Interpretable-by-design-Ansätze wie monotone Constraints können den größten Teil der Accuracy erfassen und den Interpretierbarkeitsstreit auflösen, bevor er beginnt.