Modellrisiko erkennen, bevor es zum Verlustfall wird

# Modellrisiko erkennen, bevor es zum Verlustfall wird

Eine mittelgroße US-Bank betrieb ein Collections-Modell, das acht Monate lang unbemerkt nicht mehr funktionierte. Zunächst fiel es niemandem auf. Das Modell scorte weiter überfällige Konten und ordnete sie für die Ansprache, aber die Welt darunter hatte sich verändert: eine Verschiebung im Kundenmix nach einer Portfolioübernahme, ein neues Hardship-Programm, eine Änderung darin, wie Callcenter-Mitarbeiter Ergebnisse erfassten. Die Vorhersagen des Modells drifteten von der Realität weg, die Collectors verfolgten die falschen Konten, die Recovery Rates sanken, und als jemand den Modell-Output mit den tatsächlichen Roll Rates abglich, hatte die Bank einen messbaren, vermeidbaren Verlust hingenommen. Das ist ein Lehrbuchfall eines realisierten Modellrisikos, nicht weil das Modell schlecht gebaut war, sondern weil niemand es nach dem Launch beobachtete.

In dieser Lektion geht es darum, diese Drift zu erkennen, bevor sie in Ihren Zahlen oder im Schreiben eines Prüfers auftaucht.

Was „Modellrisiko“ tatsächlich bedeutet

Modellrisiko ist das Risiko finanzieller Verluste oder falscher Entscheidungen, verursacht durch ein Modell, das falsch, falsch eingesetzt oder schlecht verstanden ist. In den USA ist der Referenzrahmen die SR 11-7 Guidance on Model Risk Management der Federal Reserve und des OCC (2011), auch 2026 noch der operative Standard für Banken. Sie definiert Modellrisiko als aus zwei Quellen entstehend:

• Fundamentale Fehler: Das Modell ist konzeptionell falsch oder auf schlechten Daten gebaut.
• Fehlanwendung: Das Modell wird außerhalb der Bedingungen eingesetzt, für die es validiert wurde.

Stille Drift, wie im Collections-Fall, ist meist der zweite Fall. Das Modell war beim Launch nicht falsch. Es wurde falsch, als sich sein Umfeld änderte und niemand die Passung erneut prüfte.

In Europa liegen die entsprechenden Erwartungen im ECB-Leitfaden zu internen Modellen und, breiter gefasst, im EU AI Act (in Kraft seit 2024, gestufte Pflichten bis 2026-2027), der KI-Systeme zur Kreditwürdigkeitsprüfung und zum Credit Scoring als „hochriskant“ einstuft, was verpflichtende Anforderungen an Risikomanagement, Data GovernanceData GovernanceData governance is the set of policies, roles, and processes that ensure data is accurate, secure, well-defined, and used responsibly across an organization.Vollständige Definition ansehen → und menschliche Aufsicht auslöst.

Die drei Risikofamilien, die Sie beobachten sollten

1. Data Drift. Die statistischen Eigenschaften der eingehenden Daten verändern sich. Beispiel: Eine Bank übernimmt das Kreditbuch eines Fintechs; die neuen Kreditnehmer haben dünnere Kreditakten, das Modell sieht also Inputs, auf die es nie trainiert wurde.

2. Concept Drift. Der Zusammenhang zwischen Inputs und Ergebnissen verändert sich, auch wenn die Input-Daten stabil aussehen. Beispiel: Ein Hardship-Programm startet, sodass Kreditnehmer, die nach der alten Logik des Modells „hochriskant“ aussehen, nun schneller gesunden, weil sie Zahlungserleichterungen erhalten haben. Gleiche Inputs, anderes Ergebnis.

3. Feedback-Loop-Risiko. Die Entscheidungen des Modells verändern die kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ünftigen Daten. Beispiel: Ein Collections-Modell priorisiert bestimmte Konten herunter, diese Konten erhalten weniger Aufmerksamkeit, sie performen schlechter, und das Modell „lernt“, dass sie von Anfang an hochriskant waren, was ein sich selbst erfüllendes Muster verstärkt. Besonders gefährlich ist das bei Underwriting- und Collections-Modellen, die beeinflussen, wer kontaktiert, genehmigt oder mit Erleichterungen bedacht wird.

Frühindikatoren: was zu überwachen ist, bevor Verluste auftauchen

Die achtmonatige Lücke im obigen Fall existierte, weil die Bank *Ergebnisse* überwachte (Charge-offs, Recovery Rates), aber nicht das *Modellverhalten*. Ergebnisse laufen um Monate nachher. Verhaltenssignale bewegen sich schneller. Verfolgen Sie diese:

• Population Stability Index (PSI): misst, wie stark sich die Verteilung der Modell-Inputs (oder Scores) gegenüber der Trainings-Baseline verschoben hat. Ein PSI über etwa 0,25 ist eine in der Branche verbreitete Schwelle für eine „signifikante Verschiebung“ (Schätzwert, variiert je nach interner Policy des Instituts).
• Verschiebung der Score-Verteilung: Landen plötzlich mehr Konten im oberen oder unteren Dezil als üblich?
• Override Rate: Wie oft überstimmen menschliche Mitarbeiter das Modell? Eine steigende Override Rate ist ein frühes Zeichen, dass die Mitarbeiter ihm nicht mehr vertrauen.
• Champion-Challenger-Abstand: Betreiben Sie ein einfacheres Benchmark-Modell parallel; wenn der Abstand zwischen ihm und dem Produktionsmodell größererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → wird, hat sich etwas verändert.
• Vollständigkeit der Input-Daten: fehlende Felder, Null-Raten oder neue kategoriale Werte (etwa ein neuer Produktcode für ein Kreditprodukt), die sich in den Feed einschleichen.

Eine einfache Drift-Prüfung, Rechenbeispiel

Der PSI vergleicht den Prozentanteil der Konten in jedem Score-Bucket heute mit dem zum Trainingszeitpunkt.

PSI = Σ (Actual% - Expected%) × ln(Actual% / Expected%)

Angenommen, der Score-Bucket „low risk“ hatte beim Modelltraining 40 % der Konten und hat jetzt 25 %:

Bucket contribution = (0.25 - 0.40) × ln(0.25 / 0.40)
                     = (-0.15) × ln(0.625)
                     = (-0.15) × (-0.47)
                     = 0.0705

Summieren Sie das über alle Buckets. Übersteigt die Summe die Schwelle Ihres Instituts (üblich sind als Schätzwerte 0,1 für „beobachten“ und 0,25 für „handeln“), ist das ein Auslöser für eine Überprüfung, unabhängig davon, ob bereits Verluste aufgetreten sind.

import numpy as np

def psi(expected, actual):
    return np.sum((actual - expected) * np.log(actual / expected))

expected = np.array([0.40, 0.35, 0.25])  # Trainingsverteilung
actual   = np.array([0.25, 0.40, 0.35])  # aktuelle Verteilung
print(round(psi(expected, actual), 3))

Governance-Guardrails vor dem Deployment

Model Risk Management (MRM) nach SR 11-7 ruht auf drei Säulen, und jede lässt sich auf eine konkrete Prüfung vor dem Deployment abbilden:

1. Entwicklung und Dokumentation: Gibt es eine Model Card oder einen gleichwertigen Nachweis über den vorgesehenen Einsatz, die Datenquellen und die bekannten Grenzen? Hätte die Dokumentation des Collections-Modells festgehalten „nicht validiert für Populationen in Hardship-Programmen“, wäre die Drift am Tag des Programmstarts aufgefallen.

2. Unabhängige Validierung: Ein von den Modellentwicklern getrenntes Team muss das Modell vor und periodisch nach dem Launch testen. Nach den aufsichtlichen Erwartungen an US-Banken ist das nicht optional, und nach dem EU AI Act erfordern hochriskante Systeme dokumentierte Konformitätsbewertungen vor dem Inverkehrbringen.

3. Laufende Überwachung: Vorab vereinbarte Trigger (wie die oben genannten PSI-Schwellen), die eine Überprüfung erzwingen, nicht nur ein jährliches Check-in. Die Überwachungsfrequenz sollte dazu passen, wie schnell sich die zugrunde liegende Population verändern kann: monatlich oder sogar wöchentlich für Collections- und Fraud-Modelle, gegenüber quartalsweise für langsamere Modelle wie langfristige Kreditrisiko-Ratings.

Eine praktische Checkliste vor dem Launch:

• Definierter vorgesehener Einsatz und explizite „out of scope“-Bedingungen
• Baseline-Datenverteilung erfasst und für kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ünftige PSI-Vergleiche gespeichert
• Champion-Challenger-Modell läuft parallel
• Override- und Eskalationsprozess für Frontline-Mitarbeiter dokumentiert
• Benannter Model Owner, verantwortlich für die Überwachung nach dem Launch (nicht nur das Build-Team)

Warum das immer wieder passiert

Banken sind gut darin, Modelle vor dem Launch zu validieren, und vergleichsweise schwach darin, sie danach zu beobachten. Ein Federal-Reserve-Ausblick von 2023 und Branchenumfragen (siehe die Supervisory Guidance Library der Fed) nennen immer wieder „unzureichende laufende Überwachung“ als die häufigste MRM-Lücke, die Prüfer finden. Das Muster ist strukturell: Entwicklungsbudgets sind sichtbar und finanziert, Überwachungsbudgets nicht.

Der Collections-Fall spiegelt genau das. Das Modell hat die Validierung bestanden. Danach war niemand dafür verantwortlich. Die Bank erfuhr es über ein quartalsweises Loss Review, das langsamstmögliche Signal, statt über ein wöchentliches PSI-Dashboard, das schnellste.

🎬 [VIDEO: "Model Risk Management Explained" - https://www.youtube.com/results?search_query=model+risk+management+explained+banking - ein Durchgang durch Governance-Konzepte für Modellrisiken im Stil von SR 11-7 für Praktiker im Bankwesen]

Die wichtigsten Erkenntnisse

• Modellrisiko ist nicht nur „das Modell war falsch gebaut“. Die meisten realen Verluste entstehen durch Fehlanwendung oder Drift nach dem Launch, wenn sich die Welt verändert und das Modell nicht.
• Beobachten Sie Verhalten, nicht nur Ergebnisse. PSI, Override Rates und Champion-Challenger-Abstände bewegen sich Monate, bevor Charge-offs oder Recoveries den Schaden zeigen.
• Governance-Frameworks existieren und sind konkret: SR 11-7 in den USA, die Hochrisiko-Einstufung für Credit Scoring im EU AI Act in Europa. Nutzen Sie ihre drei Säulen (Entwicklung, Validierung, Überwachung) als Checkliste.
• Jedes eingesetzte Modell braucht einen benannten Owner und eine vorab vereinbarte Überwachungsfrequenz, die dazu passt, wie schnell sich seine Population verschieben kann, wöchentlich für Collections und Fraud, langsamer für strukturelle Kreditrisikomodelle.
• Die Dokumentation des vorgesehenen Einsatzes und der „out of scope“-Bedingungen ist Ihre billigste Versicherung. Sie macht aus einem stillen Ausfall einen offensichtlichen, sobald sich die Bedingungen ändern.