Die KI-Risikotaxonomie, die jeder Banker jenseits von Bias und Halluzination braucht

Im August 2024 reagierten Berichten zufolge die Handelsalgorithmen mehrerer großererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → Asset Manager innerhalb von Minuten auf dasselbe Makrosignal und verstärkten damit einen scharfen Selloff bei japanischen Aktien sowie die Auflösung des Yen Carry Trade. Kein einzelnes Modell war „falsch". Jedes verhielt sich exakt wie konzipiert. Gefährlich war, dass tausende Institute faktisch Varianten desselben Modells betrieben, trainiert auf denselben Daten, mit derselben Reaktion, zur selben Zeit. Das ist kein Bias-Problem und kein Halluzinationsproblem. Es ist ein systemisches KI-Risiko, und die meisten Risikokomitees von Banken haben dafür noch keinen Namen auf ihrer Checkliste.

Diese Lektion gibt Ihnen vier Begriffe, die Regulatoren und Aufseher tatsächlich verwenden: Konzentrationsrisiko, Third-Party-Contagion, Feedback-Loops und Model Herding. Das Vokabular zu kennen ist heute die Mindestvoraussetzung für jedes Governance-Gespräch im Banking.

Warum Bias und Halluzination nicht ausreichen

Bias (systematische Unfairness in Modell-Outputs, oft entlang geschützter Gruppen) und Halluzination (ein generatives Modell produziert selbstbewusst falsche Inhalte) dominieren die öffentliche Diskussion, weil sie sichtbar sind und sich mit einem einzigen schlechten Output leicht demonstrieren lassen.

Bankaufseher wie die Federal Reserve, die Prudential Regulation Authority (PRA) der Bank of England und die Europäische Zentralbank (EZB) sorgen sich aber stärker um Risiken, die auf *System*ebene entstehen: viele Banken nutzen ähnliche Modelle, ähnliche Anbieter oder ähnliche Daten und erzeugen damit korrelierte Failure Modes, die keine Modellvalidierung eines einzelnen Instituts aufdecken würde. Das ist die Domäne des Model Risk Management, in den USA formalisiert unter SR 11-7, der grundlegenden Guidance der Fed zum Modellrisiko, die zunehmend speziell auf KI-/ML-Modelle ausgeweitet wird.

Konzentrationsrisiko: wenn alle dasselbe Gehirn mieten

Konzentrationsrisiko bedeutet hier die Abhängigkeit von einer kleinen Zahl von KI-Anbietern, Foundation Models oder Datensätzen über den gesamten Sektor hinweg.

Konkretes Beispiel: Mehrere mittelgroße US-Banken nutzen denselben Third-Party-Anbieter für KI-getriebenes Credit Scoring, das auf einem ähnlichen Basismodell aufbaut (etwa eine fine-getunte Version eines großen Foundation Models von OpenAI, Anthropic oder Google). Hat das zugrunde liegende Modell dieses Anbieters einen systematischen Fehler, eine veraltete Makroannahme, ein Data-Drift-Problem, erben dutzende Banken gleichzeitig denselben blinden Fleck.

Das spiegelt das „zu viele Eier, ein Korb"-Problem, das Regulatoren aus der Cloud-Infrastruktur gut kennen. Die Bank of England und die EZB haben darauf hingewiesen, dass die Verlagerung auf eine Handvoll Hyperscale-Cloud- und KI-Anbieter (Microsoft Azure, AWS, Google Cloud) operationelle Risiken über einen großen Teil des Finanzsektors konzentriert. Der Digital Operational Resilience Act (DORA) der EU, seit Januar 2025 vollständig anwendbar, verlangt von Banken genau aus diesem Grund ausdrücklich, kritische IKT-Drittanbieter (Informations- und Kommunikationstechnologie) zu erfassen und zu melden.

Durchgerechnetes Beispiel: Wenn 40 % der europäischen Retailbanken dieselben drei cloudbasierten KI-Anbieter für Fraud Detection nutzen, führt eine gemeinsame Schwachstelle oder ein fehlerhaftes Modell-Update nicht dazu, dass die Betrugsverluste einer Bank steigen. Es kann gleichzeitig zu korrelierten Ausfällen der Fraud Detection über einen erheblichen Teil des Retail-Banking-Sektors führen.

Third-Party-Contagion: der Ausfall Ihres Anbieters ist Ihr Risikoereignis

Third-Party-Contagion ist der Verwandte des Konzentrationsrisikos: Es geht darum, wie sich ein Ausfall *fortpflanzt*, nicht nur darum, wo die Abhängigkeit sitzt.

Ein Beispiel aus dem Kreditgeschäft: Eine Bank lagert die Einkommensprüfung an einen KI-Anbieter für Dokumentenverarbeitung aus. Der Anbieter spielt ein Modell-Update aus, das ein verbreitetes Lohnabrechnungsformat falsch liest und stillschweigend Kredite genehmigt, die es markieren müsste. Die Bank merkt es erst Wochen später, als die Ausfalldaten seltsam aussehen. Bis dahin sind tausende Kredite betroffen. Die Bank trägt das Kreditrisiko; der Anbieter besaß das Modell.

Deshalb drängen DORA und in den USA die [Guidance zum Third-Party-Risikomanagement](https://www.occ.gov/news-issuances/bulletins/2023/bulletin-2023-17.html) des OCC (Office of the Comptroller of the Currency) Banken zu kontinuierlichem Monitoring der KI-Performance ihrer Anbieter, nicht nur zur Due Diligence beim Onboarding. Governance muss über die eigenen Wände hinausreichen.

Feedback-Loops: wenn das Modell die Welt verändert, die es prognostiziert

Ein Feedback-Loop entsteht, wenn die Outputs eines Modells die kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →ünftigen Daten verändern, auf denen es trainiert oder evaluiert wird, und damit die eigenen Prognosen verstärken (oder verzerren).

Beispiel Trading Desk: Ein Market-Making-Algorithmus weitet systematisch die Spreads für ein bestimmtes Kundensegment aus, basierend auf prognostiziertem „toxic flow" (informierter Handel, der wahrscheinlich zulasten des Market Makers profitabel ist). Diese Kunden erhalten schlechtere Execution, handeln weniger über diesen Desk, und die Trainingsdaten spiegeln zunehmend nur noch das „sichere" Kundenverhalten, das das Modell schon erwartet hat. Das Modell sieht über die Zeit genauer aus, aber nur, weil es die beobachtete Population selbst geformt hat.

Beispiel Kreditgeschäft: Ein Kreditmodell lehnt Antragsteller unterhalb eines bestimmten Scores ab. Diese Antragsteller bekommen nie einen Kredit, also erfährt die Bank nie, ob sie zurückgezahlt hätten. Die „Genauigkeit" des Modells wird nur an der genehmigten Population gemessen, eine Form von Selection Bias, die sich mit jedem Retraining-Zyklus verstärkt. In der Forschung zur Kreditmodellierung wird das manchmal als „selective labels problem" bezeichnet, gut dokumentiert in der akademischen Literatur, unter anderem in Arbeiten, die das Consumer Financial Protection Bureau zusammengefasst hat.

Model Herding: alle rennen zum selben Ausgang

Model Herding liegt vor, wenn unabhängig gebaute Modelle, weil sie auf ähnlichen Daten oder ähnlichen Marktsignalen trainiert sind, zu ähnlichen Entscheidungen konvergieren, besonders unter Stress, und damit Bewegungen verstärken, die eine vielfältige Gruppe menschlicher oder modellbasierter Entscheider gedämpft hätte.

Das ist der Mechanismus hinter dem Eingangsbeispiel. Er ist strukturell ähnlich zu dem Risiko, das Regulatoren nach dem Portfolio-Insurance-Crash von 1987 und dem Flash Crash von 2010 identifiziert haben, nur erhöhen KI-getriebene Handelsstrategien den Einsatz, weil mehr vom „Denken" jetzt automatisiert ist und Modelle schneller neu trainiert werden können, als menschliche Strategien sich anpassen.

Die Bank für Internationalen Zahlungsausgleich (BIZ) und das Financial Stability Board (FSB) haben beide speziell dazu publiziert. Der FSB-Bericht 2024 zu KI und Finanzstabilität kennzeichnet Herding und korreliertes Risikoverhalten als systemische Sorge erster Ordnung, genau weil es in keinem Risiko-Dashboard eines einzelnen Instituts auftaucht.

Ein einfacher Weg, Herding-Risiko im eigenen Haus zu erkennen

Herding risk checklist (desk-level):
1. Do we know which foundation model(s) our vendors' tools are built on?
2. Would a competitor's model likely reach the same decision on the same data?
3. If yes to #2, what % of the market shares this dependency? (estimate)
4. Do we have a "diversity of models" requirement in procurement policy?
5. Is there a manual override / circuit breaker if signals move in unison?

Wenn Sie Frage 1 für Ihre drei wichtigsten KI-Anbieter nicht beantworten können, ist das eine Governance-Lücke, die man ansprechen sollte, und keine Hypothese.

Die GuardrailsGuardrailsRegeln und Kontrollen, die ein KI-System in sicheren, rechtskonformen und markengerechten Grenzen halten und unerwünschte Ausgaben blockieren.Vollständige Definition ansehen →: was vor dem Deployment zu prüfen ist

Angesichts dieser Taxonomie sollte eine Pre-Deployment-Checkliste für jedes KI-System in einer Bank folgendes enthalten:

• Mapping von Anbieter- und Modell-Lineage: Kennen Sie Foundation Model, Herkunft der Trainingsdaten und Update-Kadenz für jedes KI-Tool von Drittanbietern, gemäß DORA-artigen Anforderungen.
• Konzentrations-Stresstests: Modellieren Sie, was passiert, wenn Ihr wichtigster KI-Anbieter einen Ausfall oder systematischen Fehler hat, nicht nur, was passiert, wenn Ihr eigenes Modell unterperformt.
• Audits von Feedback-Loops: Testen Sie bei jedem Modell, das beeinflusst, wer ausgeschlossen wird (Kreditablehnungen, Fraud-Flags, Limits für Handelskontrahenten), regelmäßig die Performance an einer kleinen Stichprobe der ausgeschlossenen Population, nicht nur an der genehmigten.
• Korrelationsprüfungen über den Sektor: Benchmarken Sie, wo möglich, die Entscheidungen Ihres Modells gegen den Branchenkonsens; große Abweichungen sind nicht automatisch falsch, aber unreflektierte Konvergenz mit allen anderen ist unter Herding-Risiko ein Warnsignal.
• Punkte für menschliches Override: Definieren Sie im Vorfeld die konkreten Markt- oder Portfoliobedingungen, unter denen automatisierte Entscheidungen für eine menschliche Prüfung angehalten werden. SR 11-7 und seine KI-spezifischen Erweiterungen erwarten das dokumentiert, nicht improvisiert während einer Krise.

🎬 [VIDEO: "How AI Could Cause the Next Financial Crisis" - youtube.com/@TheEconomist - eine kompakte Erklärung zu systemischem KI-Risiko im Finanzwesen, mit Herding- und Konzentrationsdynamiken, die für diese Lektion relevant sind]

Kernpunkte

• Bias und Halluzination sind Risiken einzelner Modelle; Konzentrationsrisiko, Third-Party-Contagion, Feedback-Loops und Model Herding sind Risiken auf Systemebene, die Regulatoren (Fed, EZB, PRA, FSB, BIZ) aktiv beobachten.
• Konzentrationsrisiko und Third-Party-Contagion entstehen daraus, dass zu viele Banken von zu wenigen KI-Anbietern oder Foundation Models abhängen; DORA (EU, seit Januar 2025 vollständig anwendbar) und die OCC-Guidance (USA) schreiben aus diesem Grund Mapping und Monitoring von Anbietern vor.
• Feedback-Loops verzerren die Modellgenauigkeit über die Zeit, indem sie genau die Daten formen, mit denen das Modell neu trainiert wird, besonders gefährlich bei Kreditablehnungen und Fraud-Flagging.
• Model Herding kann unabhängig gebaute KI-Systeme unter Marktstress in einen korrelierten, herdenartigen Akteur verwandeln, der Mechanismus hinter mehreren jüngeren Flash-Crash-artigen Ereignissen.
• Bevor Sie deployen: Anbieter-Lineage mappen, auf Konzentration stresstesten, Feedback-Loops an ausgeschlossenen Populationen auditieren und Trigger für menschliches Override vorab definieren. Das ist, was „Governance" konkret bedeutet, jenseits eines Policy-Dokuments.