Die KI-Risikotaxonomie, die jeder Banker jenseits von Bias und Halluzination braucht

# Die KI-Risikotaxonomie, die jeder Banker jenseits von Bias und Halluzination braucht

Im August 2024 reagierten Berichten zufolge die Handelsalgorithmen mehrerer großererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → Asset Manager innerhalb von Minuten auf dasselbe Makrosignal und verstärkten damit einen scharfen Selloff bei japanischen Aktien sowie die Auflösung des Yen-Carry-Trades. Kein einzelnes Modell war „falsch". Jedes verhielt sich genau wie konstruiert. Die Gefahr lag darin, dass tausende Institute faktisch Varianten desselben Modells betrieben, trainiert auf denselben Daten, mit derselben Reaktion, zur selben Zeit. Das ist kein Bias-Problem und kein Halluzinationsproblem. Es ist ein systemisches KI-Risiko, und die meisten Risikokomitees von Banken haben dafür noch keinen Namen auf ihrer Checkliste.

Diese Lektion liefert Ihnen vier Begriffe, die Regulatoren und Aufseher tatsächlich verwenden: Konzentrationsrisiko, Third-Party-Contagion, Feedback Loops und Model Herding. Das Vokabular zu kennen ist heute Grundvoraussetzung für jedes Governance-Gespräch im Banking.

Warum Bias und Halluzination nicht ausreichen

Bias (systematische Unfairness in Modell-Outputs, oft gegenüber geschützten Gruppen) und Halluzination (ein generatives Modell erzeugt selbstsicher formulierte, aber falsche Inhalte) dominieren die öffentliche Diskussion, weil sie sichtbar und mit einem einzigen schlechten Output leicht zu demonstrieren sind.

Bankenaufseher, darunter die Federal Reserve, die Prudential Regulation Authority (PRA) der Bank of England und die Europäische Zentralbank (EZB), sorgen sich jedoch stärker um Risiken, die auf *System*ebene entstehen: viele Banken, die ähnliche Modelle, ähnliche Anbieter oder ähnliche Daten nutzen und damit korrelierte Fehlermuster erzeugen, die die Modellvalidierung eines einzelnen Instituts nicht erfassen würde. Das ist das Feld des Model Risk Management, in den USA formalisiert unter SR 11-7, der grundlegenden Leitlinie der Fed zum Modellrisiko, die zunehmend auch speziell auf KI/ML-Modelle ausgeweitet wird.

Konzentrationsrisiko: wenn alle dasselbe Gehirn mieten

Konzentrationsrisiko bedeutet hier die Abhängigkeit von einer kleinen Zahl von KI-Anbietern, Foundation Models oder Datensätzen über den gesamten Sektor hinweg.

Konkretes Beispiel: Mehrere mittelgroße US-Banken nutzen denselben Drittanbieter für KI-basiertes Credit Scoring, das auf einem ähnlichen Basismodell aufbaut (etwa eine fine-getunte Version eines großen Foundation Models von OpenAI, Anthropic oder Google). Hat das zugrundeliegende Modell dieses Anbieters einen systematischen Fehler, eine veraltete Makroannahme, ein Data-Drift-Problem, erben Dutzende Banken denselben blinden Fleck gleichzeitig.

Das spiegelt das „zu viele Eier, ein Korb"-Problem, das Regulatoren aus der Cloud-Infrastruktur gut kennen. Die Bank of England und die EZB haben darauf hingewiesen, dass die Verlagerung auf eine Handvoll Hyperscale-Cloud- und KI-Anbieter (Microsoft Azure, AWS, Google Cloud) operationelles Risiko über einen großen Teil des Finanzsektors konzentriert. Der Digital Operational Resilience Act (DORA) der EU, der seit Januar 2025 vollständig anwendbar ist, verlangt von Banken genau aus diesem Grund, kritische IKT-Drittanbieter (Informations- und Kommunikationstechnologie) zu erfassen und zu melden.

Durchgerechnetes Beispiel: Wenn 40 % der europäischen Retailbanken dieselben drei cloudbasierten KI-Anbieter für Fraud Detection nutzen, führt eine gemeinsame Schwachstelle oder ein fehlerhaftes Modell-Update nicht dazu, dass die Betrugsverluste einer Bank steigen. Es kann zu korrelierten Ausfällen der Fraud Detection über einen erheblichen Teil des Retail-Banking-Sektors gleichzeitig führen.

Third-Party-Contagion: der Ausfall Ihres Anbieters ist Ihr Risikoereignis

Third-Party-Contagion ist der Verwandte des Konzentrationsrisikos: Es geht darum, wie sich ein Ausfall *fortpflanzt*, nicht nur darum, wo die Abhängigkeit liegt.

Ein Beispiel aus dem Kreditgeschäft: Eine Bank lagert die Einkommensprüfung an einen KI-Dienstleister für Dokumentenverarbeitung aus. Der Anbieter spielt ein Modell-Update aus, das ein verbreitetes Lohnabrechnungsformat falsch liest und Kredite stillschweigend genehmigt, die es markieren müsste. Die Bank merkt es erst Wochen später, als die Ausfalldaten auffällig aussehen. Bis dahin sind tausende Kredite betroffen. Das Kreditrisiko liegt bei der Bank; das Modell lag beim Anbieter.

Deshalb drängen sowohl DORA als auch in den USA die Leitlinie des OCC (Office of the Comptroller of the Currency) zum Third-Party-Risikomanagement Banken zu kontinuierlichem Monitoring der KI-Performance von Anbietern, nicht nur zur Due Diligence beim Onboarding. Governance muss über die eigenen Bankmauern hinausreichen.

Feedback Loops: wenn das Modell die Welt verändert, die es prognostiziert

Ein Feedback Loop entsteht, wenn die Outputs eines Modells die kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ünftigen Daten verändern, auf denen es trainiert oder evaluiert wird, und damit die eigenen Prognosen verstärken (oder verzerren).

Beispiel Trading Desk: Ein Market-Making-Algorithmus weitet Spreads für ein bestimmtes Kundensegment systematisch aus, basierend auf prognostiziertem „toxic flow" (informierter Handel, der wahrscheinlich zulasten des Market Makers profitabel ist). Diese Kunden erhalten schlechtere Execution, handeln weniger über diesen Desk, und die Trainingsdaten spiegeln zunehmend nur noch das „sichere" Kundenverhalten, das das Modell ohnehin erwartet hat. Das Modell erscheint über die Zeit genauer, aber nur, weil es die beobachtete Population selbst geformt hat.

Beispiel Kreditgeschäft: Ein Kreditmodell lehnt Antragsteller unterhalb einer bestimmten Score-Schwelle ab. Diese Antragsteller bekommen nie einen Kredit, also beobachtet die Bank nie, ob sie zurückgezahlt hätten. Die „Genauigkeit" des Modells wird nur an der genehmigten Population gemessen, eine Form von Selection Bias, die sich mit jedem Retraining-Zyklus verstärkt. In der Kreditmodellierungsforschung wird das manchmal als „selective labels problem" bezeichnet, gut dokumentiert in der akademischen Literatur, unter anderem in Arbeiten, die das Consumer Financial Protection Bureau zusammengefasst hat.

Model Herding: alle rennen zum gleichen Ausgang

Model Herding liegt vor, wenn unabhängig voneinander entwickelte Modelle, weil sie auf ähnlichen Daten oder ähnlichen Marktsignalen trainiert sind, zu ähnlichen Entscheidungen konvergieren, besonders unter Stress, und damit Bewegungen verstärken, die eine vielfältige Gruppe menschlicher oder modellbasierter Entscheider gedämpft hätte.

Das ist der Mechanismus hinter dem Eingangsbeispiel. ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → ist strukturell ähnlich zu dem Risiko, das Regulatoren nach dem Portfolio-Insurance-Crash von 1987 und dem Flash Crash von 2010 identifiziert haben, nur erhöhen KI-getriebene Handelsstrategien den Einsatz, weil mehr vom „Denken" inzwischen automatisiert ist und Modelle schneller neu trainiert werden kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, als sich menschliche Strategien anpassen.

Die Bank for International Settlements (BIS) und das Financial Stability Board (FSB) haben dazu beide gezielt publiziert. Der FSB-Bericht 2024 zu KI und Finanzstabilität benennt Herding und korreliertes Risikoverhalten als systemisches Anliegen erster Ordnung, gerade weil es in keinem Risiko-Dashboard eines einzelnen Instituts auftaucht.

Ein einfacher Weg, Herding-Risiko im eigenen Haus zu erkennen

Herding risk checklist (desk-level):
1. Do we know which foundation model(s) our vendors' tools are built on?
2. Would a competitor's model likely reach the same decision on the same data?
3. If yes to #2, what % of the market shares this dependency? (estimate)
4. Do we have a "diversity of models" requirement in procurement policy?
5. Is there a manual override / circuit breaker if signals move in unison?

Wenn Sie Frage 1 für Ihre drei wichtigsten KI-Anbieter nicht beantworten kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, ist das eine Governance-Lücke, die man ansprechen sollte, und keine Hypothese.

Die Guardrails: was vor dem Deployment zu prüfen ist

Ausgehend von dieser Taxonomie sollte eine Pre-Deployment-Checkliste für jedes KI-System in einer Bank folgendes enthalten:

• Mapping von Anbieter- und Modell-Lineage: Kennen Sie für jedes KI-Tool eines Drittanbieters das Foundation Model, die Herkunft der Trainingsdaten und den Update-Rhythmus, entsprechend DORA-artigen Anforderungen.
• Konzentrations-Stresstests: Modellieren Sie, was passiert, wenn Ihr wichtigster KI-Anbieter ausfällt oder einen systematischen Fehler hat, nicht nur, was passiert, wenn Ihr eigenes Modell unterperformt.
• Feedback-Loop-Audits: Testen Sie bei jedem Modell, das beeinflusst, wer ausgeschlossen wird (Kreditablehnungen, Fraud Flags, Limits für Handelsgegenparteien), die Performance regelmäßig an einer kleinen Stichprobe der ausgeschlossenen Population, nicht nur an der genehmigten.
• Korrelationsprüfungen über den Sektor hinweg: Benchmarken Sie die Entscheidungen Ihres Modells, wo möglich, gegen den Branchenkonsens; große Abweichungen sind nicht automatisch falsch, aber ungeprüfte Konvergenz mit allen anderen ist unter Herding-Risiko ein Warnsignal.
• Punkte für menschliches Override: Definieren Sie vorab die konkreten Markt- oder Portfoliobedingungen, unter denen automatisierte Entscheidungen für eine menschliche Prüfung ausgesetzt werden. SR 11-7 und die KI-spezifischen Erweiterungen erwarten, dass dies dokumentiert ist und nicht in der Krise improvisiert wird.

🎬 [VIDEO: "How AI Could Cause the Next Financial Crisis" - youtube.com/@TheEconomist - eine knappe Erklärung zu systemischem KI-Risiko im Finanzwesen, mit Herding- und Konzentrationsdynamiken, die für diese Lektion relevant sind]

Die wichtigsten Erkenntnisse

• Bias und Halluzination sind Risiken einzelner Modelle; Konzentrationsrisiko, Third-Party-Contagion, Feedback Loops und Model Herding sind Risiken auf Systemebene, die Regulatoren (Fed, EZB, PRA, FSB, BIS) aktiv beobachten.
• Konzentrationsrisiko und Third-Party-Contagion entstehen daraus, dass zu viele Banken von zu wenigen KI-Anbietern oder Foundation Models abhängen; DORA (EU, seit Januar 2025 vollständig anwendbar) und die OCC-Leitlinie (USA) schreiben genau deshalb Vendor-Mapping und Monitoring vor.
• Feedback Loops verzerren die Modellgenauigkeit über die Zeit, indem sie genau die Daten formen, mit denen das Modell neu trainiert wird, besonders gefährlich bei Kreditablehnungen und Fraud Flagging.
• Model Herding kann unabhängig entwickelte KI-Systeme unter Marktstress in einen korrelierten, herdenartigen Akteur verwandeln, der Mechanismus hinter mehreren Flash-Crash-artigen Ereignissen der letzten Zeit.
• Erfassen Sie vor dem Deployment die Anbieter-Lineage, stresstesten Sie auf Konzentration, auditieren Sie Feedback Loops an ausgeschlossenen Populationen und definieren Sie Auslöser für menschliches Override vorab. Das ist es, was „Governance" konkret bedeutet, jenseits eines Policy-Dokuments.