Die KI-Risikotaxonomie katalogisieren

# Die KI-Risikotaxonomie katalogisieren

2024 erfand ein Chatbot von Air Canada eine Rückerstattungsregel, die es nicht gab, und ein Gericht machte die Airline für das haftbar, was ihre KI gesagt hatte. Übertragen Sie das auf einen Vermögensverwalter, dessen LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen →-Copilot einem Kunden erzählt, ein strukturiertes Produkt sei „kapitalgeschützt“, obwohl es das nicht ist. Gleiches Fehlermuster, höhere Einsätze, und eine Aufsichtsbehörde (SEC oder FCA) schaut zu. Diese Lektion verwandelt diffuse KI-Sorgen in ein konkretes, bewertetes Risikoregister, das Sie morgen einem Chief Risk Officer übergeben kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnten.

*LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen → = Large Language ModelLarge Language ModelA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen →, die Technologie hinter Chatbots wie ChatGPT. Copilot = ein KI-Assistent, der in einen Workflow eingebettet ist, etwa zum Entwerfen von Kunden-E-Mails oder zum Zusammenfassen von Research.*

Warum eine Taxonomie und keine Sorgenliste

Eine Taxonomie zwingt Sie dazu, jedes Risiko zu benennen, es in Ihrem Book zu lokalisieren und es konsistent zu bewerten. Aufsichtsbehörden erwarten das inzwischen. Der EU AI Act (seit 2024 in Kraft, mit Pflichten, die bis 2026 und 2027 gestaffelt greifen) verlangt eine Risikoklassifizierung für KI-Systeme. In den USA hat die SEC „AI Washing“ verfolgt (das Übertreiben von KI-Fähigkeiten gegenüber Investoren), und das NIST AI Risk Management Framework bietet eine kostenlose, herstellerneutrale Struktur, die viele US-Häuser freiwillig übernehmen.

*Book = das Portfolio und die Kundenbasis, die ein Haus verwaltet. Ein „live“ Book bedeutet echtes Kundengeld, keine Sandbox.*

Wir bewerten jedes Risiko auf zwei Achsen, 1 bis 5:

• Likelihood: wie häufig das plausibel eintreten kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnte.
• Impact: Kundenschaden, regulatorisches Exposure und finanzieller Verlust zusammen.

Risikoscore = Likelihood x Impact. Alles mit 15 oder mehr braucht einen namentlichen Owner und eine Mitigation vor dem Deployment.

Die vier Hauptrisiken

1. Halluzinierende LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen →-Copilots

Eine Halluzination liegt vor, wenn ein LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen → flüssigen, selbstsicheren Text produziert, der sachlich falsch ist. Im Asset Management zeigt sich das im Kundenchat, beim Erstellen von RFPs (Request For Proposal) und beim Zusammenfassen von Research.

Konkrete Szene: Eine Privatbank setzt einen Copilot ein, um Fonds-Factsheets zusammenzufassen. ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → gibt die laufenden Kosten eines Fonds mit 0,45 % an, während der echte Wert 0,95 % beträgt. Ein Relationship Manager kopiert das in eine Kunden-E-Mail. Das ist ein Falschberatungs-Exposure unter MiFID II (die EU-Richtlinie über Märkte für Finanzinstrumente, die Geeignetheit und Offenlegung regelt).

• Likelihood: 4 (Halluzination ist heutigen LLMs inhärent)
• Impact: 4 (direkter Kundenschaden, Regelverstoß)
• Score: 16

Guardrail: Retrieval-Augmented Generation (RAG), bei der das Modell eine Quelldatei zitieren muss, plus eine Regel, dass jede genannte Zahl auf die Quellzeile zurückverlinken muss. Lassen Sie einen Copilot niemals frei Zahlen generieren.

2. Korreliertes Model Herding

Das ist das stille, systemische Risiko. Wenn viele Manager dasselbe Foundation Model oder denselben Signalanbieter lizenzieren, kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen ihre Portfolios beginnen, auf dieselben Prompts gleich zu reagieren. Wenn die KI aller gleichzeitig „Duration reduzieren“ sagt, entstehen Crowded Trades und Liquiditätslücken.

Die Bank of England und das Financial Stability Board haben beide auf dieses Konzentrationsrisiko hingewiesen. Es ist nicht hypothetisch: Quant-Strategien haben Crowding schon gezeigt (das „Quant Quake“ vom August 2007 ist das klassische Beispiel aus der Zeit vor KI).

• Likelihood: 3 (steigend, da sich die Adoption konzentriert)
• Impact: 5 (systemisch, trifft in gestressten Märkten das ganze Book)
• Score: 15

Guardrail: Vendor- und Modellvielfalt als überwachte Metrik verfolgen. Das Book unter der Annahme stresstesten, dass ein korreliertes KI-getriebenes Signal in Ihrer Peer Group gleichzeitig auslöst.

3. Data Leakage

Zwei Varianten. Erstens: vertrauliche Daten (Kunden-PII, Positionen, Deal-Informationen), die *in* ein öffentliches Modell abfließen, wenn Mitarbeiter sie in einen Consumer-Chatbot kopieren. Zweitens: Modelloutputs, die Informationen offenlegen, die sie nicht offenlegen sollten, etwa ein Copilot, der auf dem Mandat eines Kunden trainiert wurde und Details gegenüber einem anderen preisgibt.

*PII = Personally Identifiable Information, in Europa durch die DSGVO und in den USA durch verschiedene Landesgesetze geschützt.*

Konkrete Szene: Ein Analyst kopiert eine M&A-Position vor der Ankündigung in ein öffentliches LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen →, um „beim Schreiben des Memos zu helfen“. Diese Daten liegen nun möglicherweise auf einem Server eines Dritten. Unter der DSGVO kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Bußgelder 4 % des globalen Jahresumsatzes erreichen. Nach Marktmissbrauchsregeln (der EU-Marktmissbrauchsverordnung, MAR) ist die Position selbst eine Insiderinformation.

• Likelihood: 4 (menschliches Verhalten ist das schwache Glied)
• Impact: 5 (regulatorisch, reputativ, potenziell strafrechtlich)
• Score: 20

Guardrail: Consumer-KI-Tools auf Firmengeräten sperren, eine Enterprise-Instanz mit vertraglichem Datenschutz bereitstellen (kein Training auf Ihren Daten) und jeden Prompt loggen.

4. Vendor-Konzentration

Die meisten Häuser bauen keine Foundation Models. Sie mieten sie von einer Handvoll Anbietern (OpenAI, Anthropic, Google, Microsoft, plus den Cloud-Hosts AWS und Azure). Wenn ein Anbieter die Preise ändert, eine Modellversion abkündigt oder einen Ausfall hat, bricht Ihr Workflow.

Konkrete Szene: Eine Modellversion, von der Ihr Compliance-Workflow abhängt, wird mit 90 Tagen Vorlauf eingestellt, und der Nachfolger verhält sich bei Ihren Prompts anders. Sie müssen alles neu validieren.

• Likelihood: 3
• Impact: 4 (operativ, nicht unmittelbar kundenseitig)
• Score: 12

Guardrail: Multi-Vendor-Abstraktion (Prompts über eine Schicht routen, die Anbieter wechseln kann) und vertragliche KKThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ündigungsfristen. Das ist klassische operationale Resilienz, in Europa nun von DORA abgedeckt (dem Digital Operational Resilience Act, der seit Januar 2025 für Finanzunternehmen gilt), der kritische IKT-Drittanbieter ausdrücklich erfasst.

Das zusammengestellte Risikoregister

| Risiko | Likelihood | Impact | Score | Owner |

|---|---|---|---|---|

| Data Leakage | 4 | 5 | 20 | CISO |

| Halluzinierender Copilot | 4 | 4 | 16 | Head of Advice |

| Model Herding | 3 | 5 | 15 | CIO |

| Vendor-Konzentration | 3 | 4 | 12 | COO |

Alles ab 15 (drei von vier) braucht eine Mitigation vor dem Go-live. Data Leakage steht an der Spitze, nicht weil es exotisch ist, sondern weil menschliches Verhalten die Likelihood nach oben treibt.

🎬 [VIDEO: „The Air Canada Chatbot Case“ - youtube.com - eine kurze Erklärung der Gerichtsentscheidung, die ein Unternehmen für die Falschaussagen seiner KI haftbar macht, direkt relevant für die Copilot-Haftung]

Scoring im Code

Wenn Sie dieses Register in einer Tabelle oder einer Data PipelineData PipelineETL (Extract, Transform, Load) is a data integration process that pulls data from sources, reshapes it into a consistent format, and writes it into a target system.Vollständige Definition ansehen → pflegen, ist die Logik trivial und eine Automatisierung wert, damit sich die Scores mit Ihren Schätzungen aktualisieren:

risks = [
    {"name": "Data leakage",        "likelihood": 4, "impact": 5},
    {"name": "Hallucinating copilot","likelihood": 4, "impact": 4},
    {"name": "Model herding",       "likelihood": 3, "impact": 5},
    {"name": "Vendor concentration","likelihood": 3, "impact": 4},
]

THRESHOLD = 15
for r in risks:
    r["score"] = r["likelihood"] * r["impact"]
    r["action"] = "MITIGATE PRE-DEPLOY" if r["score"] >= THRESHOLD else "monitor"

for r in sorted(risks, key=lambda x: -x["score"]):
    print(f'{r["name"]:24} {r["score"]:>2}  {r["action"]}')

Entscheidend ist nicht der Code. Entscheidend ist, dass die Schwelle explizit, prüfbar und über jeden KI-Use-Case hinweg konsistent ist, den Sie beurteilen.

Vom Register zu den Guardrails

Ein Score ist eine Diagnose. Der Guardrail ist die Behandlung. Ordnen Sie jedem hoch bewerteten Risiko eine Prüfung zu, die Sie *vor* dem Deployment durchführen, und eine Kontrolle, die danach *laufend* greift.

Prüfungen vor dem Deployment

• Modellvalidierung: den Copilot gegen einen festen Satz von Fragen mit bekannten Antworten testen. Die Halluzinationsrate messen. Erfindet ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → häufiger als in einem winzigen Bruchteil der Fälle Zahlen, geht ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → nicht an den Kunden.
• Red Teaming: bewusst versuchen, das Modell dazu zu bringen, Daten zu leaken oder etwas Non-Compliantes zu sagen. Dokumentieren, was bricht.
• Human in the Loop: für jeden Output, der einen Kunden erreicht oder einen Trade auslöst, festlegen, wer abzeichnet. Der EU AI Act schreibt menschliche Aufsicht für Systeme mit höherem Risiko vor.

Laufende Kontrollen

• Prompt- und Output-Logging: eine prüfbare Spur führen. Wenn eine Aufsichtsbehörde fragt „Was hat Ihre KI diesem Kunden gesagt?“, müssen Sie antworten kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen.
• Drift-Monitoring: das Modellverhalten ändert sich, wenn der Anbieter es aktualisiert. Führen Sie Ihre Tests mit bekannten Antworten planmäßig erneut durch.
• Konzentrations-Dashboard: verfolgen, wie viel Ihres Workflows von einem einzelnen Modell oder Anbieter abhängt.

Wer das verantwortet

Governance ist nicht „das Problem des KI-Teams“. Modellrisiko liegt beim CROCROConversion Rate Optimization (CRO) is the systematic practice of increasing the percentage of users who complete a desired action, using data, testing, and user research.Vollständige Definition ansehen → und CIO, Data Leakage beim CISO, Vendor-Resilienz beim COO und kundenseitige Korrektheit beim Head of Advice. Der Vorstand zeichnet den Risikoappetit ab. Das spiegelt das „Three Lines of Defence“-Modell, das Risikoprofis ohnehin nutzen: das Geschäft verantwortet das Risiko, Risk und Compliance hinterfragen es, und die interne Revision prüft das Ganze.

Die wichtigsten Erkenntnisse

• Bewerten statt Bauchgefühl. Likelihood x Impact mit einer veröffentlichten Schwelle (wir haben 15 verwendet) macht aus KI-Sorgen ein prüfbares Register mit namentlichen Ownern.
• Data Leakage steht meist an der Spitze, weil menschliches Verhalten die Likelihood treibt. Consumer-KI-Tools sperren, eine vertraglich geschützte Enterprise-Instanz bereitstellen und alles loggen.
• Lassen Sie einen Copilot niemals Zahlen erfinden. Retrieval mit verpflichtender Quellenangabe nutzen und für alles Kundenseitige oder Trade-Auslösende eine menschliche Abzeichnung behalten.
• Model Herding ist das systemische Schläferrisiko. Vendor- und Modellvielfalt überwachen und das Szenario stresstesten, in dem die KI jedes Peers gleichzeitig dasselbe Signal auslöst.
• Die Regulierung ist real und hat Namen. EU AI Act, DSGVO, MiFID II, MAR und DORA in Europa; die SEC und das NIST AI RMF in den USA. Ordnen Sie jeden Guardrail der Regel zu, die ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → erfüllt.