KI-Risiko und der EU AI Act

# KI-Risiko und der EU AI Act

2023 zwang ein Skandal bei der niederländischen Steuerbehörde, die *toeslagenaffaire*, ein ganzes Regierungskabinett zum Rücktritt. Auslöser: ein Algorithmus, der Familien wegen vermuteten Betrugs bei der Kinderbetreuungsbeihilfe markierte, dabei überproportional Haushalte mit doppelter Staatsbürgerschaft traf und von Zehntausenden unschuldigen Menschen Geld zurückforderte. Kein CDO hat ein „Hochrisiko-KI-System" abgezeichnet. Abgezeichnet wurde ein Modell zur Betrugserkennung. Genau diese Lücke, zwischen der Bezeichnung eines Systems im Unternehmen und der Einordnung durch eine Aufsichtsbehörde, kartiert der EU AI Act jetzt. Ihre Aufgabe ist nicht, den Rechtsakt auswendig zu lernen. Sie besteht darin, eine Triage-Funktion aufzubauen, die Ihnen an jedem Montag sagt, welche Ihrer 200 Modelle zur *toeslagenaffaire* von morgen werden kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnten und welche langweilig genug sind, um sie in Ruhe zu lassen.

Der zentrale Perspektivwechsel: Risiko steckt im Anwendungsfall, nicht im Modell

Der teuerste Fehler, den ein CDO beim AI Act macht, ist Governance auf der falschen Höhe. Teams fragen instinktiv: „Ist dieses Modell riskant?" Der Rechtsakt stellt eine andere Frage: „Wofür wird dieses System *genutzt*, und bei wem?"

Derselbe Gradient-Boosting-Klassifikator ist unreguliert, wenn ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → Marketing-Leads sortiert, und hochriskant, wenn ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → Bewerbungen screent. Die Technologie ist identisch. Die Risikoklasse ergibt sich vollständig aus dem Einsatzkontext. Deshalb scheitert modellzentrierte Governance: Sie kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen keine .pkl-Datei inspizieren und daraus die regulatorische Exponierung ablesen. Sie müssen sie zu einer Entscheidung zurückverfolgen, die den Zugang eines Menschen zu Beschäftigung, Kredit, Bildung, wesentlichen Dienstleistungen oder Freiheit betrifft.

Der Rechtsakt sortiert Systeme in vier Klassen, und Ihr Operating Model sollte sie exakt widerspiegeln:

• Unannehmbares Risiko (verboten): Social Scoring durch Behörden, biometrische Echtzeit-Fernidentifizierung in öffentlichen Räumen (mit engen Ausnahmen), Emotionserkennung an Arbeitsplätzen und in Schulen, manipulative unterschwellige Techniken. Das heißt nicht „sorgfältig steuern", sondern „nicht bauen". Seit Februar 2025 gelten diese Verbote bereits.
• Hohes Risiko: Systeme in Beschäftigung, Kreditwürdigkeit, wesentlichen öffentlichen und privaten Dienstleistungen, Bildung, kritischer Infrastruktur, Strafverfolgung, Migration und Rechtspflege. Ebenso Produkte oder Sicherheitskomponenten, die bereits unter EU-Produktsicherheitsrecht fallen. Diese Klasse trägt das volle Gewicht der Pflichten des Rechtsakts.
• Begrenztes Risiko: Systeme, die mit Menschen interagieren (Chatbots) oder synthetische Inhalte erzeugen. Die Pflicht ist im Kern Transparenz: Menschen sagen, dass sie mit KI zu tun haben, Deepfakes kennzeichnen.
• Minimales Risiko: alles andere, Spamfilter, Bestandsoptimierung, Recommendation Engines im Handel. Keine verpflichtenden Anforderungen. Hier liegt der überwiegende Teil Ihres Portfolios, und hier vernichtet Über-Governance still und leise Wert.

Der strategische Insight: Der Rechtsakt ist darauf ausgelegt, Prüfaufwand zu konzentrieren. Wenn Ihr Governance-Programm alle 200 Modelle mit gleicher Strenge behandelt, haben Sie die regulatorische Absicht komplett missverstanden. Verhältnismäßigkeit ist kein Nice-to-have, sie ist das Betriebsprinzip, das der Gesetzgeber kodiert hat.

Die Foundation-Model-Ebene separat beobachten

Es gibt einen fünften Strang, der quer zu den Klassen liegt: General-Purpose-AI-Modelle (GPAI), einschließlich großererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → Sprachmodelle. Wenn Sie auf einem Foundation Model aufbauen, liegen manche Pflichten beim Anbieter (OpenAI, Anthropic, Mistral). Aber wenn Sie substanziell fine-tunen oder wenn das Modell die Compute-Schwelle für systemisches Risiko (10²⁵ FLOPs) überschreitet, kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Pflichten auf Sie übergehen. Der praktische CDO-Schritt: ein Register führen, welche Foundation Models Sie einsetzen, ob Sie sie fine-tunen und welche Dokumentation der Anbieter Ihnen gibt. Wenn Ihr Legal-Team fragt „Sind wir Anbieter oder Betreiber dieses GPAI-Systems?", brauchen Sie die Antwort in einer Tabelle, nicht in einer Slack-Ausgrabung.

Die Triage-Funktion aufbauen: von 200 Systemen zu einer priorisierten Queue

Hier das Montagmorgen-Problem. Sie haben ein KI-Inventar (wenn nicht, ist das die vorgelagerte Lektion). Jetzt müssen Sie jeden Eintrag einer Klasse zuordnen, ohne ein Legal-Team einzustellen, das jedes Modell prüft. Die Antwort ist ein zweistufiger FunnelFunnelThe customer journey from awareness to purchase, typically Awareness, Interest, Consideration, Decision, Action, with prospects narrowing at each stage.Vollständige Definition ansehen →: ein günstiges automatisiertes Screening, dann eine menschliche Entscheidung für alles, was einen Draht auslöst.

Stufe eins, der Screening-Fragebogen. Hängen Sie an jedes System in Ihrem Register fünf Fragen, beantwortet vom Product Owner, nicht vom Data Scientist:

1. Trifft das System eine Entscheidung über eine bestimmte Person oder beeinflusst sie wesentlich?

2. Betrifft diese Entscheidung den Zugang zu Beschäftigung, Kredit, Bildung, Gesundheitsversorgung, Sozialleistungen oder die Rechtsstellung?

3. Wird das System von Strafverfolgung, Migrationsbehörden oder der Justiz genutzt?

4. Nutzt es biometrische Daten oder schließt es auf emotionale bzw. geschützte Merkmale?

5. Interagiert es direkt mit einer Person oder erzeugt es synthetische Medien?

Jedes „Ja" bei F3 oder F4 eskaliert sofort. Ein „Ja" bei F1 *und* F2 markiert hohes Risiko. Ein „Ja" nur bei F5 markiert Transparenzpflichten bei begrenztem Risiko. Alles „Nein" landet in minimalem Risiko. Sie kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen das als Entscheidungstabelle kodieren, damit die Klassifizierung reproduzierbar und auditierbar ist statt eine Meinungsfrage:

# ai_risk_triage_rules.yaml — deterministic first-pass classifier
rules:
  - id: prohibited_check
    if: uses_social_scoring OR realtime_biometric_public OR workplace_emotion_recognition
    then: PROHIBITED           # halt: legal review before any further work
  - id: high_risk_domain
    if: affects_individual AND domain in [employment, credit, education,
         essential_services, critical_infra, law_enforcement, migration, justice]
    then: HIGH_RISK
  - id: transparency_only
    if: interacts_with_human OR generates_synthetic_content
    then: LIMITED_RISK
  - id: default
    then: MINIMAL_RISK
review:
  HIGH_RISK: mandatory_human_adjudication   # never auto-final on high-risk
  PROHIBITED: mandatory_human_adjudication

Der Punkt an der Konfiguration ist nicht die Syntax, sondern die Disziplin. Die Klassifizierung wird zu einem Policy-Artefakt, das Sie versionieren, auditieren und gegenüber einer Behörde verteidigen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, statt zu einer Einschätzung, die verdampft, sobald der Analyst geht, der sie getroffen hat.

Stufe zwei, menschliche Entscheidung. Lassen Sie das automatisierte Screening niemals ein Hochrisiko- oder Verbots-Label final setzen. In den Grenzfällen liegt das Geld. Ein Kreditmodell, das nur einen internen Risk Score erzeugt, den ein menschlicher Kreditsachbearbeiter überstimmen kann, ist hochriskant oder nicht, abhängig davon, wie stark der Mensch ihm tatsächlich folgt. Das ist die Frage der „wirksamen menschlichen Aufsicht", und sie entscheidet sich an der operativen Realität, nicht am Organigramm-Theater. Wenn Ihre Kreditsachbearbeiter 99,3 % der Modellempfehlungen genehmigen, haben Sie keine menschliche Aufsicht, sondern einen Gummistempel mit Puls, und eine Behörde wird das System als hochriskant behandeln.

Was „hohes Risiko" operativ tatsächlich kostet

Landet ein System in der Hochrisikoklasse, verlangt der Rechtsakt einen bestimmten Compliance-Stack. Als CDO müssen Sie wissen, was jede Pflicht von Ihren Teams fordert:

• Risikomanagementsystem: ein kontinuierlicher, dokumentierter Prozess, keine einmalige Freigabe. Planen Sie laufende Personalkosten ein.
• Data Governance: Trainings-, Validierungs- und Testdatensätze müssen relevant und repräsentativ sein und auf Bias untersucht werden. Hier zahlt sich Ihre bestehende Governance-Funktion aus, aber Sie brauchen jetzt dokumentierte Belege der Prüfung, nicht nur die Praxis.
• Technische Dokumentation und Logging: Das System muss seinen Betrieb automatisch protokollieren, um Nachvollziehbarkeit zu ermöglichen. Bauen Sie das von Anfang an ein; Logging nachträglich in ein laufendes Modell einzuziehen, ist brutal.
• Transparenz gegenüber Betreibern: klare Betriebsanleitungen.
• Menschliche Aufsicht: eingebaut, nicht angeschraubt.
• Genauigkeit, Robustheit, Cybersicherheit: dokumentierte Leistungsschwellen und Resilienz gegen Angriffe.
• Konformitätsbewertung vor dem Inverkehrbringen und Registrierung in der EU-Datenbank.

Die entscheidende Unterscheidung, die die meisten CDOs falsch machen: Sind Sie Anbieter oder Betreiber? Wenn Sie das Hochrisikosystem entwickeln (oder eines substanziell verändern), tragen Sie die vollen Anbieterpflichten. Wenn Sie lediglich das Hochrisikosystem eines anderen nutzen, sind Sie Betreiber mit einem leichteren, aber realen Pflichtenset: menschliche Aufsicht sicherstellen, Betrieb überwachen, Logs aufbewahren und das System gemäß Anleitung einsetzen. Die meisten Unternehmen sind gleichzeitig Betreiber von Vendor-Tools und Anbieter ihrer Eigenentwicklungen. Ihr Register muss für jedes System markieren, welchen Hut Sie tragen, denn Pflichten und Haftung unterscheiden sich deutlich.

Verhältnismäßigkeit als Designprinzip, nicht als Nachgedanke

Diese Lektion existiert, weil Angst schlechte Governance produziert. Wenn die Bußgelder zitiert werden, bis zu 35 Mio. € oder 7 % des globalen Umsatzes bei Verstößen mit verbotenen Systemen, ist der Instinkt der Führung, alles zuzusperren. Dieser Instinkt macht Sie bei den 90 % Ihres Portfolios mit minimalem Risiko langsamer als die Wettbewerber und gibt Ihnen dabei die falsche Beruhigung, Sie hätten „KI-Governance gemacht".

Die reife Haltung sind abgestufte Kontrollen, die auf abgestuftes Risiko passen. Konkret:

• Systeme mit minimalem Risiko: registrieren, Ihre Standardpraktiken für Datenqualität und Modellmonitoring anwenden, weitermachen. Keine Konformitätsbewertung, keine besondere Dokumentation. Lassen Sie nicht zu, dass ein gut gemeintes Risikokomitee Pflichten erfindet, die der Rechtsakt nicht verlangt.
• Systeme mit begrenztem Risiko: die Transparenzhinweise implementieren und prüfen, dass sie tatsächlich ausgelöst werden. Der Fehlermodus hier ist ein Chatbot, der den Nutzern nie sagt, dass ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → ein Bot ist, oder generierte Bilder ohne Herkunftskennzeichnung. Billig zu beheben, peinlich zu übersehen.
• Hochrisikosysteme: der komplette Stack von oben, plus, und das ist der echte Wertbeitrag des CDO, ein *Gate vor dem Deployment*. Kein Hochrisikosystem geht ohne Freigabe der Konformitätsbewertung live. Verdrahten Sie das als harte Blockade in Ihrer Release-PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen →, genauso wie Sie ein Deployment blockieren würden, das den Security-Scan nicht passiert.

Schauen Sie sich an, wie Klarna seine Kundenservice-KI angegangen ist. Als sie einen groß angelegten Assistenten ausgerollt haben, interagiert das System direkt mit Kunden, ein Transparenz-Trigger bei begrenztem Risiko, nicht hohes Risiko, weil es Serviceanfragen bearbeitet und keine Kreditentscheidungen. Ihre Kreditvergabemodelle liegen dagegen klar im hohen Risiko. Dasselbe Unternehmen, dieselbe KI-Investition, zwei völlig verschiedene Governance-Regime. Ein CDO, der beides identisch steuert, hat entweder den Chatbot abgewürgt oder die Kreditvergabe zu schwach geschützt. Verhältnismäßigkeit heißt, diese Trennung richtig zu treffen.

Der Zeitplan ist Ihre Planungsrestriktion

Der Rechtsakt tritt stufenweise in Kraft, und Ihre Roadmap muss sich daran ausrichten:

• Februar 2025: Verbote verbotener Praktiken und Pflichten zur KI-Kompetenz gelten bereits.
• August 2025: Pflichten für GPAI-Modelle gelten.
• August 2026: der Großteil der Hochrisikopflichten gilt.
• August 2027: Hochrisikopflichten für KI, die in regulierte Produkte eingebettet ist.

Diese Staffelung ist ein Geschenk. Sie sagt Ihnen genau, wo Sie zuerst investieren: bestätigen, dass Sie keine verbotenen Systeme haben (existenziell), dann Ihre GPAI-Abhängigkeiten inventarisieren, dann den Hochrisiko-Konformitätsstack vor der Frist 2026 aufbauen. Ein CDO, der das Audit verbotener Systeme vorzieht und den Aufbau der Hochrisiko-Dokumentation nach hinten legt, sequenziert intelligent. Wer versucht, im ersten Quartal das Meer auszutrinken, verbrennt Glaubwürdigkeit.

Wo das Urteilsvermögen wirklich gefordert ist

Der Rechtsakt gibt Ihnen Klassen; an den Grenzen gibt ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → Ihnen keine Sicherheit. Die echten CDO-Entscheidungen sind:

• Grenzfall hohes Risiko: ein HR-Tool, das Interviewfragen „vorschlägt", beeinflusst es eine Beschäftigungsentscheidung „wesentlich"? Im Zweifel vorläufig als hochriskant behandeln und Legal dagegen argumentieren lassen. Über-Dokumentieren und später neu einordnen ist weit günstiger als Unter-Dokumentieren und die Historie unter regulatorischem Druck rekonstruieren.
• Substanzielle Änderung: wenn Sie ein Vendor-Modell stark fine-tunen, kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Sie zum Anbieter werden. Legen Sie mit Legal eine Schwelle fest, was „substanziell" in Ihrem Kontext bedeutet, und protokollieren Sie jede Änderung dagegen.
• Extraterritoriale Reichweite: der Rechtsakt gilt, wenn der Output Ihres Systems in der EU genutzt wird, auch wenn Ihr Hauptsitz anderswo liegt. Ein CDO in den USA kann das nicht als Problem anderer Leute behandeln.

Key Takeaways

1. Nach Anwendungsfall klassifizieren, nicht nach Modell. Bauen Sie ein deterministisches Triage-Screening, das an Ihr KI-Register gekoppelt ist und jedes System einer Klasse zuordnet, basierend darauf, wen es betrifft und welche Entscheidung es treibt, nicht auf seiner technischen Raffinesse.

2. Zuerst auf verbotene Systeme prüfen, in diesem Quartal. Die Verbote gelten bereits und tragen die höchsten Bußgelder. Alles andere ist ein Planungsproblem; das hier ist ein existenzielles.

3. Für jedes System Anbieter vs. Betreiber markieren. Pflichten und Haftung laufen stark auseinander, und die meisten Unternehmen sind beides gleichzeitig. Nehmen Sie das jetzt ins Register.

4. Kontrollintensität an die Risikoklasse anpassen und die 90 % mit minimalem Risiko vor Über-Governance schützen. Verhältnismäßigkeit ist das Betriebsprinzip des Rechtsakts; sie nach unten zu verletzen ist illegal, sie nach oben zu verletzen macht Sie nur langsam.

5. Verdrahten Sie ein hartes Pre-Deployment-Gate für Hochrisikosysteme in Ihre Release-PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen →, bevor die Frist August 2026 greift, und planen Sie Logging und Dokumentation von Anfang an ein, sie nachträglich in laufende Modelle einzuziehen ist der teuerste Weg.