Responsible AI: Bias, Fairness, EU AI Act und ethischer Review-Prozess

Responsible AI ist keine Option. Organisationen, die KI ohne Rigorosität bei Fairness, Transparenz und Accountability ausrollen, riskieren regulatorische MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßnahmen, Reputationsschäden und echten Schaden für Menschen. Aufgabe des CDO ist es, eine AI Governance aufzubauen, die rigoros ist, aber nicht so aufwendig, dass sie Innovation lähmt.

Warum KI schiefgeht

KI-Systeme scheitern auf vorhersehbare Weise:

Verzerrte Trainingsdaten: Ein Recruiting-Algorithmus, der auf historischen Einstellungsdaten trainiert wurde, lernt, Kandidaten zu bevorzugen, die den historisch Eingestellten ähneln, und verstärkt damit bestehende Verzerrungen. Amazon stellte fest, dass sein KI-Recruiting-Tool Lebensläufe mit dem Wort „women's“ (z. B. „women's chess club“) abstrafte, und stellte es vor dem Rollout ein.

Proxy-Diskriminierung: Ein Modell nutzt geschützte Merkmale (Ethnie, Geschlecht) vielleicht nicht direkt, verwendet aber korrelierte Proxys (Postleitzahl, Name der Hochschule), die diskriminierende Ergebnisse erzeugen. Rechtlich und ethisch ist das trotzdem Diskriminierung.

Distributional Shift: Ein Modell für Kreditausfälle, das in einer Wachstumsphase trainiert wurde, kann in einer Rezession, also einem anderen Wirtschaftsregime, katastrophal abschneiden.

Feedback Loops: Ein Predictive-Policing-Modell, das auf historischen Verhaftungen trainiert wurde (die vergangene Polizeipraxis widerspiegeln), schickt Polizei in historisch überkontrollierte Gebiete, erzeugt dort mehr Verhaftungen und bestätigt so die eigenen Vorhersagen. Das Modell verstärkt bestehenden Bias.

Das AI-Fairness-Framework

Fairness in der KI ist kein einzelnes Konzept, sondern eine Reihe mathematischer Definitionen, die einander widersprechen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen:

Demographic Parity: Die Rate positiver Vorhersagen des Modells ist über Gruppen hinweg gleich. Ein Modell zur Kreditvergabe genehmigt unabhängig von der Ethnie gleiche Anteile der Antragsteller.

Equal Opportunity: Die True-Positive-Rate ist über Gruppen hinweg gleich. Unter den tatsächlich kreditwürdigen Antragstellern ist die Genehmigungsquote unabhängig von der Ethnie gleich.

Individual Fairness: Ähnliche Personen erhalten ähnliche Vorhersagen. Zwei Kandidaten mit identischen Qualifikationen erhalten ähnliche Recruiting-Scores.

Diese Definitionen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen mathematisch unvereinbar sein. Demographic Parity zu erfüllen kann bedeuten, Individual Fairness zu verletzen. CDOs müssen entscheiden, welches Fairness-Konzept für welchen Use Case gilt, gemeinsam mit Legal, Compliance und Ethik-Stakeholdern.

Praktischer Ansatz: die konkreten Fairness-Anforderungen für jedes KI-System vor der Entwicklung definieren, vor dem Rollout messen, im Betrieb monitoren.

Der EU AI Act: regulatorische Realität

Der EU AI Act ist am 1. August 2024 in Kraft getreten und gilt in Phasen. Einige Pflichten binden Organisationen bereits heute:

• Seit dem 2. Februar 2025 gelten die Verbote für Praktiken mit unannehmbarem Risiko, und Unternehmen müssen sicherstellen, dass Mitarbeiter, die mit KI arbeiten, über grundlegende AI Literacy verfügen.
• Seit dem 2. August 2025 gelten die Regeln für General-Purpose-AI-Modelle (GPAI) sowie die wesentlichen Governance- und Sanktionsvorschriften. Anbieter von Modellen wie GPT-4o, Gemini, Claude und Llama müssen Zusammenfassungen der Trainingsdaten, technische Dokumentation und Urheberrechtsrichtlinien veröffentlichen. Modelle mit „systemischem Risiko“ (sehr hohe Rechenleistung, oberhalb von etwa 10^25 FLOPs) unterliegen zusätzlichen Pflichten bei Evaluierung und Incident Reporting.
• Die meisten Regeln für Hochrisikosysteme gelten ab dem 2. August 2026, mit einer längeren Frist bis zum 2. August 2027 für KI, die in regulierte Produkte eingebettet ist (Medizinprodukte, Maschinen und Ähnliches).

Der Act kategorisiert KI-Systeme nach Risiko:

Unannehmbares Risiko (verboten): Social Scoring durch Behörden, ungezieltes Scraping von Gesichtsbildern zum Aufbau von Erkennungsdatenbanken, Emotionserkennung am Arbeitsplatz und in Schulen sowie die meisten Formen biometrischer Echtzeit-Fernidentifizierung im öffentlichen Raum. Diese sind unabhängig vom Business Case verboten.

Hohes Risiko (strenge Anforderungen): KI in Recruiting, Credit Scoring, medizinischer Diagnostik, kritischer Infrastruktur und Strafverfolgung. Erfordert Konformitätsbewertung, technische Dokumentation, menschliche Aufsicht, Transparenz gegenüber betroffenen Personen und Bias-Tests vor dem Rollout.

Begrenztes Risiko (Transparenzpflichten): Chatbots müssen offenlegen, dass sie KI sind. KI-generierte oder manipulierte Inhalte, einschließlich Deepfakes, müssen entsprechend gekennzeichnet werden.

Minimales Risiko: Die meisten KI-Anwendungen. Keine spezifischen Pflichten.

Die Bußgelder sind hoch: bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes bei Verstößen gegen verbotene Praktiken und bis zu 15 Millionen Euro oder 3 % bei den meisten anderen Verstößen. CDOs in EU-regulierten Märkten müssen wissen, in welche Kategorie jedes System fällt. Hochrisiko-Pflichten müssen von Anfang an in die Entwicklung eingebaut werden, denn Compliance nachträglich einzupassen ist deutlich teurer.

Einen AI-Ethics-Review-Prozess aufbauen

Ein schlanker, aber rigoroser AI-Ethics-Review-Prozess:

Vor der Entwicklung: Für jeden neuen KI-Use-Case ein kurzes „AI Impact Assessment“ erstellen: Wer ist betroffen, welche Entscheidungen beeinflusst das System, was sind die Failure Modes, welche geschützten Gruppen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnten betroffen sein?

Vor dem Rollout: Für Systeme mit hoher Wirkung: Fairness-Tests über demografische Gruppen hinweg, Adversarial Testing (was passiert bei bösartigen Eingaben?), menschliche Prüfung von Edge Cases.

Nach dem Rollout: Auf Performance-Verschlechterung über demografische Gruppen hinweg monitoren, Einsprüche und Beschwerden betroffener Personen nachverfolgen, periodische Neubewertung einplanen.

Eskalationspfad: Klarer Prozess dafür, wann Bedenken eskaliert werden, vom Data Scientist, der ein Bias-Problem entdeckt, über das AI-Ethics-Komitee bis zum CDO und Legal Team.

Dieser Prozess erzeugt 10-20 % Overhead auf die Entwicklungszeiten von KI. Das ist es wert: Die Alternative besteht darin, Systeme zu bauen, die Menschen schaden und die Organisation erheblichen rechtlichen und reputationsbezogenen Risiken aussetzen.

Key Takeaways

• KI scheitert auf vorhersehbare Weise: verzerrte Daten, Proxy-Diskriminierung, Distributional Shift und Feedback Loops. Amazons eingestelltes Recruiting-Tool ist ein konkretes Beispiel für historischen Bias, der in ein Modell eingebacken wurde.
• Fairness ist nicht eine Definition. Demographic Parity, Equal Opportunity und Individual Fairness kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen in Konflikt geraten, also wählen Sie pro Use Case die passende, mit Input von Legal und Ethik.
• Der EU AI Act gilt bereits teilweise: Verbote unzulässiger Praktiken und AI Literacy seit Februar 2025, GPAI- und Governance-Regeln seit August 2025 und die meisten Hochrisiko-Pflichten ab August 2026 (August 2027 für regulierte Produkte).
• Die Sanktionen reichen bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes, bauen Sie Dokumentation, menschliche Aufsicht und Bias-Tests also in die Entwicklung ein, statt sie nachzurüsten.
• Ein gestufter Review-Prozess (Impact Assessment, Tests vor dem Rollout, Monitoring im Betrieb, Eskalationspfad) erzeugt 10-20 % Overhead und verhindert weit kostspieligeren Schaden.

Quizfragen

1. Warum hat Amazon seinen KI-Recruiting-Algorithmus eingestellt?

A) ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → war im Betrieb zu teuer

B) ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → strafte Lebensläufe mit Verweisen auf frauenbezogene Aktivitäten ab, ein Beispiel für Bias durch historische Einstellungsdaten

C) ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → war nicht präzise genug, um Performance vorherzusagen

D) ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → verstieß gegen Datenschutzvorschriften

Antwort: B

2. Was ist ein problematischer „Feedback Loop“ in der KI, illustriert am Beispiel Predictive Policing?

A) Ein Modell, das sich zu schnell verbessert und unvorhersehbar wird

B) Ein Mechanismus, bei dem die Vorhersagen des Modells die kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ünftigen Daten beeinflussen, die genau diese Vorhersagen bestätigen, und so bestehende Verzerrungen verstärken

C) Ein Performance-Problem aufgrund des Datenvolumens

D) Eine Modellverschlechterung durch fehlendes Retraining

Antwort: B

3. Ab wann gelten im EU AI Act die meisten Pflichten für Hochrisikosysteme (Recruiting, Credit Scoring)?

A) 1. August 2024, mit Inkrafttreten der Verordnung

B) 2. Februar 2025, zeitgleich mit den Verboten unannehmbarer Praktiken

C) 2. August 2026, mit verlängerter Frist bis zum 2. August 2027 für KI, die in regulierte Produkte integriert ist

D) Kein festes Datum, die Anwendung bleibt freiwillig

Antwort: C