Der Algorithmus, der die Kaution verweigerte: Was eine Gerichtskontroverse von 2016 uns heute noch über Fairness in der KI lehrt

Der Angeklagte hieß Dylan Fugett. In seinem Vorstrafenregister stand ein kleineres Drogendelikt. Der Algorithmus, der sein Rückfallrisiko bewertete, stufte ihn als niedrig ein. ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → beging weitere Straftaten. Im gleichen Bezirk in Florida wurde eine schwarze Frau namens Brisha Borden, die als Erwachsene keine Vorstrafen hatte, nach dem Diebstahl eines Fahrrads als Hochrisikofall eingestuft. Sie wurde nicht erneut straffällig.

Diese beiden Fälle, die ProPublica im Mai 2016 in einer Recherche öffentlich machte, wurden zum meistdiskutierten Fairness-Fall der KI-Geschichte. Im Zentrum stand COMPAS, entwickelt von einem Unternehmen namens Northpointe (später umbenannt in Equivant). Gerichte in den ganzen USA nutzten dessen Scores als Grundlage für Entscheidungen über Kaution, Strafmaß und Bewährung.

Was tatsächlich geschah

Die Journalisten von ProPublica analysierten rund 7.000 Risiko-Scores, die COMPAS in Broward County, Florida, vergeben hatte, und verglichen sie mit den tatsächlichen Rückfalldaten zwei Jahre später. Das Ergebnis war deutlich: Schwarze Angeklagte wurden fast doppelt so häufig wie weiße Angeklagte fälschlich als Hochrisikofall eingestuft, während weiße Angeklagte häufiger fälschlich als geringes Risiko markiert wurden, obwohl sie später erneut straffällig wurden.

Northpointe widersprach, und das mit einer gewissen technischen Berechtigung. Das Unternehmen argumentierte, COMPAS sei nach einer anderen Definition „fair“: Innerhalb jeder Bevölkerungsgruppe war die Vorhersagegenauigkeit des Scores in etwa gleich. Erhielten ein schwarzer und ein weißer Angeklagter jeweils einen Score von sieben von zehn, lagen ihre tatsächlichen Rückfallquoten ähnlich. Nach diesem MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßstab war der Algorithmus korrekt kalibriert.

Und hier kommt der unangenehme Teil: Beide Seiten hatten nach ihren eigenen Maßstäben recht. Eine Gruppe von Forschern, darunter Jon Kleinberg (Cornell), Sendhil Mullainathan (University of Chicago) und Christoph Lassner, veröffentlichte ein Paper, das mathematisch zeigte: Wenn sich die Basisraten eines Ergebnisses zwischen Gruppen unterscheiden, lassen sich nicht alle gängigen Fairness-Definitionen gleichzeitig erfüllen. Man muss wählen. Gleiche False-Positive-Raten, gleiche False-Negative-Raten und Kalibrierung über Gruppen hinweg schließen sich unter den meisten realen Bedingungen gegenseitig aus. Dieses Resultat war keine Hypothese. Es war ein Theorem.

Die COMPAS-Debatte machte dieses Theorem für alle sichtbar, die hinschauten: Journalisten, Richter und schließlich Regulierer.

Warum das weiterhin relevant ist

Der Fall COMPAS legte etwas offen, was die Branche nur langsam öffentlich eingeräumt hat: Bei Fairness in der KI gibt es keinen neutralen Standpunkt. Jedes Fairness-Kriterium enthält ein Werturteil darüber, welche Fehler am teuersten sind und für wen. Ein System, das False Positives für eine Gruppe minimiert, erhöht fast zwangsläufig die False Negatives für eine andere. Die Wahl dazwischen ist eine politische Entscheidung, kein Engineering-Problem.

Das gilt weit über die Strafjustiz hinaus. Credit-Scoring-Systeme, Recruiting-Tools, Triage-Algorithmen im Gesundheitswesen und Preismodelle in der Versicherung stehen alle vor Varianten desselben Dilemmas. 2018 stellte Amazon ein internes Recruiting-Tool ein, nachdem sich zeigte, dass es Bewerbungen von Frauen systematisch abwertete, offenbar weil es mit zehn Jahren historischer Einstellungsdaten trainiert worden war, die männlich verzerrt waren. Die Trainingsdaten enthielten keine explizite Geschlechtsangabe, aber das Modell fand Proxys: die Namen von Frauen-Colleges, bestimmte Verben, die in weiblich geprägten Schreibstilen häufig vorkommen. Das Feature zu entfernen löste das Problem nicht, weil das Signal über die gesamten Daten verteilt war.

Im Gesundheitswesen zeigte eine viel zitierte Studie von Ziad Obermeyer und Kollegen, 2019 in Science veröffentlicht, dass ein kommerzieller Algorithmus, den US-Gesundheitssysteme zur Zuteilung von Care-Management-Ressourcen einsetzten, schwarze Patienten deutlich seltener als besonders versorgungsbedürftig markierte als gleich schwer erkrankte weiße Patienten. Der Grund war indirekt: Der Algorithmus nutzte Behandlungskosten als Proxy für den Versorgungsbedarf, und weil strukturelle Ungleichheiten dazu geführt hatten, dass für schwarze Patienten historisch weniger ausgegeben wurde, interpretierte das Modell niedrigere Ausgaben als geringeren Bedarf. Das beteiligte Unternehmen Optum (eine Tochter der UnitedHealth Group, also eine Anbieterquelle) bestritt einzelne Darstellungen, arbeitete aber mit den Forschern an einer Anpassung des Modells.

Keines dieser Systeme war darauf angelegt zu diskriminieren. Genau darum geht es.

Was Sie daraus mitnehmen

Wenn Sie beruflich ein KI-System einsetzen oder in Auftrag geben, das Menschen betrifft, ist die Frage „Ist dieses Modell genau?“ notwendig, aber nicht ausreichend. Sie müssen eine zweite Frage stellen: genau für wen, und auf wessen Kosten, wenn es falsch liegt?

Dafür braucht es drei Dinge, die unter Lieferdruck oft übersprungen werden.

Erstens: Schlüsseln Sie Ihre Validierungsmetriken auf. Eine Gesamtgenauigkeit von 87 % kann ein Modell verbergen, das für die Mehrheitsgruppe gut und für alle anderen schlecht funktioniert. Brechen Sie die Fehlerraten nach jeder demografischen Dimension herunter, die in Ihrem Kontext relevant ist. Wenn Ihr Anbieter diese Aufschlüsselung nicht liefern kann, ist das schon ein Signal.

Zweitens: Machen Sie explizit, welches Fairness-Kriterium Sie anwenden und warum. Dokumentieren Sie die Entscheidung. „Wir haben gleiche False-Positive-Raten über Gruppen hinweg priorisiert, weil die Kosten einer fälschlichen Ablehnung überproportional bei den Antragstellern liegen“ ist eine vertretbare Position. „Wir haben nicht darüber nachgedacht“ ist es nicht.

Drittens: Verfolgen Sie die Ergebnisse nach dem Deployment. Trainingsdaten spiegeln die Vergangenheit. Wenn Ihr Modell Entscheidungen prägt, die in kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ünftige Daten zurückfließen, kann sich Bias über die Zeit unbemerkt verstärken. Das ist keine theoretische Sorge: Beobachtet wurde es bei Predictive-Policing-Systemen, wo als Hochrisiko markierte Gebiete mehr Patrouillen erhielten, was zu mehr Verhaftungen führte, was die Vorhersagen des Modells bestätigte.

Die COMPAS-Geschichte endete nicht mit einer Lösung. Gerichte nutzen weiterhin Risikobewertungs-Tools. Die Fairness-Debatten laufen weiter. Geändert hat sich, dass „der Algorithmus hat es so gesagt“ eine deutlich schwächere Rechtfertigung geworden ist. Fachleute, die verstehen, warum Fairness-Kriterien einander widersprechen, sind besser aufgestellt, die richtigen Fragen zu stellen, bevor ein System live geht, statt es zu verteidigen, nachdem es auf der Titelseite landet.