Die Diskriminierungsfalle bei personalisierter KI im Handel

# Die Diskriminierungsfalle bei personalisierter KI im Handel

2020 testeten Journalisten von The Markup die Website eines großen Bürobedarfshändlers aus verschiedenen Postleitzahlgebieten und fanden etwas Unangenehmes: Kunden in der Nähe eines einkommensstärkeren Gebiets sahen mit höherer Wahrscheinlichkeit niedrigere Preise als Kunden in der Nähe eines einkommensschwächeren Gebiets, für genau denselben Tacker, am genau selben Tag. Niemand im Unternehmen hatte „Arme zahlen mehr" programmiert. Ein Preisalgorithmus hatte einfach gelernt, dass bestimmte Postleitzahlgebiete höhere Preise tolerieren, und diese Postleitzahlgebiete korrelierten, unvollkommen aber hartnäckig, mit Einkommen und ethnischer Herkunft. In dieser Lektion geht es darum, wie das passiert und wie Sie es erkennen, bevor eine Aufsichtsbehörde oder ein Journalist es tut.

Wie Proxy-Diskriminierung tatsächlich funktioniert

Kein verantwortungsvoller Händler gibt einem Algorithmus direkt die ethnische Herkunft oder das Einkommen eines Kunden. Das Problem ist subtiler: Proxy-Variablen, also Merkmale, die statistisch mit einem geschützten Merkmal korrelieren, obwohl sie neutral erscheinen.

Häufige Proxys in der Handels-KI:

• Postleitzahl: korreliert in vielen US-Metropolregionen stark mit Einkommen, ethnischer Herkunft und sogar Migrationsstatus.
• Gerätetyp: iPhone-Nutzer haben im Durchschnitt ein höheres Haushaltseinkommen als Android-Nutzer. Einige Dynamic-Pricing-Tools haben Gerätesignale als Nachfrageindikator genutzt.
• Filialstandort / Entfernung zum nächsten Wettbewerber: ein Merkmal für „Wettbewerbsintensität", das im Stillen erfasst, welche Viertel weniger Einkaufsalternativen haben, häufig einkommensschwächere Gegenden mit weniger Wettbewerb und damit geringerem Preisdruck.
• Browsing-Verhalten und Verweildauer: Proxys für Dringlichkeit oder Preissensibilität, die mit finanzieller Prekarität korrelieren kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen.

Keine dieser Variablen sagt „diskriminiere". Aber ein Machine-Learning-Modell, das auf Umsatz optimiert, findet und nutzt jedes Muster, das die Zahlungsbereitschaft vorhersagt, auch Muster, die zufällig geschützte Gruppen abbilden. Das nennt man disparate impact: eine dem Anschein nach neutrale Praxis, die ein diskriminierendes Ergebnis erzeugt, unabhängig von der Absicht. Es ist ein Rechtskonzept in den USA, das auf *Griggs v. Duke Power* (1971) zurückgeht, und es gilt für algorithmische Entscheidungen genauso wie für menschliche.

Warum der Handel besonders exponiert ist

Handels-KI betrifft Preise, Promotionen, Kredite (Buy-Now-Pay-Later-Underwriting) und sogar die Frage, welchen Kunden überhaupt ein Loyalty-Angebot gezeigt wird. Drei Eigenschaften machen diese Branche besonders risikoreich:

1. Hyper-Personalisierung ist das Geschäftsmodell. Amazon, Walmart und Kroger betreiben alle Dynamic PricingDynamic PricingPreise automatisch und in Echtzeit anpassen, basierend auf Nachfrage, Wettbewerb oder Nutzerverhalten, um Umsatz, Marge oder Conversion zu optimieren.Vollständige Definition ansehen → und Engines für gezielte Angebote, die Preise stündlich anpassen und Angebote kundenindividuell variieren kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen. Mehr Personalisierung bedeutet mehr Angriffsfläche für Proxy-Leakage.

2. Datenbroker liefern Enrichment-Daten. Händler kaufen häufig Drittdaten (Einkommensschätzungen, Lifestyle-Segmente) von Datenbrokern, um Kundenprofile anzureichern. Damit importieren sie das Proxy-Risiko im Paket, denn diese Segmente werden oft aus Demografie auf Postleitzahlebene gebildet.

3. Die A/B-Testing-Kultur verdeckt aggregierte Schäden. Pricing-Teams testen auf Umsatzsteigerung, nicht auf Fairness. Ein Test kann „+2 % Marge" zeigen, während niemand prüft, ob dieser Zuwachs überproportional von einkommensschwächeren Kunden kam.

Der regulatorische Rahmen, den Sie kennen müssen

USA: Es gibt noch kein einheitliches Bundes-KI-Gesetz, aber bestehende Gesetze greifen:

• Section 5 des FTC Act verbietet „unfaire oder täuschende Praktiken", und die Federal Trade Commission (FTC) hat ausdrücklich gewarnt, dass verzerrte algorithmische Preisgestaltung darunter fallen kann, siehe die Guidance der FTC zu KI und Algorithmen.
• Der Equal Credit Opportunity Act (ECOA) gilt, wenn Personalisierung Kreditentscheidungen betrifft, etwa BNPL-Freigaben (Buy-Now-Pay-Later) oder Angebote zum Kreditlimit.
• Die Gesetzgebung der Bundesstaaten ist schneller: Colorados AI Act (wirksam ab 2026) verlangt Impact Assessments für „hochriskante" automatisierte Entscheidungen, und Kaliforniens CCPA/CPRA (California Consumer Privacy Act / Privacy Rights Act) gibt Verbrauchern Rechte im Zusammenhang mit automatisierten Entscheidungen.

Europäische Union: Der EU AI Act (2024 in Kraft getreten, gestufte Pflichten bis 2027) klassifiziert bestimmte Systeme, darunter solche, die den Zugang zu wesentlichen Dienstleistungen betreffen, als risikoreicher, was verpflichtende Risikobewertungen, Dokumentation und Bias-Tests auslöst. Artikel 22 der DSGVO gibt EU-Verbrauchern zudem das Recht, keiner rein automatisierten Entscheidung mit erheblichen Auswirkungen unterworfen zu werden, und verlangt eine Rechtsgrundlage für Profiling.

Keines der beiden Regime verlangt einen Nachweis der Absicht. Es zählt das Ergebnis. Das ist die Falle: Engineering-Teams glauben oft „wir haben keine ethnische Herkunft verwendet, also ist alles in Ordnung", was in beiden Jurisdiktionen rechtlich falsch ist.

Ein konkretes Audit-Framework

Hier ist eine praktische Abfolge, die vor dem Launch jedes Pricing- oder Angebotsmodells durchlaufen werden sollte.

Schritt 1: Jedem Merkmal einen Proxy-Risiko-Score zuordnen.

| Merkmal | Proxy-Risiko | Warum |

|---|---|---|

| Postleitzahl | Hoch | Korreliert mit Einkommen, ethnischer Herkunft |

| Geräte-Betriebssystem | Mittel-hoch | Korreliert mit Einkommen |

| Frühere Kaufkategorie | Mittel | Kann mit Lebensphase, Einkommen korrelieren |

| Tageszeit des Browsings | Niedrig | Schwache Korrelation |

Schritt 2: Einen Disparate-Impact-Test auf die Outputs anwenden, nicht nur auf die Inputs. Die Postleitzahl aus dem Modell zu entfernen garantiert keine Fairness, wenn zehn andere Merkmale sie gemeinsam rekonstruieren. Testen Sie die tatsächlichen Preis- oder Angebots-Outputs des Modells gegen demografische Daten (häufig über Overlays von Census Tracts), selbst wenn demografische Daten nie ein Modell-Input waren.

Eine einfache Variante, in Pseudocode:

# Compare average effective price by income tercile of zip code
import pandas as pd

df['income_tercile'] = pd.qcut(df['zip_median_income'], 3, labels=['low','mid','high'])
price_gap = df.groupby('income_tercile')['effective_price'].mean()

print(price_gap)
# Falls 'low' einen deutlich höheren Durchschnittspreis für denselben SKU-Warenkorb zeigt,
# ist das ein Disparate-Impact-Signal, das untersucht und nicht abgetan werden muss.

Das ist ein Disparate-Impact-Test: ein Vergleich der Ergebnisse zwischen Gruppen, unabhängig davon, welche Merkmale sie verursacht haben.

Schritt 3: Schwellenwerte im Stil der „80-%-Regel" als erstes Screening-Instrument prüfen. Entlehnt aus dem US-Arbeitsrecht (die Four-Fifths-Rule), markiert sie eine Praxis, wenn die Rate günstiger Ergebnisse einer Gruppe unter 80 % der Rate der höchsten Gruppe liegt. Es ist ein grober Filter, kein rechtlicher Safe Harbor, aber ein schnelles Triage-Instrument, das Händler auf Preis- und Angebotsberechtigungsraten übertragen kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen.

Schritt 4: Eine Model Card und ein Bias-Audit vor dem Launch dokumentieren, nicht erst nach einer Beschwerde. Aufsichtsbehörden und Anwälte der Klägerseite sehen Unternehmen deutlich milder, die eine Fairness-Prüfung vor dem Deployment nachweisen kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen. Der EU AI Act schreibt diese Dokumentation für Systeme im Anwendungsbereich faktisch vor; in den USA ist sie derzeit Best Practice, aber die Gesetze der Bundesstaaten holen schnell auf.

Wie gute Governance in der Praxis aussieht

Führende Händler beginnen, drei Kontrollen zu institutionalisieren:

• Fairness-Review-Board vor dem Deployment: eine funktionsübergreifende Gruppe (Legal, Data Science, Merchandising), die jedes Pricing- oder Angebotsmodell freigibt, das über ein kleines Testsegment hinausgeht.
• Laufendes Monitoring statt Einmaltests: Modelle driften. Eine Pricing-Engine, die monatlich auf neuen Kaufdaten neu trainiert wird, kann Proxy-Korrelationen wieder einführen, die ein Audit zum Launch nicht erfasst hat. Monitoring-Dashboards sollten Ergebnislücken nach demografischen Proxys in wiederkehrender Kadenz verfolgen, nicht nur zum Go-live.
• Kill Switches und Rollback-Pläne: Wenn ein Monitoring-Dashboard eine Lücke anzeigt, braucht das Team einen vorab abgestimmten Prozess, um das Personalisierungs-Feature zu pausieren, und keine sechswöchige Ticket-Warteschlange.

Die ursprüngliche Recherche von The Markup ist eine nützliche Fallstudie, die man vollständig lesen sollte: The Secret Bias Hidden in Mortgage-Approval Algorithms behandelt Kreditvergabe, nicht Handel, aber die Mechanik der Proxy-Variablen ist identisch und es ist eine der klarsten öffentlichen Erklärungen des Musters.

Wichtigste Erkenntnisse

• Das eigentliche Risiko sind Proxy-Variablen, nicht explizit geschützte Merkmale. Postleitzahl, Gerätetyp und Segmente von Drittanbieter-Datenbrokern kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Einkommen und ethnische Herkunft kodieren, auch wenn es niemand beabsichtigt hat.
• Disparate impact ist ein rechtlicher Maßstab, der auf Ergebnissen basiert, nicht auf Absicht. „Wir haben ethnische Herkunft nie als Merkmal verwendet" ist weder in den USA noch in der EU eine Verteidigung.
• Testen Sie Outputs, nicht nur Inputs. Das Entfernen eines sensiblen Merkmals verhindert nicht, dass das Modell es aus korrelierten Daten rekonstruiert; prüfen Sie tatsächliche Preise und Angebote über demografische Gruppen hinweg.
• Die Regulierung verschärft sich auf beiden Seiten des Atlantiks. Der EU AI Act und Gesetze von Bundesstaaten wie Colorados AI Act verlangen zunehmend dokumentierte Risikobewertungen vor dem Deployment; FTC und ECOA geben US-Aufsichtsbehörden schon heute Handlungsinstrumente.
• Bauen Sie Monitoring und Kill Switches, nicht nur Audits am Launch-Tag. Modelle werden neu trainiert und driften; Fairness-Lücken kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Monate nach einer sauberen Erstprüfung wieder auftauchen.