KI für Betrugserkennung und Anspruchsprüfung

# KI für Betrugserkennung und Anspruchsprüfung

Als die Maschine 40.000 Menschen beschuldigte

Zwischen 2013 und 2015 markierte Michigans automatisiertes Arbeitslosensystem rund 40.000 Einwohner als Betrugsfälle. Das System hieß MiDAS (Michigan Integrated Data Automated System). Es lief mit minimaler menschlicher Prüfung, leitete Schuld aus Datenabweichungen ab und verhängte Strafen von bis zum Vierfachen der erhaltenen Leistungen.

Spätere Prüfungen ergaben, dass das System in der großen Mehrheit der Fälle falsch lag. Ein Landesaudit kam zu dem Ergebnis, dass rund 93 Prozent der ohne menschliche Beteiligung getroffenen Betrugsentscheidungen unzutreffend waren. Menschen verloren Steuerrückzahlungen, ihr Lohn wurde gepfändet, einige meldeten Privatinsolvenz an, wegen Geld, das sie nie geschuldet hatten.

MiDAS ist das Mahnbeispiel für diese ganze Lektion. Es zeigt genau, was passiert, wenn man ein System für Sozialleistungen darauf optimiert, Betrug zu finden, ohne die Kosten von Fehlentscheidungen einzurechnen.

Mehr dazu in der ProPublica-Berichterstattung über MiDAS.

Zwei Aufgaben, ein System, entgegengesetzte Fehlermodi

Programme für Sozialleistungen (Arbeitslosenversicherung, SNAP-Lebensmittelhilfe, Medicaid, Wohngutscheine) verlangen von KI zwei verwandte, aber unterschiedliche Aufgaben.

Anspruchsprüfung: Erfüllt dieser Antragsteller die Voraussetzungen für die Leistung? Das ist ein regellastiges Klassifikationsproblem, meist gesteuert über Einkommensgrenzen, Haushaltsgröße und Nachweise.

Betrugserkennung: Stellt dieser Antrag oder Antragsteller Sachverhalte falsch dar, um Leistungen zu erhalten, die ihm nicht zustehen? Das ist ein Anomalie- und Musterproblem, üblicherweise mit sehr wenigen True Positives, versteckt in einer großen Population.

Der entscheidende Punkt: Diese beiden Aufgaben haben entgegengesetzte Fehlermodi, und sie zu verwechseln, ist genau das, was bei MiDAS schiefging.

• Eine falsche Ablehnung schadet einer berechtigten Person, die Hilfe braucht.
• Ein übersehener Betrugsfall verschwendet öffentliches Geld.

Beides lässt sich nicht gleichzeitig maximieren. Jede Design-Entscheidung am Modell wiegt das eine gegen das andere ab.

Die Confusion Matrix, im Klartext

Jedes Betrugs- oder Anspruchsmodell produziert vier Ergebnisse. Wer solche Systeme verantwortet, muss sie verstehen.

| | Modell sagt Betrug/nicht anspruchsberechtigt | Modell sagt legitim/anspruchsberechtigt |

|---|---|---|

| Tatsächlich Betrug/nicht berechtigt | True Positive (erkannt) | False Negative (übersehen) |

| Tatsächlich legitim/berechtigt | False Positive (unrechtmäßige Ablehnung) | True Negative (korrekt) |

MiDAS war katastrophal auf das Feld unten links getunt: False Positives, unrechtmäßige Beschuldigungen unschuldiger Menschen.

Zwei Metriken sind hier relevant:

Precision: Welcher Anteil aller vom Modell markierten Fälle war tatsächlich Betrug? Niedrige Precision heißt, viele Unschuldige geraten ins Netz.

Recall: Welchen Anteil des tatsächlichen Betrugs hat das Modell erkannt? Niedriger Recall heißt, echter Betrug rutscht durch.

MiDAS hat faktisch den Recall hochgetrieben (alles Verdächtige markieren) auf Kosten der Precision (Treffgenauigkeit dieser Markierungen). Das Ergebnis waren Zehntausende falsche Beschuldigungen.

Warum „das Geld zurückholen“ das falsche Ziel ist

Wenn Sie einem Engineering-Team sagen „hol so viel falsch ausgezahltes Geld zurück wie möglich“, wird es ein System bauen, das zu viel markiert. Mehr markierte Fälle bringen kurzfristig mehr Geld zurück, selbst wenn die meisten Markierungen falsch sind, weil Strafen und Rückforderungen Einnahmen erzeugen.

Das ist eine fehlausgerichtete Zielfunktion. Die Zielfunktion ist die eine Größe, auf die ein Modell trainiert wird. Ist diese Größe „zurückgeholte Dollar“, hat das Modell keinen Grund, sich für unrechtmäßige Ablehnungen zu interessieren.

Eine bessere Zielfunktion gewichtet die tatsächlichen Kosten jedes Fehlertyps. Bei Sozialleistungen sind die Kosten eines False Positive meist deutlich höher als die eines übersehenen Betrugsfalls, weil:

• Eine unrechtmäßige Ablehnung kann Zwangsräumung, Hunger oder Insolvenz auslösen.
• Sie trifft überproportional vulnerable Menschen.
• Sie erzeugt Rechtsrisiken (Michigan zahlte einen Vergleich von schätzungsweise rund 20 Millionen Dollar).
• Sie untergräbt das öffentliche Vertrauen in das gesamte Programm.

Sie kodieren das, indem Sie jedem Feld der Confusion Matrix explizit Kosten zuweisen und dann die Entscheidungsschwelle wählen, die die erwarteten Gesamtkosten minimiert, nicht die zurückgeholten Dollar maximiert.

# Illustrative cost-sensitive threshold selection
# Kosten spiegeln, dass unrechtmäßige Ablehnung weit schädlicher ist als übersehener Betrug
cost_false_positive = 100   # unrechtmäßige Ablehnung: Schaden, Rechtsrisiko, Vertrauensverlust
cost_false_negative = 5     # übersehener Betrug: verlorene öffentliche Mittel

def expected_cost(threshold, y_true, fraud_scores):
    flagged = fraud_scores >= threshold
    fp = ((flagged) & (y_true == 0)).sum()
    fn = ((~flagged) & (y_true == 1)).sum()
    return fp * cost_false_positive + fn * cost_false_negative

# Schwellen durchlaufen; die mit den niedrigsten Gesamtkosten wählen, nicht die mit der höchsten Rückholquote

Der Punkt des Snippets ist nicht der Code. Der Punkt ist, dass jemand diese zwei Kostenzahlen bewusst festlegen muss. Bei MiDAS tat das niemand, also setzte das System die Kosten einer unrechtmäßigen Ablehnung implizit auf nahe null.

Design-Prinzipien, die MiDAS verhindert hätten

1. Menschen in the loop bei belastenden MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßnahmen

MiDAS entschied Betrugsfälle automatisch, ohne menschliche Prüfung. Jede Entscheidung, die einer Person schadet (Ablehnung, Rückforderung, Strafe), sollte eine menschliche Freigabe erfordern. KI kann Fälle priorisieren; sie sollte keine Schuld feststellen.

2. Zur Prüfung markieren, nicht Betrug feststellen

Formulieren Sie den Output des Modells neu. Es erkennt keinen Betrug. Es identifiziert Fälle, die einen menschlichen Blick verdienen. Eine Datenabweichung (ein Arbeitgeber meldet andere Löhne als der Antragsteller) ist eine Frage, kein Beweis.

3. Beweislast an den Schaden anpassen

Höhere Strafen sollten höhere Konfidenz und mehr Belege erfordern. MiDAS verhängte vierfache Strafen auf dünne automatisierte Signale. Das ist verkehrt.

4. Auf Disparate Impact testen

Ein Modell kann insgesamt treffsicher sein und für eine Gruppe trotzdem viel häufiger falsch liegen. In Leistungsprogrammen korreliert das oft mit Herkunft, Behinderung oder Sprache. Messen Sie Fehlerraten je Subgruppe vor dem Rollout, nicht nach der Klage.

5. Einen echten Rechtsbehelfsweg anbieten

Viele MiDAS-Betroffene erreichten keinen Menschen und verstanden nicht, warum sie markiert worden waren. Ein Recht auf Erklärung und ein schneller, funktionierender Beschwerdeprozess sind eine Design-Anforderung, keine Gefälligkeit.

Die Anspruchsseite verantwortungsvoll bauen

Anspruchsprüfung ist oft einfacher als Betrugserkennung, weil die Regeln im Gesetz stehen. Das ist ein Vorteil: Sie kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen große Teile davon als transparente, auditierbare Logik bauen statt als intransparentes Modell.

Regeln bevorzugen, wo das Gesetz klar ist. Wenn die SNAP-Berechtigung von einem Einkommen unterhalb einer definierten Schwelle für eine bestimmte Haushaltsgröße abhängt, kodieren Sie diese Regel direkt. Sie ist erklärbar, testbar und im Beschwerdeverfahren verteidigbar. Nutzen Sie kein Black-Box-Modell, um eine Regel nachzubilden, die Sie in einer Zeile schreiben kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen.

Modelle zur Unterstützung nutzen, nicht als Ersatz für Sachbearbeiter. Machine Learning ist nützlich für Triage (welche Anträge sehen vollständig aus, welche brauchen Nachweise) und für das Finden von Eingabefehlern. Es soll Informationen für die Sachbearbeitung sichtbar machen, nicht Menschen aussperren.

Für fehlende und unsaubere Daten designen. Viele unrechtmäßige Ablehnungen entstehen aus schlechten Daten, nicht aus Betrug: eine nicht übereinstimmende Sozialversicherungsnummer, eine verspätete Meldung des Arbeitgebers, ein Name in zwei Schreibweisen. Behandeln Sie einen Datenkonflikt als Anlass, beim Antragsteller nachzufragen, nicht als Urteil.

Sorgfältig gegen autoritative Quellen prüfen. Abgleiche mit Lohndatenbanken oder Sterberegistern sind üblich. Aber auch diese Quellen enthalten Fehler. Das U.S. GAO hat wiederkehrende Genauigkeitsprobleme genau in jenen Datenbanken dokumentiert, auf die Behörden bei der Verifikation setzen. Behandeln Sie einen einzelnen Treffer nie als Ground Truth.

Eine praktische Governance-Checkliste

Bevor eine KI für Sozialleistungen live geht, sollte ein Aufsichtsgremium bestätigen:

• Die Zielfunktion gewichtet unrechtmäßige Ablehnungen explizit, nicht nur zurückgeholte Gelder.
• Jede belastende MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßnahme erfordert menschliche Prüfung.
• Fehlerraten je Subgruppe wurden gemessen und offengelegt.
• Für jede betroffene Person ist eine Erklärung in einfacher Sprache verfügbar.
• Ein Beschwerdeprozess existiert und wurde auf Mengenbelastung getestet.
• Das System wird nach dem Launch überwacht, mit Kill Switch, wenn die Fehlerraten hochschießen.

In Michigan fehlte fast alles davon. Die Technologie war nicht die Grundursache. Die fehlende Governance darum herum war es.

Kernaussagen

• Betrugserkennung und Anspruchsprüfung sind verschiedene Probleme mit entgegengesetzten Fehlermodi. Eine unrechtmäßige Ablehnung schadet einem Menschen; ein übersehener Betrugsfall verschwendet Geld. Designen Sie für beides, und wissen Sie, welches Ihre Zielfunktion stillschweigend bevorzugt.

• „Das Geld zurückholen“ ist eine gefährliche Zielfunktion. Sie belohnt Übermarkierung. Weisen Sie unrechtmäßigen Ablehnungen explizit höhere Kosten zu und justieren Sie die Entscheidungsschwelle so, dass der Gesamtschaden minimal wird.

• KI soll Fälle für Menschen markieren, nicht selbst entscheiden. Jede MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßnahme, die einer Person schadet, braucht menschliche Prüfung und eine Beweislast, die mit der Strafe skaliert.

• Schlechte Daten, nicht Betrug, verursachen viele falsche Beschuldigungen. Behandeln Sie Datenabweichungen als Fragen, die mit dem Antragsteller geklärt werden, nicht als Beweis für Fehlverhalten.

• Governance ist die eigentliche Absicherung. Fehlertests je Subgruppe, Erklärungen in einfacher Sprache, funktionierende Beschwerdewege und Monitoring nach dem Launch unterscheiden ein nützliches Triage-Werkzeug vom nächsten MiDAS.