Die Pre-Deployment-Checkliste: Red-Teaming für KI in der Verwaltung

# Die Pre-Deployment-Checkliste: Red-Teaming für KI in der Verwaltung

Ein Stadtplanungsamt in Ohio hat 2023 ohne großes Aufsehen ein KI-Tool eingeführt, das Anträge für Wohnungsrenovierungen vorprüft. Innerhalb weniger Wochen erhielten Anwohner in einer Postleitzahlenregion fast dreimal so häufig automatische Ablehnungen wie ein wohlhabenderes Viertel auf der anderen Seite der Stadt, bei identischer Antragsart. Dieses Szenario hatte vor dem Launch niemand getestet. Diese Lektion geht die Checkliste durch, die es hätte geben müssen, mit einer Genehmigungs-KI als durchgängigem Fallbeispiel.

Warum Genehmigungs-KI der perfekte Stresstest ist

Genehmigungsentscheidungen (Baugenehmigungen, Gewerbeerlaubnisse, Ausnahmen vom Bebauungsplan) liegen an einer sensiblen Schnittstelle: sie kommen in hohem Volumen vor, sind regelbasiert genug, um zur Automatisierung zu verleiten, aber folgenreich genug, dass eine falsche Entscheidung jemandem die Hausrenovierung oder die Existenzgrundlage blockiert.

Damit ist Genehmigungs-KI eine brauchbare Linse für das gesamte Instrumentarium der Pre-Deployment-Governance. Dieselbe Checkliste gilt für Anspruchsprüfungen bei Sozialleistungen, Betrugserkennung oder Risk Scoring in der Strafjustiz.

KI-Einsätze in der US-Verwaltung fallen inzwischen typischerweise unter behördenspezifische KI-Governance-Frameworks im Anschluss an das Memorandum M-24-10 (2024) des White House Office of Management and Budget (OMB). Dieses verpflichtet Bundesbehörden, Chief AI Officers zu benennen und Risk Assessments für „rights-impacting" KI durchzuführen, eine Kategorie, die Genehmigungs- und Lizenzentscheidungen ausdrücklich einschließt. In der EU klassifiziert der EU AI Act (in Kraft seit 2024, gestufte Pflichten bis 2027) Systeme, die den Zugang zu öffentlichen Dienstleistungen bestimmen, als „hochriskant", was verpflichtende Konformitätsbewertungen vor dem Einsatz auslöst.

Gate 1: Definieren Sie, welche Entscheidung die KI überhaupt treffen darf

Bevor ein Modell Daten anfasst, schreiben Sie präzise auf, was das System entscheidet und was nicht.

Für unseren Genehmigungsfall: empfiehlt die KI eine Zustimmung, oder genehmigt sie? Markiert sie Anträge zur menschlichen Prüfung, oder erteilt sie endgültige Ablehnungen? Aufsicht und Justiziariat der Behörde sollten diese Linie abzeichnen, bevor die Entwicklung startet, denn sie bestimmt, welche rechtlichen Pflichten greifen (rechtsstaatliche Verfahrensrechte, Anforderungen des Verwaltungsverfahrensrechts, Rechtsbehelfe).

Konkrete Daumenregel: wenn das Zuhause, das Einkommen oder die Freiheit eines Menschen betroffen ist, sollte die KI empfehlen, nicht entscheiden, es sei denn, ein Gesetz autorisiert ausdrücklich automatisierte Letztentscheidungen. Das ist die Unterscheidung zwischen „human-in-the-loop" und „human-on-the-loop", und sie ist keine Semantik, sondern verändert Ihre rechtliche Exposition vollständig.

Gate 2: Data LineageData LineageData lineage maps how data moves and transforms across systems, from origin to consumption, showing where it came from, what changed it, and where it goes.Vollständige Definition ansehen → und Bias-Audit

In jedem Trainingsdatensatz für ein Genehmigungsmodell steckt Geschichte. Wenn historische Genehmigungen jahrzehntelang ungleiche Durchsetzung von Bauvorschriften zwischen Stadtteilen widerspiegeln, lernt das Modell dieses Muster als „normal".

Checklistenpunkte:

• Dokumentieren Sie, woher jedes Trainingsfeld stammt (Data LineageData LineageData lineage maps how data moves and transforms across systems, from origin to consumption, showing where it came from, what changed it, and where it goes.Vollständige Definition ansehen →) und wer es bearbeitet hat.
• Führen Sie einen Disparate-Impact-Test durch: vergleichen Sie Zustimmungs-/Ablehnungsquoten und Bearbeitungszeiten über geschützte Gruppen und Geografie hinweg, vor dem Einsatz, nicht erst wenn Beschwerden eintreffen.
• Prüfen Sie Proxy-Variablen. Postleitzahl, Schulbezirk oder „frühere Bauordnungsverstöße" kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Ethnie oder Einkommen stillschweigend kodieren, selbst wenn diese Felder ausgeschlossen sind.

Ein einfacher Disparate-Impact-Check, oft „four-fifths rule" genannt (eine Richtlinie der US Equal Employment Opportunity Commission, die im algorithmischen Auditing breit übernommen wurde), schlägt Alarm, wenn die Selektionsrate einer Gruppe unter 80 % der Rate der höchsten Gruppe liegt.

# Simple four-fifths rule check
approval_rate_group_a = 0.72
approval_rate_group_b = 0.51

ratio = approval_rate_group_b / approval_rate_group_a
print(f"Impact ratio: {ratio:.2f}")
if ratio < 0.8:
    print("FLAG: potential disparate impact, investigate before deployment")

Hier ergibt 0,51 / 0,72 = 0,71, unterhalb der Schwelle von 0,8. Das ist ein Stop-Ship-Signal, keine Fußnote für den Anhang.

Gate 3: Adversarial Testing und Red-Teaming

„Red-Teaming" heißt, das eigene System bewusst anzugreifen, um Fehlermodi zu finden, bevor ein Angreifer, ein Journalist oder eine Klage sie findet. Die Praxis ist aus Militär und Cybersecurity übernommen und inzwischen eine ausdrückliche Anforderung im AI Risk Management Framework des NIST (AI RMF, 2023), dem, was den USA am nächsten an einem technischen Standard für vertrauenswürdige KI kommt.

Für Genehmigungs-KI bedeutet Red-Teaming, aktiv zu versuchen:

• Das System auszutricksen: Kann ein Antragsteller eine Anfrage so umformulieren, dass aus einer Ablehnung eine Zustimmung wird, ohne das eigentliche Vorhaben zu ändern? Wenn eine abgelehnte Terrassengenehmigung durchgeht, sobald sie „Patio" heißt, macht das Modell Pattern-Matching auf Text statt einer inhaltlichen Bewertung.
• Es mit Edge Cases zu brechen: Gebäude in Denkmalschutzbereichen, Mischnutzungsbauten, Mobilheime, Anträge mit fehlenden Feldern. Edge Cases sind die Stelle, an der Modelle, die auf „typischen" Fällen trainiert wurden, lautlos versagen.
• Blind Spots auszunutzen: Füttern Sie es mit Anträgen kleiner Non-Profits oder von Erstantragstellern mit dünner Aktenlage. Modelle bestrafen „keine Historie" häufig, als wäre es „schlechte Historie".

Praktische Technik: bauen Sie ein Red-Team-Testset, das bewusst auf die unsauberen 10 % der echten Anträge gewichtet ist, nicht auf die sauberen 90 %, die für Accuracy-Metriken im Training genutzt werden. Ein Modell, das insgesamt mit 95 % Accuracy glänzt, kann trotzdem an 60 % der Edge Cases scheitern, die am meisten zählen.

Gate 4: Simulieren, bevor Sie ausliefern

Lassen Sie das Modell im „Shadow Mode" laufen: es bewertet echte eingehende Anträge, aber die menschlichen Entscheider behalten die volle Verantwortung, und Sie vergleichen die Ergebnisse über Wochen oder Monate, bevor Sie es echt scharfschalten.

Das bringt Probleme zutage, die kein Labortest erwischt: saisonale Spitzen (Renovierungssaison im Frühjahr), lokale Satzungsänderungen, auf die das Modell nicht nachtrainiert wurde, oder Drift, wenn sich die Antragssprache verändert.

Dokumentieren Sie ein vorab registriertes Set von Pass/Fail-Schwellen, bevor die Shadow-Phase beginnt (zum Beispiel: das Disparitätsverhältnis muss über 0,8 bleiben, die Rate falscher Ablehnungen bei Fällen mit Rechtsbehelf muss unter einer festgelegten Obergrenze bleiben). Schwellen erst nach Sichtung der Ergebnisse festzulegen, öffnet der Ergebnisorientierung Tür und Tor.

Gate 5: Menschliches Override, konstruktiv angelegt, nicht nachträglich

Jedes rechtsrelevante KI-System der Verwaltung braucht einen bewusst gestalteten, getesteten Override-Pfad, kein verstecktes „schreiben Sie eine E-Mail ans Amt".

So sieht gutes Override-Design aus:

• Ein sichtbarer, spezifischer Begründungscode für jede KI-Empfehlung (nicht nur „abgelehnt", sondern „abgelehnt: Grenzabstand unterschreitet Abschnitt 4.2 der Bauordnung").
• Ein namentlich benannter menschlicher Prüfer mit der Befugnis, die KI zu überstimmen, und ein nachvollziehbares Log der Overrides (wenn es nie Overrides gibt, ist das selbst ein Warnsignal, es kann bedeuten, dass Mitarbeitende sich nicht in der Lage sehen, das System infrage zu stellen).
• Ein nach außen sichtbares Rechtsbehelfsverfahren, dessen Nutzung keine technische Kompetenz erfordert.

Der EU AI Act kodifiziert das ausdrücklich und verlangt MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßnahmen zur „menschlichen Aufsicht" für Hochrisikosysteme, einschließlich der Möglichkeit, dass ein Mensch die Ausgabe des Systems vollständig überstimmt oder ignoriert (Artikel 14).

Gate 6: Monitoring nach Go-live ist Teil der Checkliste

Tests vor dem Einsatz sind notwendig, aber nicht ausreichend. Richten Sie ein:

• Drift-Monitoring: verfolgen Sie, ob sich die Eingangsdaten (Antragsarten, Demografie der Antragsteller) von dem entfernen, worauf das Modell getestet wurde.
• Ergebnis-Audits in festem Takt: quartalsweise erneute Disparate-Impact-Prüfungen, nicht nur zum Launch.
• Ein Kill Switch: ein dokumentiertes, geprobtes Verfahren, um innerhalb einer festgelegten Stundenzahl auf vollständig manuelle Bearbeitung zurückzufallen, wenn das Monitoring ein ernstes Problem meldet.

Behörden, die diesen Schritt überspringen, entdecken Bias oft erst nach einer Recherche der Lokalpresse oder einer Klage, was ein deutlich teurerer Weg der Erkenntnis ist.

🎬 [VIDEO: "The UK's A-Level Grading Algorithm Scandal" - youtube.com - a widely cited case study on what happens when an automated scoring system replaces human judgment without adequate red-teaming, search for coverage from BBC or Guardian explainers]

Wichtigste Erkenntnisse

• Legen Sie vorab fest, ob die KI empfiehlt oder entscheidet; diese eine Wahl bestimmt Ihre rechtlichen Pflichten und die Anforderungen an menschliche Aufsicht unter Frameworks wie OMB M-24-10 (USA) und dem EU AI Act.
• Führen Sie vor dem Launch einen Disparate-Impact-Test durch (etwa die four-fifths rule) und prüfen Sie auf Proxy-Variablen wie die Postleitzahl, die Bias in „neutrale" Daten einschmuggeln kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen.
• Machen Sie Red-Teaming gegen Edge Cases und Manipulationsversuche, nicht nur gegen saubere Durchschnittsdaten; ein hoher Gesamt-Accuracy-Wert kann systematisches Versagen bei den wichtigsten Fällen verdecken.
• Pilotieren Sie im Shadow Mode mit vorab registrierten Pass/Fail-Schwellen, bevor die KI echte Entscheidungen anfasst.
• Bauen Sie menschliches Override, Audit-Logging und einen Kill Switch von Tag eins an ins System ein und monitoren Sie nach dem Launch weiter, denn Tests vor dem Einsatz allein genügen nicht.