Accountability und Transparenz in govtech AI verankern

# Accountability und Transparenz in govtech AI verankern

2020 hat ein Algorithmus in Großbritannien rund 40 % der A-Level-Noten nach unten korrigiert, nachdem die Prüfungen pandemiebedingt abgesagt worden waren. Schüler protestierten vor dem Bildungsministerium mit dem Sprechchor „the algorithm knows best“. Innerhalb weniger Tage kassierte die Regierung das System und kehrte zu den Lehrerbewertungen zurück. Das technische Versagen war real, aber das tiefere Versagen lag in der Governance: kein Impact Assessment, keine öffentliche Dokumentation, keine Möglichkeit zum Widerspruch, bevor die Ergebnisse hinausgingen.

Genau diese Lücke schließt diese Lektion. Sie entwerfen ein Framework über den gesamten Prozess, damit automatisierte Entscheidungen der Verwaltung denselben Standards genügen, die Bürger von menschlichen Entscheidungen erwarten: rechtsstaatliches Verfahren (der rechtliche Anspruch auf faire Behandlung und die Möglichkeit, eine Entscheidung anzufechten) und Transparenz (das Recht der Öffentlichkeit zu erfahren, wie die Verwaltung arbeitet, oft kodifiziert im FOIA, dem US Freedom of Information Act, oder in entsprechenden Gesetzen weltweit).

Warum govtech AI anders ist

Die Recommendation Engine eines Händlers darf leise falsch liegen. Ein Modell zur Leistungsberechtigung darf das nicht. Wenn ein Algorithmus jemandem Lebensmittelhilfe verweigert, eine Steuererklärung zur Prüfung markiert oder das Risiko eines Angeklagten vor der Strafzumessung bewertet, stehen Rechtsansprüche und öffentliches Vertrauen auf dem Spiel.

Drei Faktoren machen KI in der Verwaltung einzigartig:

• Hoheitliche Gewalt. Bürger kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen sich nicht gegen die Kfz-Behörde, die Steuerbehörde oder das Jugendamt entscheiden.
• Transparenzpflichten. FOIA und Informationsfreiheitsgesetze der Bundesstaaten erlauben der Öffentlichkeit, Unterlagen einzufordern. Die Berufung eines Anbieters auf „Geschäftsgeheimnisse“ setzt das nicht automatisch außererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → Kraft.
• Verfahrensrechte. Verfassungs- und Verwaltungsrecht verlangen eine Mitteilung und rechtliches Gehör, bevor der Staat Ihnen Leistungen, eine Lizenz oder Ihre Freiheit nimmt.

Das Framework unten hat drei Säulen: vor dem Deployment bewerten, das Deployment dokumentieren und Menschen die Möglichkeit geben, Entscheidungen anzufechten.

Säule 1: Algorithmic Impact Assessments (AIAs)

Ein Algorithmic Impact Assessment (AIA) ist eine strukturierte Prüfung vor dem Deployment, die dokumentiert, was ein System tut, wen es betrifft und was schiefgehen kann. Denken Sie an eine Umweltverträglichkeitsprüfung für Code.

Die kanadische Bundesregierung liefert das beste frei verfügbare Praxisbeispiel. Ihre Directive on Automated Decision-Making verlangt einen AIA-Fragebogen, der jedes System von Level I (geringe Auswirkung) bis Level IV (hohe Auswirkung, etwa Entscheidungen über Rechte oder Gesundheit) einstuft. Höhere Level lösen strengere Anforderungen aus: Peer Review, human-in-the-loop, mehr Erläuterung.

Ein brauchbares AIA beantwortet:

• Welche Entscheidung ist automatisiert, und prüft ein Mensch sie? Eine vollautomatische Leistungsablehnung ist riskanter als ein Tool, das Fälle für einen Sachbearbeiter markiert.
• Wer ist betroffen, und sind die Auswirkungen ungleich verteilt? Testen Sie Ergebnisse über Herkunft, Geschlecht, Alter und Behinderung hinweg.
• Welche Daten trainieren und speisen das Modell? Historische Verhaftungsdaten etwa kodieren vergangene Polizeipraxis, nicht kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ünftige Kriminalität.
• Was ist der Fallback, wenn das System versagt? Beim A-Level-Fiasko gab es keinen.

Machen Sie das AIA früh und öffentlich

Führen Sie das AIA während der Beschaffung durch, nicht nach dem Launch. Schreiben Sie „AIA erforderlich, Ergebnisse werden veröffentlicht“ in die Ausschreibung, damit Anbieter es einpreisen. Veröffentlichen Sie eine Zusammenfassung in klarer Sprache. Wenn Sie ein System einem Stadtrat nicht erklären kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, sollten Sie es nicht gegen Einwohner einsetzen.

Säule 2: Öffentliche Model Registries

Eine Model Registry ist ein öffentliches Verzeichnis der automatisierten Systeme, die eine Behörde nutzt. Sie macht aus „Black-Box-Verwaltung“ etwas, das Journalisten, Prüfer oder Einwohner einsehen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen.

Amsterdam und Helsinki haben öffentliche AI-Register eingeführt, die jeden Algorithmus, seinen Zweck, die genutzten Daten und einen Kontakt für Rückfragen auflisten. New York City hat 2018 das Local Law 49 beschlossen und damit eine Task Force für automatisierte Entscheidungssysteme geschaffen; mehrere US-Städte führen inzwischen öffentliche Verzeichnisse.

Ein guter Registry-Eintrag enthält:

| Feld | Beispiel |

|---|---|

| Systemname und Owner | Benefits Eligibility Screener, Dept. of Human Services |

| Zweck | Anträge für die Prüfung durch Sachbearbeiter priorisieren |

| Entscheidungstyp | Beratend (Mensch entscheidet) |

| Datenquellen | Antragsformular, Einkommensnachweise |

| Risikoniveau | AIA Level III |

| Anbieter und Modell | Vendor X, logistische Regression |

| Datum des letzten Audits | 2025-11 |

| Kontakt für Widerspruch | ombudsman@agency.gov |

Halten Sie es maschinenlesbar. Ein öffentliches Register ist nicht bloß ein PDF; es sollte abfragbar sein, damit Aufsichtsgremien Muster über Behörden hinweg erkennen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen.

{
  "system_id": "dhs-eligibility-screener-v3",
  "purpose": "Prioritize applications for human review",
  "decision_type": "advisory",
  "risk_level": "AIA-III",
  "human_in_loop": true,
  "last_bias_audit": "2025-11-15",
  "appeal_url": "https://agency.gov/appeal"
}

Dieses Snippet ist ein einzelner Registry-Datensatz. Datensätze in einem Standardformat zu veröffentlichen erlaubt einem Landesrechnungsprüfer eine einzige Abfrage über alle Ressorts, statt 30 Anträge auf Akteneinsicht zu stellen.

Säule 3: Widerspruchs- und Verfahrensmechanismen

Bewertung und Dokumentation sind nutzlos, wenn ein Bürger eine falsche Entscheidung nicht anfechten kann. Hier scheitert govtech AI noch am häufigsten.

Ein rechtsstaatliches Verfahren im automatisierten Kontext verlangt vier Dinge:

1. Mitteilung. Sagen Sie der Person, dass ein automatisiertes System beteiligt war. „Ihr Antrag wurde von einem Berechtigungsmodell bewertet“ ist das Minimum.

2. Erläuterung. Nennen Sie die konkreten Gründe, nicht „das Modell hat Nein gesagt“. Ein abgelehnter Antragsteller sollte erfahren, welche Faktoren das Ergebnis getrieben haben.

3. Menschliche Prüfung im Widerspruch. Ein Mensch, nicht derselbe Algorithmus, prüft angefochtene Fälle. Die DSGVO der EU (Artikel 22) gewährt bereits ein Recht auf menschliche Prüfung ausschließlich automatisierter Entscheidungen mit Rechtsfolgen.

4. Korrektur und Feedback. Wenn ein Widerspruch schlechte Daten aufdeckt, korrigieren Sie den Datensatz und prüfen Sie, ob andere in gleicher Weise betroffen waren.

Ein konkreter Widerspruchsablauf

Stellen Sie sich eine Arbeitsverwaltung vor, die ein Modell nutzt, um möglichen Betrug zu markieren:

• Der Antragsteller erhält eine Mitteilung: zur Prüfung markiert, Leistungen ausgesetzt, hier sind die drei Faktoren, die das ausgelöst haben.
• Die Mitteilung enthält eine Frist, ein Formular und einen menschlichen Kontakt.
• Ein Sachbearbeiter (nicht das Modell) prüft die Nachweise innerhalb eines festgelegten Service-Standards, sagen wir 10 Werktage.
• War die Markierung falsch, werden Leistungen rückwirkend nachgezahlt, und die Behörde protokolliert den Fehler, um das Modell nachzutrainieren.

Michigans Arbeitslosensystem MiDAS ist hier das Mahnbeispiel: Es beschuldigte Zehntausende fälschlich des Betrugs, praktisch ohne menschliche Prüfung, und der Bundesstaat zahlte hohe Vergleichssummen. Das Versagen lag nicht in der Mathematik. Es lag am fehlenden Widerspruchsweg.

Zusammengeführt: Governance als Lebenszyklus

Diese drei Säulen sind keine einmalige Checkliste. Sie bilden einen Kreislauf.

Vor dem Deployment: AIA durchführen. Risikoniveau festlegen. Entscheiden, ob ein Mensch im Loop bleiben muss.

Beim Deployment: Registry-Eintrag veröffentlichen. Widerspruchskanal bekannt geben.

Im Betrieb: Auf Drift (wenn die Genauigkeit eines Modells nachlässt, weil sich die realen Bedingungen ändern) und ungleiche Auswirkungen überwachen. Audit-Termine veröffentlichen.

Nach Vorfällen: Ergebnisse von Widersprüchen ins Retraining zurückführen. Register aktualisieren. Bei schwerem Schaden das System pausieren, wie Großbritannien es bei den A-Levels getan hat, idealerweise aber vor dem Launch.

Wer welche Säule verantwortet

Accountability bricht zusammen, wenn „alle“ verantwortlich sind. Vergeben Sie benannte Rollen:

• Ein leitender verantwortlicher Amtsträger, der das AIA abzeichnet und vom Parlament geladen werden kann.
• Ein Daten- oder Algorithmus-Prüfgremium mit technischen und zivilgesellschaftlichen Mitgliedern.
• Eine Ombudsstelle oder Widerspruchseinheit, unabhängig von dem Team, das das System gebaut hat.

Unabhängigkeit zählt. Die Leute, die ein Modell einsetzen, sollten nicht die einzigen Richter über Widersprüche dagegen sein.

Das Anbieterproblem handhaben

Die meisten Behörden kaufen KI, statt sie zu bauen. Anbieter behaupten oft, ihre Modelle seien proprietär. Erledigen Sie das im Vertrag, nicht vor Gericht:

• Verpflichten Sie den Anbieter, das AIA auszufüllen und unabhängige Audits zuzulassen.
• Verlangen Sie, dass eine für FOIA-Offenlegung ausreichende Dokumentation geliefert wird und der Behörde gehört.
• Weisen Sie „das Modell ist ein Geschäftsgeheimnis, deshalb kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Einwohner nicht sehen, wie sie bewertet wurden“ zurück. Eine öffentliche Entscheidung muss öffentlich erklärbar sein.

Das US-OMB-Memo M-24-10 zum KI-Einsatz auf Bundesebene kodifiziert viel davon für Bundesbehörden, einschließlich verpflichtender Impact-Praktiken und öffentlicher Verzeichnisse. Nutzen Sie es als Vorlage, auch wenn Sie eine Non-Profit-Organisation oder eine Stadt sind.

Die wichtigsten Erkenntnisse

• Vor dem Deployment bewerten. Ein Algorithmic Impact Assessment während der Beschaffung, mit veröffentlichter Zusammenfassung in klarer Sprache, fängt die Fehler ab, die den britischen A-Level-Algorithmus im Nachhinein zu Fall gebracht haben.
• Öffentlich inventarisieren. Eine maschinenlesbare Model Registry (siehe Amsterdam und Helsinki) macht aus Anträgen auf Akteneinsicht Abfragen und macht verborgene Systeme für Prüfer und Journalisten sichtbar.
• Widerspruch garantieren. Mitteilung, konkrete Erläuterung, unabhängige menschliche Prüfung und Korrektur sind die verfahrensrechtliche Mindestgrundlage. Der fehlende Widerspruch, nicht schlechte Mathematik, verursachte Michigans MiDAS-Skandal.
• Benannte Owner festlegen. Ein leitender verantwortlicher Amtsträger, ein Prüfgremium und eine unabhängige Ombudsstelle verhindern die Falle „alle und niemand ist verantwortlich“.
• Anbietergeheimnisse im Vertrag aushebeln. Verlangen Sie AIAs, Auditrechte und FOIA-taugliche Dokumentation als Beschaffungsbedingungen. Eine öffentliche Entscheidung muss öffentlich erklärbar sein.