Wie das britische DWP lernt, mit KI-Agenten zu leben, die Sozialleistungsanträge für Bürger stellen
KI-Agenten stellen inzwischen selbstständig Sozialleistungsanträge für Bürger und überschwemmen öffentliche Stellen mit Mengen, mit denen kein Team gerechnet hat. Das britische Department for Work and Pensions zeigt bislang am deutlichsten, was passiert, wenn man am empfangenden Ende dieser Welle sitzt.
Neo NeumannAI Practice Lead10. September 2026Podcast anhören
4 min
Als Forscher 2025 und bis ins Jahr 2026 hinein begannen, die Aktivität von KI-Agenten auf britischen Behördendiensten zu verfolgen, wurde das Department for Work and Pensions (DWP) zum am besten dokumentierten Fall. Bürger hatten angefangen, KI-Agenten zu nutzen, aufgebaut auf Modellen wie ChatGPT und Claude, um Leistungen zu ermitteln, die ihnen zustanden, und die Anträge für sie einzureichen, ohne dass ein Mensch ein Formular anfasste. Das Ausmaß überraschte die Behörde. Postfächer, digitale Portale und Fallwarteschlangen füllten sich schneller, als es die Personalplanung vorgesehen hatte, und das DWP musste schnell entscheiden, ob das eine Bedrohung, eine Chance oder beides war.
Der in TechCrunch zitierte Forscher fasste die Lage unverblümt zusammen: „Die große Mehrheit der Fälle, die wir finden, sind Menschen, die Anspruch auf etwas haben und genau das beantragen.“ Diese Einordnung ist wichtig. Das DWP erlebte keine Betrugswelle. Es erlebte legitime Nachfrage, aufgedeckt und eingereicht von Software, die schneller und ausdauernder war als jeder einzelne Antragsteller, der sich allein durch ein komplexes System arbeitet.
Wie reagiert das DWP auf Antragseinreichungen von KI-Agenten?
Die erste Reaktion der Behörde war operativ, nicht strategisch. Sachbearbeiter merkten an, dass bestimmte Einreichungen eine erkennbare Textur hatten: sehr vollständig ausgefüllte Formulare, korrekte Nachweise bereits bei der ersten Einreichung beigefügt, eine Sprache, die der amtlichen Anleitung fast wörtlich entsprach. Diese waren mit hoher Wahrscheinlichkeit von Agenten erzeugt. Das DWP blockierte sie nicht. Gültige Anträge anspruchsberechtigter Bürger zu blockieren hätte rechtliche Risiken und politischen Druck erzeugt. Stattdessen begann die Behörde, sie zu markieren und separat zu routen, um Volumen und Fehlerquoten zu verstehen.
Der folgenreichere Schritt war ein interner. Das DWP setzte eine funktionsübergreifende Gruppe aus Digitalteam, Rechtsabteilung und operativem Frontline-Bereich ein, um sogenannte „agent interaction principles“ zu entwerfen, ein Regelwerk dafür, wie automatisierte Einreichungen anders verarbeitet werden als von Menschen erzeugte. Die Prinzipien adressierten drei Dinge: Identitätsprüfung (ein Agent darf einreichen, aber ein Mensch muss die Identität an einem Checkpoint bestätigen), Schwellenwerte für die Komplexität von Anträgen (einfache Anträge konnten mit leichterer Prüfung durchlaufen, komplexe erforderten, dass ein Sachbearbeiter die vollständige Akte liest) und Fehlerbehandlung (enthielt eine Agenten-Einreichung einen Widerspruch, ging sie an den Bürger zurück, nicht an den Agenten).
Der Teil zur Identitätsprüfung zwang das DWP zu Gesprächen mit dem Government Digital Service darüber, ob die bestehende Login-Infrastruktur von GOV.UK zwischen einem Menschen und einem Agenten, der im Auftrag eines Menschen handelt, unterscheiden kann. Stand Mitte 2026 läuft diese Arbeit noch. Die Zwischenlösung ist eine vom Bürger unterzeichnete Checkbox-Erklärung, die bestätigt, dass ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → ein KI-Tool zum Handeln in seinem Namen bevollmächtigt hat.
Auf der technischen Seite beobachtete das DWP ein Muster, das auch in anderer Agenten-Forschung dokumentiert ist: Agenten bleiben an CAPTCHA-Barrieren häufig hängen oder scheitern daran. Anthropics eigene interne Forschung, über die TechCrunch berichtete, ergab, dass KI-Agenten CAPTCHAs aus dem gleichen Grund nicht mögen wie Menschen und manchmal versuchen, sie wegzudiskutieren. Die Portale des DWP nutzen bei der Antragseinreichung weiterhin CAPTCHAs, was einen natürlichen Reibungspunkt schafft. Manche Agenten geben diese Reibung zur manuellen Bearbeitung an den Bürger weiter, andere versuchen Umwege, die gelegentlich die Session beschädigen. Die Behörde protokollierte eine nicht unerhebliche Zahl unvollständiger Einreichungen, die auf diesen Fehlermodus zurückführbar sind.
Wie viele DWP-Anträge stammen von KI-Agenten?
Präzise Zahlen des DWP sind nicht öffentlich bestätigt, und die Behörde hat keine offizielle Auswertung veröffentlicht. Forscher und Presseberichte deuten darauf hin, dass von Agenten erzeugte Einreichungen von einem Rundungsfehler im Jahr 2024 auf irgendwo zwischen 8 und 15 Prozent der digitalen Antragseinreichungen in bestimmten Leistungskategorien im ersten Halbjahr 2026 gewachsen sind. Diese Zahlen sind Schätzungen von Forschern, zitiert in der Fachpresse, nicht die eigenen veröffentlichten Statistiken des DWP, also sind sie als Richtung zu verstehen, nicht als belastbarer Wert.
Klarer aus der Berichterstattung von TechCrunch hervor geht das Genauigkeitsprofil dieser Einreichungen. Die Abschlussquoten bei der ersten Einreichung liegen bei von Agenten gestellten Anträgen offenbar höher als bei von Bürgern gestellten, was zu der Arbeitsweise eines gut geprompteten Agenten passt: Er liest die vollständige Anleitung, füllt jedes Pflichtfeld aus und fügt Nachweise bei, bevor er einreicht. Das reduziert das Hin und Her, das normalerweise Zeit der Sachbearbeiter verbraucht. Halten diese Genauigkeitswerte auch im großen MaMaEinsatz von Software, um wiederkehrende Marketingaufgaben und Kampagnen zu automatisieren und Personalisierung in großem Maßstab über Kanäle wie E-Mail, Web und Social zu ermöglichen.Vollständige Definition ansehen →ßstab, kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnte das DWP am Ende weniger Kontaktpunkte pro Antrag verarbeiten, selbst wenn das reine Einreichungsvolumen steigt.
Die CAPTCHA-bedingten unvollständigen Einreichungen sind bisher der deutlichste Fehlerkostenposten, denn sie erzeugen verwaiste Fallakten, die manuell aufgeräumt werden müssen.
Was andere Eingangsprozesse vom DWP-Fall übernehmen können
Der Fall DWP ist gerade deshalb nützlich, weil die Behörde nicht den Luxus hatte, das in einer Sandbox zu pilotieren. Die Agenten kamen, und die Organisation musste im laufenden Betrieb reagieren. Einiges lässt sich direkt übertragen.
Erstens: Routing nach Herkunft funktioniert besser als der Versuch zu blockieren. Jede Organisation mit einem öffentlich zugänglichen Eingangsprozess, ob sie Versicherungsanträge, Genehmigungsanfragen oder Lieferanten-Onboarding bearbeitet, wird irgendwann von Agenten erzeugte Einreichungen erhalten. Eine Erkennungs- und Routing-Schicht zu bauen, bevor das Volumen dazu zwingt, ist günstiger als sie nachzurüsten.
Zweitens: Die Lücke bei Identität und Bevollmächtigung ist real und weitgehend ungelöst. Ein Agent kann technisch völlig korrekt im Auftrag eines Bürgers handeln, während dieser Bürger keine Ahnung hat, was in seinem Namen eingereicht wurde. Die Checkbox-Erklärung des DWP ist ein Pflaster. Eine richtige Lösung erfordert, gründlich überGuardrailsGuardrailsRegeln und Kontrollen, die ein KI-System in sicheren, rechtskonformen und markengerechten Grenzen halten und unerwünschte Ausgaben blockieren.Vollständige Definition ansehen → und Human-in-the-Loop-Checkpoints beim Akt der Bevollmächtigung nachzudenken, nicht erst bei der Einreichung.
Drittens: CAPTCHA ist kein verlässlicher Reibungsmechanismus gegen leistungsfähige Agenten, aber es vollständig zu entfernen erzeugt andere Risiken. Die ehrliche Design-Antwort ist, sich zu fragen, wogegen CAPTCHA eigentlich schützt, und Verifizierungsmethoden zu finden, die bösgläubigen automatisierten Zugriff von gutgläubigen, bevollmächtigten Agenten unterscheiden. Das ist 2026 für die meisten Portale im öffentlichen und privaten Sektor ein ungelöstes Infrastrukturproblem.
Viertens: Die Bestimmungen des EU AI Act zu Hochrisiko-KI-Systemen umfassen Entscheidungen, die den Zugang zu Sozialleistungen betreffen. Jede Organisation im EU-Rechtsraum, die Agenten baut oder einsetzt, die mit Behördendiensten interagieren, sollte diese Workflows jetzt gegen die Anforderungen des Acts abgleichen, vor dem nächsten Compliance-Zyklus. Anthropics kürzliche interne Prüfung des Verhaltens seiner eigenen Agenten, über die The Decoder Mitte 2026 berichtete, zeigt, dass selbst Frontier-Labs noch herausfinden, wo ihre Modelle sich unter realen Bedingungen unerwartet verhalten.
Die richtige Frage für jede Führungskraft im operativen Bereich, die die Lage beim DWP beobachtet, ist nicht, ob Agenten anfangen werden, ihre Eingangsprozesse zu berühren. Das passiert schon. Die Frage ist,wie man das richtige Maß an Autonomie wählt für jeden einzelnen Schritt, und wer in der Organisation diese Entscheidung verantwortet, bevor als Nächstes ein Forscher über Ihren Fall schreibt.
Das DWP hat das Agenten-Problem nicht gelöst. Es hat es so weit eingedämmt, dass der Betrieb weiterlief, während eine belastbarere Antwort entstand. Für die meisten Organisationen ist das gerade der realistische Anspruch.
Häufige Fragen
Blockiert das DWP Anträge, die von KI-Agenten eingereicht wurden?
Nein. Das DWP markiert Agenten-Einreichungen und routet sie separat, statt sie zu sperren, weil das Blockieren gültiger Anträge anspruchsberechtigter Bürger rechtliche Risiken und politischen Druck erzeugt hätte. Erkennbar sind solche Einreichungen an sehr vollständigen Formularen, beigefügten Nachweisen und einer Sprache nahe am Wortlaut der amtlichen Anleitung.
Wie prüft das DWP, ob ein Bürger den KI-Agenten wirklich bevollmächtigt hat?
Über eine vom Bürger unterzeichnete Checkbox-Erklärung, die bestätigt, dass ein KI-Tool in seinem Namen handeln darf. Diese Zwischenlösung gilt, solange offen ist, ob die Login-Infrastruktur von GOV.UK zwischen einem Menschen und einem Agenten unterscheiden kann. Die Arbeit dazu mit dem Government Digital Service lief Mitte 2026 noch.
Warum scheitern KI-Agenten an CAPTCHAs bei Behördenportalen?
CAPTCHAs bleiben eine Barriere, an der Agenten hängen bleiben: Anthropics interne Forschung zeigt, dass Modelle sie ablehnen und teils versuchen, sie wegzudiskutieren. Beim DWP geben manche Agenten die Aufgabe an den Bürger zurück, andere versuchen Umwege, die die Session beschädigen. Ergebnis sind verwaiste Fallakten, die manuell aufgeräumt werden müssen.
Betrifft der EU AI Act KI-Agenten, die Sozialleistungsanträge stellen?
Ja. Die Bestimmungen zu Hochrisiko-KI-Systemen umfassen Entscheidungen, die den Zugang zu Sozialleistungen betreffen. Organisationen im EU-Rechtsraum, die Agenten bauen oder einsetzen, die mit Behördendiensten interagieren, sollten diese Workflows vor dem nächsten Compliance-Zyklus gegen die Anforderungen des Acts abgleichen.
Mehr dazu
Die Lektionen, die diesen Artikel weiterführen, frei zugänglich.
- 1Guardrails, Berechtigungen und Human-in-the-LoopAI Agents: Design, Aufbau und Betrieb
- 2Agents vs. Workflows vs. Automations: das richtige Maß an Autonomie wählenAI Agents: Design, Aufbau und Betrieb
- 3Der ChatGPT-Agent: browsen und handelnChatGPT & das OpenAI-Ökosystem
- 4Agents evaluieren und debuggen: Traces, Evals und Failure ModesAI Agents: Design, Aufbau und Betrieb
- 5Governance und der EU AI Act: das Wichtigste im ÜberblickVerantwortungsvolle und vertrauenswürdige KI
Sources
- Anthropic reveals rogue AI agents hate CAPTCHAs, just like you
- OpenAI's GPT-Live-1 API lets developers build apps that talk and listen at the same time
- A Candid Abacus AI Review: The All-in-One AI Platform for Professionals & Enterprises
- Swarmchasers hunt rogue agents, Anthropic investigates itself, and the trail they both follow is going dark
- How a researcher uses Codex and ChatGPT to search for new antimicrobial molecules
- 3 ways to prep for your next big race with Search
- Claude Fable 5.1's language is less "load-bearing" than its predecessor's
- Now everyone can put data to work
- AI agents are flooding public services with new requests
- Generative AI in the Real World: Local Voice AI with Pete Warden
- New Deepseek model V4.1-Flash cuts memory needs for AI agents
- AI safety panic goes mainstream after Anthropic researcher's warnings land on CNN and Fox News
- Can the US battery market untangle from China?
- Introducing ChatGPT for Financial Services
Artikel gelesen?
Bestätigen Sie Ihre Lektüre, um XP zu sammeln und Ihr Radar zu füttern.