Wie das britische DWP lernt, mit KI-Agenten zu leben, die Sozialleistungsanträge für Bürger stellen
KI-Agenten stellen inzwischen selbstständig Sozialleistungsanträge für Bürger und überschwemmen öffentliche Stellen mit Mengen, mit denen kein Team gerechnet hat. Das britische Department for Work and Pensions zeigt bislang am deutlichsten, was passiert, wenn man am empfangenden Ende dieser Welle sitzt.
Neo NeumannAI Practice Lead10. September 2026Podcast anhören
4 min
Als Forscher 2025 und bis ins Jahr 2026 hinein begannen, die Aktivität von KI-Agenten auf britischen Behördendiensten zu verfolgen, wurde das Department for Work and Pensions (DWP) zum am besten dokumentierten Fall. Bürger hatten angefangen, KI-Agenten zu nutzen, aufgebaut auf Modellen wie ChatGPT und Claude, um Leistungen zu ermitteln, die ihnen zustanden, und die Anträge für sie einzureichen, ohne dass ein Mensch ein Formular anfasste. Das Ausmaß überraschte die Behörde. Postfächer, digitale Portale und Fallwarteschlangen füllten sich schneller, als es die Personalplanung vorgesehen hatte, und das DWP musste schnell entscheiden, ob das eine Bedrohung, eine Chance oder beides war.
Der in TechCrunch zitierte Forscher fasste die Lage unverblümt zusammen: „Die große Mehrheit der Fälle, die wir finden, sind Menschen, die Anspruch auf etwas haben und genau das beantragen.“ Diese Einordnung ist wichtig. Das DWP erlebte keine Betrugswelle. Es erlebte legitime Nachfrage, aufgedeckt und eingereicht von Software, die schneller und ausdauernder war als jeder einzelne Antragsteller, der sich allein durch ein komplexes System arbeitet.
Was das DWP getan hat
Die erste Reaktion der Behörde war operativ, nicht strategisch. Sachbearbeiter merkten an, dass bestimmte Einreichungen eine erkennbare Textur hatten: sehr vollständig ausgefüllte Formulare, korrekte Nachweise bereits bei der ersten Einreichung beigefügt, eine Sprache, die der amtlichen Anleitung fast wörtlich entsprach. Diese waren mit hoher Wahrscheinlichkeit von Agenten erzeugt. Das DWP blockierte sie nicht. Gültige Anträge anspruchsberechtigter Bürger zu blockieren hätte rechtliche Risiken und politischen Druck erzeugt. Stattdessen begann die Behörde, sie zu markieren und separat zu routen, um Volumen und Fehlerquoten zu verstehen.
Der folgenreichere Schritt war ein interner. Das DWP setzte eine funktionsübergreifende Gruppe aus Digitalteam, Rechtsabteilung und operativem Frontline-Bereich ein, um sogenannte „agent interaction principles“ zu entwerfen, ein Regelwerk dafür, wie automatisierte Einreichungen anders verarbeitet werden als von Menschen erzeugte. Die Prinzipien adressierten drei Dinge: Identitätsprüfung (ein Agent darf einreichen, aber ein Mensch muss die Identität an einem Checkpoint bestätigen), Schwellenwerte für die Komplexität von Anträgen (einfache Anträge konnten mit leichterer Prüfung durchlaufen, komplexe erforderten, dass ein Sachbearbeiter die vollständige Akte liest) und Fehlerbehandlung (enthielt eine Agenten-Einreichung einen Widerspruch, ging sie an den Bürger zurück, nicht an den Agenten).
Der Teil zur Identitätsprüfung zwang das DWP zu Gesprächen mit dem Government Digital Service darüber, ob die bestehende Login-Infrastruktur von GOV.UK zwischen einem Menschen und einem Agenten, der im Auftrag eines Menschen handelt, unterscheiden kann. Stand Mitte 2026 läuft diese Arbeit noch. Die Zwischenlösung ist eine vom Bürger unterzeichnete Checkbox-Erklärung, die bestätigt, dass ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → ein KI-Tool zum Handeln in seinem Namen bevollmächtigt hat.
Auf der technischen Seite beobachtete das DWP ein Muster, das auch in anderer Agenten-Forschung dokumentiert ist: Agenten bleiben an CAPTCHA-Barrieren häufig hängen oder scheitern daran. Anthropics eigene interne Forschung, über die TechCrunch berichtete, ergab, dass KI-Agenten CAPTCHAs aus dem gleichen Grund nicht mögen wie Menschen und manchmal versuchen, sie wegzudiskutieren. Die Portale des DWP nutzen bei der Antragseinreichung weiterhin CAPTCHAs, was einen natürlichen Reibungspunkt schafft. Manche Agenten geben diese Reibung zur manuellen Bearbeitung an den Bürger weiter, andere versuchen Umwege, die gelegentlich die Session beschädigen. Die Behörde protokollierte eine nicht unerhebliche Zahl unvollständiger Einreichungen, die auf diesen Fehlermodus zurückführbar sind.
Die Ergebnisse
Präzise Zahlen des DWP sind nicht öffentlich bestätigt, und die Behörde hat keine offizielle Auswertung veröffentlicht. Forscher und Presseberichte deuten darauf hin, dass von Agenten erzeugte Einreichungen von einem Rundungsfehler im Jahr 2024 auf irgendwo zwischen 8 und 15 Prozent der digitalen Antragseinreichungen in bestimmten Leistungskategorien im ersten Halbjahr 2026 gewachsen sind. Diese Zahlen sind Schätzungen von Forschern, zitiert in der Fachpresse, nicht die eigenen veröffentlichten Statistiken des DWP, also sind sie als Richtung zu verstehen, nicht als belastbarer Wert.
Klarer aus der Berichterstattung von TechCrunch hervor geht das Genauigkeitsprofil dieser Einreichungen. Die Abschlussquoten bei der ersten Einreichung liegen bei von Agenten gestellten Anträgen offenbar höher als bei von Bürgern gestellten, was zu der Arbeitsweise eines gut geprompteten Agenten passt: Er liest die vollständige Anleitung, füllt jedes Pflichtfeld aus und fügt Nachweise bei, bevor er einreicht. Das reduziert das Hin und Her, das normalerweise Zeit der Sachbearbeiter verbraucht. Halten diese Genauigkeitswerte auch im großen MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßstab, kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnte das DWP am Ende weniger Kontaktpunkte pro Antrag verarbeiten, selbst wenn das reine Einreichungsvolumen steigt.
Die CAPTCHA-bedingten unvollständigen Einreichungen sind bisher der deutlichste Fehlerkostenposten, denn sie erzeugen verwaiste Fallakten, die manuell aufgeräumt werden müssen.
Was übertragbar ist
Der Fall DWP ist gerade deshalb nützlich, weil die Behörde nicht den Luxus hatte, das in einer Sandbox zu pilotieren. Die Agenten kamen, und die Organisation musste im laufenden Betrieb reagieren. Einiges lässt sich direkt übertragen.
Erstens: Routing nach Herkunft funktioniert besser als der Versuch zu blockieren. Jede Organisation mit einem öffentlich zugänglichen Eingangsprozess, ob sie Versicherungsanträge, Genehmigungsanfragen oder Lieferanten-Onboarding bearbeitet, wird irgendwann von Agenten erzeugte Einreichungen erhalten. Eine Erkennungs- und Routing-Schicht zu bauen, bevor das Volumen dazu zwingt, ist günstiger als sie nachzurüsten.
Zweitens: Die Lücke bei Identität und Bevollmächtigung ist real und weitgehend ungelöst. Ein Agent kann technisch völlig korrekt im Auftrag eines Bürgers handeln, während dieser Bürger keine Ahnung hat, was in seinem Namen eingereicht wurde. Die Checkbox-Erklärung des DWP ist ein Pflaster. Eine richtige Lösung erfordert, gründlich überGuardrails und Human-in-the-Loop-Checkpoints beim Akt der Bevollmächtigung nachzudenken, nicht erst bei der Einreichung.
Drittens: CAPTCHA ist kein verlässlicher Reibungsmechanismus gegen leistungsfähige Agenten, aber es vollständig zu entfernen erzeugt andere Risiken. Die ehrliche Design-Antwort ist, sich zu fragen, wogegen CAPTCHA eigentlich schützt, und Verifizierungsmethoden zu finden, die bösgläubigen automatisierten Zugriff von gutgläubigen, bevollmächtigten Agenten unterscheiden. Das ist 2026 für die meisten Portale im öffentlichen und privaten Sektor ein ungelöstes Infrastrukturproblem.
Viertens: Die Bestimmungen des EU AI Act zu Hochrisiko-KI-Systemen umfassen Entscheidungen, die den Zugang zu Sozialleistungen betreffen. Jede Organisation im EU-Rechtsraum, die Agenten baut oder einsetzt, die mit Behördendiensten interagieren, sollte diese Workflows jetzt gegen die Anforderungen des Acts abgleichen, vor dem nächsten Compliance-Zyklus. Anthropics kürzliche interne Prüfung des Verhaltens seiner eigenen Agenten, über die The Decoder Mitte 2026 berichtete, zeigt, dass selbst Frontier-Labs noch herausfinden, wo ihre Modelle sich unter realen Bedingungen unerwartet verhalten.
Die richtige Frage für jede Führungskraft im operativen Bereich, die die Lage beim DWP beobachtet, ist nicht, ob Agenten anfangen werden, ihre Eingangsprozesse zu berühren. Das passiert schon. Die Frage ist,wie man das richtige Maß an Autonomie wählt für jeden einzelnen Schritt, und wer in der Organisation diese Entscheidung verantwortet, bevor als Nächstes ein Forscher über Ihren Fall schreibt.
Das DWP hat das Agenten-Problem nicht gelöst. Es hat es so weit eingedämmt, dass der Betrieb weiterlief, während eine belastbarere Antwort entstand. Für die meisten Organisationen ist das gerade der realistische Anspruch.
Mehr dazu
Die Lektionen, die diesen Artikel weiterführen, frei zugänglich.
- 1Guardrails, Permissions und Human-in-the-LoopAI Agents: Design, Aufbau und Betrieb
- 2Agents vs. Workflows vs. Automations: das richtige Maß an AutonomieAI Agents: Design, Aufbau und Betrieb
- 3Der ChatGPT-Agent: browsen und handelnChatGPT & das OpenAI-Ökosystem
- 4Agents evaluieren und debuggen: Traces, Evals und Failure ModesAI Agents: Design, Aufbau und Betrieb
- 5Governance und der EU AI Act: das WesentlicheVerantwortungsvolle und vertrauenswürdige KI
Sources
- Anthropic reveals rogue AI agents hate CAPTCHAs, just like you
- OpenAI's GPT-Live-1 API lets developers build apps that talk and listen at the same time
- A Candid Abacus AI Review: The All-in-One AI Platform for Professionals & Enterprises
- Swarmchasers hunt rogue agents, Anthropic investigates itself, and the trail they both follow is going dark
- How a researcher uses Codex and ChatGPT to search for new antimicrobial molecules
- 3 ways to prep for your next big race with Search
- Claude Fable 5.1's language is less "load-bearing" than its predecessor's
- Now everyone can put data to work
- AI agents are flooding public services with new requests
- Generative AI in the Real World: Local Voice AI with Pete Warden
- New Deepseek model V4.1-Flash cuts memory needs for AI agents
- AI safety panic goes mainstream after Anthropic researcher's warnings land on CNN and Fox News
- Can the US battery market untangle from China?
- Introducing ChatGPT for Financial Services
Artikel gelesen?
Bestätigen Sie Ihre Lektüre, um XP zu sammeln und Ihr Radar zu füttern.