Anthropic hat den Menschen im Loop gelassen, und das sagt mehr aus als der Biologie-Fund
Anthropics Biologielabor steht Berichten zufolge kurz vor einer bedeutenden wissenschaftlichen Entdeckung, und Claude hat bei der Suche geholfen. Was die Ankündigung nebenbei bestätigt: Niemand hat Claude mit echten Tools allein arbeiten lassen. Diese Einschränkung liegt nicht an der Technik, sie zeigt, wie schwierig echte menschliche Kontrolle wird, sobald Agenten an Live-Systeme angebunden sind.
Neo NeumannAI Practice Lead23. September 2026Es geht um Human-in-the-Loop-Aufsicht in agentischen Workflows. Fachleute hören den Begriff und gehen davon aus, ihn verstanden zu haben. Man prüft, was die KI tut, bevor sie etwas Folgenreiches tut. Klingt einfach. Das Problem: Diese Prüfung lässt sich kaum noch sinnvoll durchführen, sobald ein Agent echte Tools aufruft, Aktionen in Live-Systemen ausführt und Dutzende Schritte innerhalb von Minuten aneinanderreiht. Was nach einem Governance-Häkchen klingt, ist eines der schwierigeren technischen und organisatorischen Probleme der angewandten KI.
Anthropics Biologielabor ist derzeit das deutlichste Beispiel. TechCrunch berichtete 2026, das Labor habe offenbar etwas Bedeutendes gefunden, wobei Claude eine Rolle im Entdeckungsprozess spielte. Das Detail, das in dieser Geschichte untergeht, ist lehrreicher als der Fund selbst: Anthropic hat Claude nicht autonom in diesem Labor arbeiten lassen. An jedem relevanten Entscheidungspunkt bleiben Menschen im Loop. Hier baut ein Unternehmen das Modell selbst, versteht es besser als alle anderen und führt Experimente in einer kontrollierten Forschungsumgebung durch, und trotzdem hat es sich gegen die vollständige Übergabe der Kontrolle entschieden. Diese Entscheidung sagt einiges über das tatsächliche Vertrauen in agentische Systeme aus, selbst bei denen, die der Technologie am nächsten stehen.
Warum Agentenaufsicht erst mit echtem Tool-Zugriff schwierig wird
Die meisten Fachleute begegnen der Agentenaufsicht als abstrakter Policy-Frage: Sollte ein Mensch die KI-Ergebnisse prüfen? In der Praxis wird die Frage erst dann schwierig, wenn der Agent Hände hat, also Zugriff auf Tools, die schreiben, versenden, löschen, buchen, kaufen oder ausführen.
Der Work-Tab von ChatGPT, laut TechCrunch inzwischen mobil für Pro- und Plus-Nutzer verfügbar, gibt Agenten Zugriff auf E-Mail, Kalender und Slack. OpenAI berichtet (als Anbieter mit Interesse an der Verbreitung, entsprechend einzuordnen), dass die Kundenanruf-Agenten von Ringg mit GPT-5.6 bis zu 65 % der Anrufe ohne menschliche Beteiligung lösen. Die Analysten von O'Reilly Radar beschreiben zu MCPMCPEin offener Standard, mit dem KI-Assistenten einheitlich und kontrolliert an die Werkzeuge und Daten des Unternehmens angebunden werden, statt jede Integration einzeln zu bauen.Vollständige Definition ansehen →, dem Protokoll, das Tools mit LLMs verbindet, dass MCP nicht nur APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen →-Verkabelung ist, sondern ein Mechanismus, der Modellen breiten, kombinierbaren Zugang zu externen Systemen verschaffen kann. Jedes dieser Beispiele steht für Agenten mit echter Reichweite in echte Umgebungen hinein.
An diesem Punkt geht es bei Aufsicht nicht mehr darum, einen Entwurf vor dem Absenden zu lesen. Es geht darum, zu verstehen, was der Agent getan hat, in welcher Reihenfolge, mit welchen Berechtigungen, und ob sich diese Aktionen rückgängig machen lassen. Die meisten Organisationen sind nicht in der Lage, diese Fragen in Echtzeit zu beantworten.
Wie Aufsicht bei einem Beschaffungsagenten Schritt für Schritt zusammenbricht
Ein konkretes Beispiel. Ein Beschaffungsagent erhält Zugriff auf die Lieferantendatenbank Ihres Unternehmens, Ihr E-Mail-Postfach, ein Vertragsmanagementsystem und ein Terminplanungstool. Seine Aufgabe: drei Anbieter für ein neues Bauteil identifizieren, die Erstansprache entwerfen und Qualifizierungsgespräche terminieren.
In einem einzigen Durchlauf fragt der Agent vielleicht die Datenbank ab, gleicht Lieferantenbewertungen ab, entwirft und versendet sechs E-Mails, erstellt sechs Kalendereinladungen und legt Notizen im Vertragssystem ab. Das dauert etwa vier Minuten. Wer diesen Workflow zu Beginn freigegeben hat, hat die Aufgabenbeschreibung freigegeben, nicht diese dreiundvierzig einzelnen Aktionen.
Hier wird die Lücke zwischen Freigabe und Kontrolle sichtbar. Sie haben Ja zum Ziel gesagt. Sie haben nicht Ja zu den konkreten versendeten E-Mails gesagt, nicht zu den konkreten kontaktierten Lieferanten und nicht zu den konkreten gebuchten Zeiten. Wenn der Agent den Status eines Lieferanten falsch gelesen, einen stillschweigend gesperrten Anbieter kontaktiert oder ein Gespräch zu einer Zeit angesetzt hat, die ein Compliance-Problem schafft, erfahren Sie es womöglich erst, wenn der Schaden da ist.
Drei konkrete Failure Modes sind es wert, benannt zu werden:
- Aktionen summieren sich, bevor eine einzelne davon ein Problem anzeigt. Der dritte Schritt des Agenten sieht für sich genommen in Ordnung aus und ist nur im Kontext der ersten beiden falsch.
- Die Umkehrbarkeit unterscheidet sich je nach Tool massiv. Ein in Google Docs gespeicherter Entwurf lässt sich leicht rückgängig machen. Eine versendete E-Mail, eine von einem externen Teilnehmer angenommene Kalendereinladung oder ein Vertragseintrag, der einen nachgelagerten Workflow auslöst, nicht.
- Ermüdung bei der Kontrolle setzt schnell ein. Wenn Ihr Prüfprozess verlangt, dass ein Mensch bei jedem Durchlauf die Agenten-Traces liest, wird dieser Mensch innerhalb einer Woche anfangen, ohne Lesen freizugeben.
Die Entscheidung in Anthropics Biologielabor zeigt ein Bewusstsein für alle drei Punkte. In der wissenschaftlichen Forschung summieren sich Fehler gefährlich. Viele experimentelle Schritte sind nicht umkehrbar. Und Forschende sind teuer; Sie kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen es sich nicht leisten, dass sie zu Abnickern werden.
Wann sollten Sie die Aufsicht über Agenten verschärfen?
Aufsicht muss nicht bei jedem Agenten-Einsatz gleich aussehen. Die entscheidende Variable sind die Konsequenzen pro Aktion, kombiniert mit der Umkehrbarkeit.
Ein Agent, der Gliederungen für Blogbeiträge entwirft, kann mit minimalem menschlichem Eingriff arbeiten, weil das Ergebnis vor der Veröffentlichung geprüft wird und nichts an ein externes System geht. Ein Agent, der Kundentermine bucht, Spesenabrechnungen einreicht oder Trades ausführt, liegt in einer völlig anderen Kategorie, selbst wenn die einzelnen Schritte routiniert wirken.
Ein praktikabler Weg, zu durchdenken, welche Tools Sie einem Agenten geben , ist die Frage: Wenn diese Aktion falsch ausgeführt wird und ich es 48 Stunden später erfahre, was kostet die Korrektur? Lautet die Antwort „eine unangenehme E-Mail", ist das Risikoprofil beherrschbar. Lautet die Antwort „eine Meldung an die Aufsichtsbehörde, eine Kundenbeziehung oder eine nicht umkehrbare Finanztransaktion", dann ist vollständige Autonomie an dieser Stelle den Effizienzgewinn vermutlich nicht wert.
Der ehrliche Tradeoff sieht so aus: Echte menschliche Aufsicht auf Aktionsebene bremst Agenten erheblich aus, und ein Großteil des Geschwindigkeitsvorteils verschwindet. Aufsicht auf Zielebene erhält das Tempo, gibt Ihnen aber deutlich weniger tatsächliche Kontrolle, als Sie glauben. Die meisten Deployments liegen derzeit irgendwo unbequem dazwischen, mit Freigabeprozessen, die beruhigend wirken, aber genau die Failure Modes nicht abfangen würden, auf die es ankommt.
Anthropics Entscheidung, im Biologielabor Menschen im Loop zu behalten, ist keine Aussage über Claudes Fähigkeiten. Sie ist eine Aussage über die Kosten eines Fehlers in einem Bereich, in dem Fehler teuer sind. Bevor Sie einen Agenten mit Zugriff auf Live-Tools einsetzen, lautet die nützliche Frage nicht „Vertrauen wir dem Modell?", sondern „Vertrauen wir unserer Fähigkeit, seine Fehler abzufangen, bevor sie sich summieren?" In den meisten Produktivumgebungen lautet die ehrliche Antwort nein, und das Design des Deployments sollte das widerspiegeln.
Häufige Fragen
Warum lässt Anthropic Claude im eigenen Biologielabor nicht autonom arbeiten?
Anthropic hält an jedem relevanten Entscheidungspunkt Menschen im Loop, weil Fehler in der Laborforschung teuer und viele experimentelle Schritte nicht umkehrbar sind. Die Entscheidung sagt nichts über Claudes Fähigkeiten aus, sondern über die Kosten eines Fehlers in einem Bereich, in dem sich Fehler summieren.
Was ist der Unterschied zwischen Aufsicht auf Zielebene und auf Aktionsebene?
Aufsicht auf Zielebene heißt, dass ein Mensch die Aufgabenbeschreibung freigibt, etwa die Suche nach drei Lieferanten, nicht aber die dreiundvierzig Einzelaktionen, die der Agent danach ausführt. Aufsicht auf Aktionsebene prüft jeden Schritt, bremst den Agenten aber so stark aus, dass ein Großteil des Geschwindigkeitsvorteils verschwindet.
Wie entscheide ich, welche Tools ein Agent bekommen darf?
Eine brauchbare Testfrage lautet: Wenn diese Aktion falsch ausgeführt wird und ich es 48 Stunden später erfahre, was kostet die Korrektur? Bleibt es bei einer unangenehmen E-Mail, ist das Risikoprofil beherrschbar. Geht es um eine Meldung an die Aufsichtsbehörde oder eine nicht umkehrbare Finanztransaktion, ist volle Autonomie den Effizienzgewinn kaum wert.
Warum versagen Freigabeprozesse für KI-Agenten in der Praxis?
Drei Failure Modes treten regelmäßig auf: Aktionen summieren sich, bevor eine einzelne auffällig wird, die Umkehrbarkeit schwankt stark je nach Tool (ein Google-Docs-Entwurf gegenüber einer versendeten E-Mail), und Prüfermüdung setzt ein. Wer bei jedem Durchlauf Agenten-Traces lesen soll, gibt nach einer Woche ohne Lesen frei.
Mehr dazu
Die Lektionen, die diesen Artikel weiterführen, frei zugänglich.
- 1Guardrails, Berechtigungen und Human-in-the-LoopAI Agents: Design, Aufbau und Betrieb
- 2Tools und function calling: So geben Sie Ihrem Agenten HändeAI Agents: Design, Aufbau und Betrieb
- 3Agents evaluieren und debuggen: Traces, Evals und Failure ModesAI Agents: Design, Aufbau und Betrieb
- 4Agents vs. Workflows vs. Automations: das richtige Maß an Autonomie wählenAI Agents: Design, Aufbau und Betrieb
- 5Connector-Sicherheit, Berechtigungen und GovernanceClaude & das Anthropic-Ökosystem
Sources
- Anthropic says its biology lab has already found something big
- Google Beam expands with new regions, partners, and customers
- ChatGPT Voice gets closer to "Her" with email, calendar, and Slack access
- Google's new Flash TTS models let you design AI voices from scratch using text descriptions
- ChatGPT mobile app gets voice-based agentic features
- Even Americans who use AI every day are worried about it
- YouTube adds AI tools to Creator Studio with script coaching, smart thumbnails, and Gemini editing
- Two years of OpenAI Academy
- Anthropic engineer explains why Claude's writing got worse although the model got smarter
- Everything Claude Opus 5.5 Actually Ships With
- YouTube will let you build your own algorithm with AI
- Sam Altman’s remarks at the United Nations Security Council
- Ringg’s AI agents resolve up to 65% of customer calls with OpenAI
- MCP Is Not Just Another API Standard
Artikel gelesen?
Bestätigen Sie Ihre Lektüre, um XP zu sammeln und Ihr Radar zu füttern.