Kanzleien · Die Pre-Deployment-Checkliste, die Partner tatsächlich abzeichnen

Eine Managing Partner einer mittelgroßen Litigation-Kanzlei sollte Ende 2025 ein Generative-AI-Tool für erste Zusammenfassungen von Zeugenaussagen freigeben. Sie verweigerte die Freigabe, bis der Anbieter etwas lieferte, das in keinem Marketing-Deck stand: ein Paket, das genau zeigte, mit welchen Daten das Modell trainiert wurde, wie es im Vergleich zu Zusammenfassungen ihrer eigenen Associates abschnitt und was passierte, wenn es etwas falsch machte. Dieses Paket, nicht die Produktdemo, bringt AI-Tools in Kanzleien tatsächlich in den Produktivbetrieb.

Diese Lektion baut dieses Paket auf, Abschnitt für Abschnitt.

Warum Kanzleien ein Clearance-Verfahren nach Associate-Logik brauchen

Kanzleien lassen einen Berufseinsteiger keinen Schriftsatz unbeaufsichtigt einreichen. Sie testen das Verfassen von Entwürfen an Mandaten mit geringem Risiko, prüfen Zitate und bauen Vertrauen schrittweise auf, bevor sie Autonomie gewähren.

AI-Deployment sollte derselben Logik folgen. Die Formal Opinion 512 (2024) der American Bar Association zu Generative AI macht das explizit: Anwälte, die AI-Tools nutzen, behalten die vollen Kompetenz- und Aufsichtspflichten nach Model Rule 1.1 (Kompetenz) und Model Rule 5.3 (Aufsicht über nicht-anwaltliche Unterstützung), unabhängig davon, ob der „Assistent“ eine Person oder ein Modell ist. Mit einer Checkliste dokumentiert eine Kanzlei, dass sie dieser Pflicht nachgekommen ist.

Abschnitt 1: Data ProvenanceData ProvenanceData Lineage zeigt, wie Daten sich durch Systeme bewegen und dabei transformiert werden, von der Quelle bis zur Nutzung: woher sie kommen, was sie verändert hat und wohin sie gehen.Vollständige Definition ansehen →

Vor allem anderen muss das Sign-off-Paket beantworten: Mit welchen Daten wurde dieses Modell trainiert oder feinjustiert, und wem gehören sie?

Zu dokumentierende Kernfragen:

• Quelle der Trainingsdaten. Ist das Basismodell auf öffentlichen Webdaten trainiert (wie die meisten Allzweck-LLMs, Large Language Models), auf lizenzierten juristischen Datenbanken (Inhalte von Westlaw, LexisNexis) oder auf den eigenen Mandatsakten der Kanzlei?
• Vertraulichkeitsgrenze. Werden Kanzleidaten, die in das Tool eingegeben werden, für weiteres Training genutzt, oder sind sie abgeschottet? Das ist direkt relevant nach ABA Model Rule 1.6 (Vertraulichkeit von Mandanteninformationen). Ein Tool, das Prompts stillschweigend zur Modellverbesserung speichert, ist ein Haftungsrisiko, keine Bequemlichkeit.
• Jurisdiktionsrisiko. Verarbeitet der Anbieter Daten in der EU, klassifiziert der EU AI Act (in Kraft seit August 2024, mit gestaffelten Pflichten bis 2027) bestimmte juristische Assistenz-Anwendungen als begrenztes oder, in spezifischen Kontexten, höheres Risiko, was Transparenzpflichten auslöst. In den USA existiert noch kein einheitliches Bundes-AI-Gesetz; Landesgesetze (z. B. Colorados AI Act, wirksam ab 2026) und bestehendes Haftungs- und Datenschutzrecht füllen die Lücke.
• Datenaufbewahrung und Löschung. Verlangen Sie vertragliche Formulierungen, keine Vertriebszusagen, zu Aufbewahrungsfristen und Löschrechten.

Das Deliverable hier ist ein einseitiges Provenance-Memo, vom Anbieter unterzeichnet und vom General Counsel der Kanzlei geprüft. Kann ein Anbieter das nicht liefern, ist das schon die Antwort.

Abschnitt 2: Output-Tests gegen Benchmarks mit bekannter Lösung

Das ist das Äquivalent zum „Probeschriftsatz“ des Associates. Bevor Sie irgendeine Autonomie gewähren, testen Sie das Modell an Fragen mit verifizierter korrekter Antwort.

Bauen Sie ein Benchmark-Set aus echten, abgeschlossenen Mandaten:

1. Ziehen Sie 30 bis 50 vergangene Mandate, bei denen der korrekte Output bereits bekannt ist (eine Vertragsklausel, die tatsächlich durchsetzbar war, ein Fallzitat, das tatsächlich noch geltendes Recht war, eine Zusammenfassung einer Zeugenaussage, die ein erfahrener Associate bereits geschrieben und Partner freigegeben haben).
2. Lassen Sie das AI-Tool auf denselben Inputs laufen.
3. Bewerten Sie die Outputs auf drei Achsen: faktische Richtigkeit, Zitatvalidität und Auslassung wesentlicher Fakten.
4. Legen Sie eine numerische Bestehensschwelle fest, bevor Sie die Ergebnisse sehen (zum Beispiel: nicht mehr als 2 % der Zitate dürfen erfunden oder „halluziniert“ sein, ein bekannter Fehlermodus, bei dem ein Modell plausible, aber nicht existente Rechtsprechung generiert).

Warum das konkret zählt: In *Mata v. Avianca* (S.D.N.Y. 2023) reichten Anwälte einen Schriftsatz mit sechs von ChatGPT erfundenen Fallzitaten ein, was zu Sanktionen führte. Mehrere ähnliche Sanktionsfälle folgten 2024 und 2025 vor US-Bundes- und Landesgerichten. Ein hausintern und vor dem Deployment durchgeführter Benchmark-Test fängt diesen Fehlermodus an Ihren eigenen Mandaten ab, statt vor einem Richter.

Ein einfaches Rechenbeispiel, wie man einen Batch bewertet:

Benchmark set: 40 closed matters, known correct citations = 40
AI-generated citations flagged as fabricated or non-existent = 3
Hallucination rate = 3 / 40 = 7.5%

Firm threshold for autonomous use = 2%
Result: FAIL. Tool requires mandatory human citation-check step before any use.

Diese einzelne Rechnung macht aus „der Anbieter sagt, es sei 95 % genau“ eine belastbare, kanzleispezifische Zahl, die ein Partner in einer Haftungsverteidigung anführen kann, wenn später etwas schiefgeht.

Abschnitt 3: Fallback-Protokolle

Jede Checkliste braucht einen Plan für den Fall, dass das Modell falsch liegt, nicht nur die Hoffnung, dass es das nicht tut.

Mindestbestandteile des Fallbacks:

• Human-in-the-Loop-Gate. Definieren Sie, welche Outputs vor der Übergabe an den Mandanten die Freigabe eines zugelassenen Anwalts erfordern (nahezu alles, zumindest anfangs). Kein AI-Output verlässt das Haus ohne namentlich benannten Prüfer.
• Eskalations-Trigger. Eine definierte Konfidenz- oder Komplexitätsschwelle, oberhalb derer das Tool „an Senior Associate weiterleiten“ markieren muss, statt zu antworten. Die meisten Enterprise-Legal-AI-Tools (z. B. Harvey, CoCounsel) unterstützen das in den Releases 2025 und 2026 nativ.
• Kill Switch. Ein dokumentierter Prozess, um das Tool bei einem systemischen Fehler innerhalb von Stunden, nicht Tagen, aus laufenden Mandaten zu nehmen (vergleichbar damit, dass eine Kanzlei die Einreichungen eines Junior Associates einfriert, nachdem ein schwerer Fehler entdeckt wurde).
• Audit Trail. Jeder AI-generierte Entwurf wird mit Zeitstempel, Modellversion und prüfendem Anwalt protokolliert, analog zur Dokumentation von Abrechnung und Conflict Checks, die Kanzleien ohnehin führen.

Als allgemeines Framework für die Strukturierung solcher Governance ist das NIST AI Risk Management Framework (US National Institute of Standards and Technology, 2023, kostenlos) eine solide, nicht juristikspezifische Referenz, die viele Risikokomitees von Kanzleien inzwischen direkt in ihren internen Policies zitieren.

Das Sign-off-Paket zusammenstellen

Fügen Sie diese drei Abschnitte zu einem Dokument zusammen, das ein Managing Partner oder General Counsel tatsächlich in einem Zug lesen kann:

1. Provenance-Memo (1 Seite): Datenquellen, Behandlung der Vertraulichkeit, Jurisdiktion, Aufbewahrungsbedingungen.
2. Benchmark-Report (1 bis 2 Seiten): Stichprobengröße, Genauigkeits- und Halluzinationsraten, Bestehen/Nichtbestehen gegen vorab festgelegte Schwellen.
3. Fallback-Protokoll (1 Seite): Gates für die menschliche Prüfung, Eskalations-Trigger, Verantwortlicher für den Kill Switch, Methode des Audit-Loggings.

Das ist bewusst kurz. Ein 40-seitiger Sicherheitsfragebogen eines Anbieters wird abgelegt und ignoriert. Ein Paket von 3 bis 4 Seiten mit Zahlen wird gelesen und unterschrieben.

🎬 [VIDEO: „How Law Firms Are Actually Using AI in 2025“ — youtube.com — suchen Sie nach aktuellen Paneldiskussionen von Thomson Reuters oder Stanford CodeX zu realen Adoptionsdaten und Governance-Praktiken in großen Kanzleien]

Wichtigste Erkenntnisse

• Behandeln Sie AI-Deployment wie das Onboarding eines unbeaufsichtigten Associates: Verlangen Sie Provenance-Dokumentation, einen bewerteten Test an Benchmarks mit bekannter Lösung und einen Fallback-Plan, bevor Sie Autonomie gewähren.
• Data Provenance muss beantworten, wer das Modell trainiert hat, ob Kanzleidaten für Retraining genutzt werden und welche jurisdiktionellen Regeln (EU AI Act, Landes-AI-Gesetze, ABA Formal Opinion 512) gelten.
• Führen Sie hausinterne Benchmark-Tests an abgeschlossenen Mandaten mit vorab festgelegter Bestehensschwelle durch (z. B. Halluzinationsrate unter 2 %); verlassen Sie sich nicht allein auf die Genauigkeitsangaben des Anbieters.
• Bauen Sie explizite Fallback-Protokolle: Gates für die menschliche Prüfung, Eskalations-Trigger, einen Kill Switch und einen Audit Trail, analog zu den bestehenden Aufsichtspflichten nach Model Rules 1.1, 1.6 und 5.3.
• Ein kurzes, zahlenbasiertes Sign-off-Paket (3 bis 4 Seiten) wird geprüft und unterschrieben; ein langer, generischer Anbieterfragebogen in der Regel nicht.