Kanzleien · Einen belastbaren KI-Piloten in einer Practice Group aufsetzen

Ein Managing Partner einer Kanzlei mit 200 Anwälten genehmigte einmal einen kanzleiweiten KI-Rollout, weil ein Senior Associate gesagt hatte, ein Tool zur Vertragsprüfung "fühle sich schneller an". Achtzehn Monate später lag die Adoption bei unter 20%, niemand konnte sagen, ob sich die Fehlerquoten verändert hatten, und die Verlängerung des Tools kam zur Abstimmung, ohne dass es in die eine oder andere Richtung verwertbare Evidenz gab. Genau das passiert, wenn ein Pilot darauf ausgelegt ist, eine gute Geschichte statt eines guten Datensatzes zu produzieren.

In dieser Lektion geht es um die Alternative: einen 90-Tage-Piloten innerhalb einer Practice Group (der Anschaulichkeit halber Immobilienrecht oder Litigation), der Evidenz erzeugt, der ein skeptisches Partnergremium tatsächlich vertraut.

Warum die meisten KI-Piloten als Evidenz scheitern

Piloten in Kanzleien scheitern typischerweise nicht, weil das Tool schlecht ist, sondern weil das Pilotdesign drei Fragen nicht beantworten kann:

1. Verglichen mit welcher Baseline?
2. Gemessen wie, von wem, an welcher Stichprobe?
3. Würde sich das Ergebnis mit einem anderen Associate, Mandat oder Monat reproduzieren lassen?

Eine Anekdote ("die KI hat eine solide Freistellungsklausel entworfen") beantwortet keine davon. Ein belastbarer Pilot wird rückwärts aus den Fragen entwickelt, die die Partnerschaft stellen wird, bevor sie Budget freigibt.

Schritt 1: Einen abgegrenzten, messbaren Workflow wählen

Pilotieren Sie nicht "KI in der Litigation". Pilotieren Sie eine Aufgabe mit klarem Output und heute bekannten Kosten.

Beispiel Litigation: First-Pass-Privilege-Review an einem Dokumentenbestand von 5.000 bis 20.000 Dokumenten, mit einem KI-Klassifikationstool, das auf bestehende E-Discovery-Plattformen (Relativity, Everlaw) aufgesetzt wird. Privilege Review hat definierte Stückkosten (Stunden von Associates oder Contract Attorneys pro 1.000 Dokumente) und eine definierte Fehlerfolge (ein Privilege Waiver, ein reales, sanktionsbewehrtes Risiko nach der Attorney-Client-Privilege-Doktrin).

Beispiel Immobilienrecht: KI-gestützte Lease Abstraction, also das Extrahieren von Mietstaffelklauseln, Verlängerungsoptionen und Abtretungsbeschränkungen aus einem Portfolio gewerblicher Mietverträge vor einer Due-Diligence-Deadline. Für Abstraction gibt es eine bekannte Kostenbaseline pro Mietvertrag aus der Zeit von Paralegals oder Junior Associates.

Die Abgrenzung des Workflows erlaubt die Messung gegen eine echte Baseline statt gegen einen vagen "Produktivitätsgewinn".

Schritt 2: Die Baseline aufbauen, bevor Sie das Tool anfassen

Das ist der Schritt, den die meisten Piloten überspringen, und genau der macht die Ergebnisse belastbar.

Verfolgen Sie 2 bis 3 Wochen lang, bevor das KI-Tool eingeführt wird, den aktuellen Prozess an einer vergleichbaren Stichprobe:

• Zeit pro Dokument/Mietvertrag (Stunden, protokolliert, nicht nachträglich geschätzt)
• Fehlerquote an einer von einem Partner geprüften Stichprobe (z. B. 10% des Outputs nochmals geprüft durch einen Senior Lawyer)
• Kosten pro Einheit, auf Basis realisierter Abrechnungssätze oder interner Kostensätze, nicht Listenhonorare

Ohne diese Baseline ist jede "40% schneller"-Behauptung aus der KI-Phase nicht falsifizierbar. Mit ihr haben Sie eine Kontrollgruppe von eins, was dünn ist, aber deutlich besser als nichts.

Schritt 3: Den Piloten mit einem festen Evaluationsprotokoll fahren

Strukturieren Sie die 90 Tage in drei Blöcke à vier Wochen:

Woche 1-4: Überwachter Parallelbetrieb. Jeder KI-Output wird von einem Menschen geprüft, bevor ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → zählt. Das misst Genauigkeit, nicht Geschwindigkeit, weil die Anwälte weiterhin vollständig prüfen.

Woche 5-8: Stichprobenbetrieb. Reduzieren Sie die menschliche Prüfung auf eine feste Stichprobe (z. B. 20% der KI-Outputs) und simulieren so den realen Einsatz. Hier messen Sie realistische Geschwindigkeitsgewinne.

Woche 9-12: Steady State mit Incident Logging. Vollständiger Einsatz im Pilot-Workflow, mit verpflichtender Protokollierung jedes Ereignisses "die KI lag hier materiell falsch", egal wie geringfügig.

Verfolgen Sie vier Metriken durchgängig über alle drei Blöcke:

Die Override-Rate ist wichtiger, als die meisten Kanzleien annehmen. Ein Tool mit 90% Akzeptanzquote in Woche 2 und 60% in Woche 10 ist ein Warnsignal, kein reifendes Tool; meist heißt das, dass die Nutzer aufgehört haben, sorgfältig zu prüfen, nicht dass das Tool schlechter geworden ist.

Schritt 4: Kalkulieren Sie wie ein Anwalt, nicht wie ein Anbieter

Anbieter quotieren Per-Seat-Lizenzen (üblicherweise im niedrigen dreistelligen Dollarbereich pro Nutzer und Monat für Enterprise-Legal-AI-Tools, als Branchenschätzung für 2025-2026, stark schwankend je nach Anbieter und Vertragsgröße). Diese Zahl allein sagt der Partnerschaft nichts über den ROIROIReturn on Investment: das Verhältnis von Nettogewinn zu den Kosten einer Investition. Ein ROI von 300 % bedeutet, dass jeder investierte Dollar 3 Dollar zurückbringt.Vollständige Definition ansehen →.

Rechenbeispiel (illustrativ, nicht das Pricing eines realen Anbieters):

• Baseline: Lease Abstraction durch Paralegal, 45 Minuten/Mietvertrag, geschätzte Vollkosten 60 $/Stunde → 45 $/Mietvertrag
• Pilot (Steady State, Woche 9-12): 20 Minuten/Mietvertrag Prüfzeit + anteilige Toolkosten pro Mietvertrag
• Toolkosten: 400 $/Seat/Monat, 3 Seats, 200 Mietverträge/Monat → 6 $/Mietvertrag anteilig
• Neue Kosten: (20 Min × 60 $/Std) + 6 $ = 20 $ + 6 $ = 26 $/Mietvertrag
• Einsparung: 19 $/Mietvertrag, also rund 42%, nur in diesem Workflow

Das ist eine hypothetische Illustration der Rechenmethode, kein Benchmark, den man erwarten sollte. Jede Kanzlei muss ihre eigenen Zahlen mit ihren eigenen Sätzen und ihrem eigenen Tool-Pricing rechnen.

Die entscheidende Disziplin: Prüfzeit einbeziehen, nicht nur KI-Verarbeitungszeit, und Lizenzkosten auf das tatsächliche Volumen umlegen, nicht den Listenpreis ansetzen. Piloten, die nur messen, "wie schnell die KI lief", überschätzen den ROI massiv.

Schritt 5: Den Risiko-Case parallel zum ROI-Case aufbauen

Partner in einem Pilot-Review-Komitee fragen nach dem Downside, bevor sie nach dem Upside fragen. Bereiten Sie Antworten vor, die im realen regulatorischen Kontext verankert sind:

• Vertraulichkeit und Privilege: Nach ABA Model Rule 1.6 (Verschwiegenheitspflicht) und ihren einzelstaatlichen Entsprechungen wirft das Hochladen von Mandantendokumenten in ein Drittanbieter-KI-Tool Fragen zum Datenhandling, zu Vendor-Verträgen und dazu auf, ob das Tool auf Mandantendaten trainiert. Lassen Sie sich die Datenrichtlinie des Anbieters schriftlich bestätigen.
• Kompetenzpflicht: ABA Model Rule 1.1 (und der Kommentar von 2012 zur Technologiekompetenz) bedeutet, dass Anwälte ein Tool gut genug verstehen müssen, um es zu beaufsichtigen, statt ihr Urteil daran zu delegieren.
• EU-Kontext: Kanzleien mit europäischen Mandaten sollten den EU AI Act verfolgen, der bestimmte KI-Anwendungen nach Risikostufen klassifiziert; die meisten aktuellen Tools für Drafting und Review fallen nicht in die Kategorie "hochriskant", Kanzleien sollten ihre eigene Einstufungsbegründung aber dokumentieren.
• Haftungsexposure: Ein dokumentierter Human-Review-Schritt im Pilotprotokoll ist selbst ein Artefakt der Risikominderung, nützlich, falls ein Mandant den Prozess jemals in Frage stellt.

Diese drei Punkte *im Pilotbericht selbst* zu dokumentieren, macht aus "vertrauen Sie mir" ein "hier ist unsere Begründung".

Schritt 6: Ergebnisse als Entscheidungsvorlage präsentieren, nicht als Demo

Das finale Deliverable sollte aus einer einseitigen Tabelle plus einer einseitigen Erläuterung bestehen, nicht aus einem Foliensatz mit Screenshots. Enthalten sein sollten:

• Baseline vs. Pilot-Metriken (Zeit, Kosten, Fehlerquote, Override-Rate) je Block
• Gesamtkosten des Piloten (Lizenzen, Schulungszeit, Review-Overhead)
• Netto eingesparte Kosten/Stunde, mit offengelegter Berechnung
• Benannte Risiken und MaMaEinsatz von Software, um wiederkehrende Marketingaufgaben und Kampagnen zu automatisieren und Personalisierung in großem Maßstab über Kanäle wie E-Mail, Web und Social zu ermöglichen.Vollständige Definition ansehen →ßnahmen, verknüpft mit konkreten Berufsregeln
• Eine Empfehlung: ausweiten, Pilot verlängern oder stoppen, samt der Schwelle, die die Empfehlung ändern würde

Dieses Format hält der Prüfung durch das Partnergremium stand, weil jede Zahl auf eine Methode zurückführbar ist, nicht auf ein Gefühl.

🎬 [VIDEO: "How Law Firms Are Actually Using AI in 2025" — youtube.com — suchen Sie nach aktuellen Panel-Diskussionen aus der Legal-Branche (z. B. von Legalweek oder ABA TECHSHOW), die reale Deployment-Daten aus Litigation und Transaktionspraxis abdecken]

Typische Fallstricke, die man wegdesignen sollte

• Selektionsverzerrung: den enthusiastischsten Associate sich selbst in den Piloten wählen zu lassen. Rotieren Sie stattdessen 3 bis 5 Nutzer unterschiedlicher Seniorität.
• Keine Stoppbedingung: definieren Sie vorab, welche Fehler- oder Override-Rate ein Pausieren des Piloten auslösen würde.
• Vergleich mit einer unrealistischen Baseline: Kanzleien benchmarken manchmal gegen einen langsamen, unterbesetzten Status quo und blähen damit die scheinbaren KI-Gewinne auf. Nutzen Sie die letzten 90 Tage realer Praxis, nicht einen Idealzustand.
• Entwicklungskosten für Associates ignorieren: Junge Anwälte lernen Drafting und Issue-Spotting zum Teil durch genau die manuelle Arbeit, die KI nun automatisiert. Ein belastbarer Pilot benennt diesen Ausbildungs-Tradeoff explizit, er ist ein realer, wenn auch schwer quantifizierbarer Kostenfaktor.

Ein nützliches Framework zur allgemeinen Bewertung von KI-Tools (über den Rechtsbereich hinaus anwendbar) ist das AI Risk Management Framework des NIST, das eine strukturierte Herangehensweise an Messung und Dokumentation von KI-Performance und -Risiko bietet.

Key Takeaways

• Ein belastbarer Pilot beginnt mit einem abgegrenzten, messbaren Workflow (Privilege Review, Lease Abstraction) und einer Baseline vor KI-Einsatz, gemessen am selben Team im selben Zeitraum.
• Strukturieren Sie die 90 Tage in drei Blöcke (überwacht, stichprobengeprüft, Steady State) und erfassen Sie Zeit, Fehlerquote, Kosten pro Einheit und Override-Rate durchgängig in allen drei.
• Berechnen Sie den ROI mit Vollkosten, inklusive Prüfzeit, mit pro Einheit umgelegten Lizenzkosten statt Listenpreis des Anbieters, und nie allein mit der Verarbeitungsgeschwindigkeit.
• Verankern Sie die Risikodiskussion in benannten Regeln (ABA Model Rules 1.1 und 1.6, EU AI Act wo relevant), nicht in allgemeiner Vorsicht, damit Partner das reale Exposure bewerten kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen.
• Liefern Sie eine Entscheidungsvorlage mit nachvollziehbaren Zahlen und einer benannten Stopp-/Ausweitungsschwelle, keine Demo beeindruckender Outputs.