Kanzleien · Ein Pilot, der den Kontakt mit Fee Earnern übersteht

Sechs Wochen. So lange brauchte ein gut finanziertes Legal-Research-Tool, um von „das wird unsere Arbeitsweise verändern" in einer Partner-Demo zu einem Login zu werden, das niemand nutzte, bei einer mittelgroßen Litigation-Kanzlei, die es Ende 2024 pilotierte. Die Demo beantwortete eine platzierte Frage hervorragend. In Woche eins der echten Mandatsarbeit stellte ein Associate eine wirklich mehrdeutige Frage zu widersprüchlicher Rechtsprechung der Appellationsinstanz, erhielt eine selbstbewusste, aber falsche Synthese und erzählte es bis zum Mittagessen drei Kollegen. Das Tool wurde nicht wieder geöffnet.

Das ist keine Geschichte über schlechte KI. Es ist eine Geschichte über einen schlechten Piloten. Das Tool war vielleicht in Ordnung. Die Art der Einführung garantierte das Scheitern.

Warum Demos lügen

Hersteller-Demos sind für die Demo optimiert, nicht für Ihre Mandate. Sales Engineers wissen, welche Prompts funktionieren. Sie haben die exakte Query auf dem exakten Dokumentenbestand vorher getestet. Die Zeit von Fee Earnern (den umsatzgenerierenden Anwälten: Partner, Associate oder Counsel) ist teuer und knapp, deshalb lassen Kanzleien häufig eine einzige geschliffene Session an die Stelle echter Tests treten.

Die Lücke zwischen Demo und Deployment zeigt sich an drei Stellen:

• Data mismatch. Die Demo lief auf sauberen, gut getaggten Dokumenten. Ihr Dokumentenmanagementsystem (DMS, das Repository, das Mandatsakten speichert und versioniert, z. B. iManage oder NetDocuments) enthält fünfzehn Jahre inkonsistenter Benennung, doppelte Entwürfe und unstrukturierte Ordner.
• Task mismatch. Die Demo beantwortete eine Frage, die ausgewählt wurde, weil das Tool sie gut beantwortet. Echte Fee Earner stellen die schwersten Fragen, nicht die leichtesten, weil sie genau dort Hilfe brauchen.
• Trust mismatch. Ein Partner, der eine Demo ansieht, ist Zuschauer. Ein Partner, der sich auf Output stützt, um einen Mandanten zu beraten, haftet berufsrechtlich, wenn dieser Output falsch ist. Die psychologischen Einsätze sind völlig andere.

Gestalten Sie den Piloten um das Scheitern, nicht um den Erfolg

Ein Pilot, der den Kontakt mit Fee Earnern übersteht, ist darauf gebaut, Fehler schnell, günstig und intern sichtbar zu machen, bevor sie vor einem Mandanten oder einem Richter sichtbar werden.

Wählen Sie ein abgegrenztes, echtes Mandat, keine Demo-Sandbox

Wählen Sie eine aktive, aber risikoarme Mandatskategorie, zum Beispiel routinemäßige Prüfung von Gewerbemietverträgen oder eine First-Pass-Due-Diligence-Prüfung bei einem mittelgroßen Deal, und nutzen Sie das Tool an lebenden Dokumenten mit einer echten Deadline. Abgeschottete „Testdokumente" erzeugen Feedback in Sandbox-Qualität.

Setzen Sie einen Skeptiker ein, keinen Champion

Jeder Pilot hat einen natürlichen Enthusiasten. Setzen Sie einen zweiten, schwerer zu überzeugenden Fee Earner auf denselben Workflow. Adoption-Daten, die nur von Gläubigen erhoben werden, sind keine Adoption-Daten.

Legen Sie vor dem Start eine falsifizierbare Erfolgsmetrik fest

„Die Anwälte fanden es gut" ist keine Metrik. Besser sind:

• Zeit vom Dokumenteneingang bis zur ersten Entwurfsliste der Issues, gemessen gegen dieselbe Aufgabe, im Vorquartal manuell erledigt.
• Anzahl halluzinierter Zitate pro 100 Queries, geprüft von einem aufsichtführenden Associate (eine Halluzination ist ein erfundener, aber plausibel klingender Fakt oder eine Quellenangabe, die das Modell ohne Grundlage im Ausgangsmaterial erzeugt).
• Prozentsatz der Outputs, die ein Partner ohne jede Änderung akzeptiert, gegenüber denen, die substanzielle Nacharbeit brauchen.

Wählen Sie zwei oder drei, messen Sie sie vier bis sechs Wochen und schreiben Sie sie vor Pilotbeginn auf, damit Erfolg nicht hinterher so umdefiniert wird, dass ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → zum Ergebnis passt.

Ordnen Sie die Tool-Kategorie der Aufgabe ehrlich zu

Die Kernkategorien dieses Moduls verhalten sich unter Druck sehr unterschiedlich:

Ein Pilot scheitert schnell, wenn die gewählte Aufgabe die tatsächliche Stärke der Kategorie trifft. Er scheitert langsam und hässlich, wenn die gewählte Aufgabe ihre Schwäche trifft, denn das Tool sieht gut aus bis zu dem einen Mandat, bei dem es am meisten zählt.

Verdrahten Sie es ab Tag eins mit dem DMS, nicht erst beim Rollout

Wenn der Pilot auf hochgeladenen Beispieldateien läuft statt auf einer Live-Verbindung zum DMS der Kanzlei, testen Sie ein anderes, leichteres Produkt. Echte Integration bringt das Unsaubere an die Oberfläche: Konflikte in der Versionskontrolle, Berechtigungsgrenzen (soll das Tool Dokumente sehen, von denen ein Associate durch einen Ethical Screen abgeschirmt ist?) und Retrieval-Qualität gegen das tatsächliche Ordnerchaos. Die Sedona Conference veröffentlicht frei verfügbare Frameworks zu KI und eDiscovery, nützlicher Hintergrund dazu, wie Retrieval-Qualität in der Praxis bewertet wird.

Machen Sie es günstig, Fehler zu melden

Das Tool zur Mietvertragsprüfung in der oben genannten Kanzlei scheiterte nicht, weil es einen Fehler machte. Es scheiterte, weil die Associate keinen einfachen, gesichtswahrenden Weg hatte, den Fehler zu melden, und deshalb einfach aufhörte, das Tool zu öffnen. Bauen Sie einen Zwei-Klick-Feedback-Pfad „das war falsch" und stellen Sie sicher, dass die Pilotleitung ihn wöchentlich tatsächlich liest und triagiert. Stille von Nutzern ist keine Zufriedenheit. Sie ist meist eine Abwanderung im Gange.

Change Management: Partner als harter Fall

Associates übernehmen Tools, die ihnen Stunden sparen. Partner übernehmen Tools, denen sie ihren Namen und ihre Mandantenbeziehung anvertrauen. Das sind verschiedene psychologische Hürden, und die meisten Piloten lösen nur die erste.

Drei Dinge bewegen in der Praxis das Vertrauen von Partnern:

1. Zeigen Sie immer die Zitationsspur. Ein Research- oder Review-Output ohne nachvollziehbare Quelle ist unbrauchbar für jemanden, der die Antwort gegenüber einem Mandanten oder einem Gericht verteidigen muss. Tools, die exakt zeigen, aus welchem Absatz, welcher Klausel oder welcher Entscheidung der Output stammt, gewinnen schneller Vertrauen als Tools, die eine Antwort nur behaupten.
2. Beginnen Sie mit Review, nicht mit Generierung. Partnern ist wohler dabei, wenn KI die Arbeit ihres Associates prüft, als wenn KI unbeaufsichtigt Arbeit unter ihrem Namen produziert. Rahmen Sie den Piloten als zweites Augenpaar, bevor Sie ihn als Erstentwurf rahmen.
3. Lassen Sie einen respektierten Partner ankündigen, nicht die IT. Adoption innerhalb einer Partnerschaft ist ein sozialer Prozess. Ein Memo des Innovationskomitees wird überflogen. Ein Senior Litigation Partner, der sagt „ich habe das im Mandat Henderson genutzt und es hat etwas gefunden, das ich übersehen hatte", löst Handeln aus.

🎬 [VIDEO: „How Law Firms Are Actually Using AI in 2025" — youtube.com — eine Diskussion auf Praktikerniveau über echte Deployment-Muster und Adoption-Friktion in Kanzleien, nützlicher Kontext zu dieser Lektion]

Eine minimale Pilot-Scorecard

Eine einfache wöchentliche Tracking-Struktur hält den Piloten ehrlich:

Week | Queries run | Flagged errors | Partner sign-off rate | Time saved (est. hrs)
1    | 42          | 6              | 40%                    | 3
2    | 58          | 4              | 55%                    | 6
3    | 61          | 2              | 71%                    | 9

Wenn die Fehlerrate bis Woche drei oder vier nicht sinkt und die Sign-off-Rate nicht steigt, ist das ein Signal, den Workflow oder die Aufgabe neu zu gestalten, und nicht, den Piloten in der Hoffnung auf Selbstverbesserung zu verlängern.

Key Takeaways

• Demos sind auf Erfolg optimiert; Piloten müssen so gestaltet sein, dass Fehler früh sichtbar werden, an echten Mandaten, mit echten Deadlines und unsauberen Dokumenten, die durch das tatsächliche DMS gezogen werden.
• Ordnen Sie die Tool-Kategorie (Drafting, Review, Research, Discovery, Knowledge Retrieval) ehrlich ihren bekannten Stärken zu; die Aufgabenwahl entscheidet, ob der Pilot den Best Case oder den Worst Case des Tools testet.
• Legen Sie vor Pilotbeginn falsifizierbare, quantitative Erfolgsmetriken fest, nehmen Sie neben einem Enthusiasten bewusst einen Skeptiker als Nutzer auf und bauen Sie einen einfachen Feedback-Loop, damit Fehler gemeldet und nicht stillschweigend umgangen werden.
• Partnervertrauen ist ein anderes Problem als Zeitersparnis bei Associates: Nachvollziehbarkeit der Zitate, ein „Review statt Generierung"-Framing und Fürsprache eines respektierten Partners bewegen Adoption mehr als jede Feature-Liste.
• Ein Tool, das in Woche zwei leise stirbt, stirbt fast immer am Pilotdesign, nicht an der Modellqualität; den Piloten neu zu gestalten ist meist günstiger als den Anbieter zu wechseln.