Die Evaluation eines Legal-AI-Anbieters lesen wie eine Zeugenbefragung im Discovery-Verfahren

Auf der Folie eines Anbieters steht „94 % Accuracy bei der Vertragsprüfung“. Sie fragen nicht, was das bedeutet. Sie fragen: 94 % von was, gemessen wie, auf wessen Dokumenten, verglichen mit welchem Baseline-Wert. Das ist die ganze Lektion.

Anwaltskanzleien und Rechtsabteilungen kaufen 2026 in hohem Tempo AI-Tools für Vertragsprüfung, E-Discovery und juristische Recherche. Die meisten KKDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →äufer akzeptieren die Headline-Zahl und gehen zum Preis über. Das entspricht dem Vorgehen, den CV eines Sachverständigen an die Stelle der Befragung treten zu lassen. Diese Lektion gibt Ihnen die Fragen, die Sie stattdessen stellen.

Wo Legal AI tatsächlich ihr Geld verdient

Bevor Sie irgendeine Behauptung bewerten, sollten Sie wissen, wo AI im Workflow einer Kanzlei plausibel Wert schafft, denn das bestimmt, wie ein „guter“ Benchmark aussieht.

Vertragsprüfung und Due Diligence. Tools wie Harvey, Ironclad, Kira Systems und Luminance extrahieren Klauseln (Freistellung, Kündigung, Change of Control) aus Verträgen in einem Tempo, das kein Associate erreicht. Das ist der ausgereifteste Use Case, weil die Aufgabe eng ist: Text finden und klassifizieren, nicht Beurteilung ausüben.

E-Discovery. Technology-assisted Review (TAR), eine Methode, die mit machine learning Dokumente nach Relevanz im Prozess rankt, ist seit *Da Silva Moore v. Publicis Groupe* (2012, US-Bundesverfahren) gerichtlich anerkannt. Es bleibt der klarste Fall, in dem AI die manuelle Prüfung bei Kosten und Konsistenz übertrifft.

Juristische Recherche. Tools wie Casetext (2023 von Thomson Reuters übernommen) und Lexis+ AI erzeugen Fallzusammenfassungen und entwerfen Memos mithilfe von Large Language Models (LLMs), also AI-Systemen, die auf Text trainiert sind, um menschenähnliche Antworten zu erzeugen. Das ist riskanter: LLMs können „halluzinieren“, das heißt, sie erzeugen plausible, aber erfundene Zitate. Das hat zu echten Sanktionen geführt, insbesondere in *Mata v. Avianca* (2023, SDNY), wo Anwälte von ChatGPT erzeugte Fake-Entscheidungen zitierten.

Unterstützung beim Entwerfen. Erstentwürfe von NDAs, Memos oder Discovery-Anfragen erzeugen. Hohe Adoption, aber der Wert hängt vollständig davon ab, wie viel Prüfzeit von Partnern/Associates tatsächlich gespart wird gegenüber dem, was in Fact-Checking verlagert wird.

Das Muster: AI leistet am besten bei engen, klar definierten Extraktions- und Klassifikationsaufgaben und bleibt am riskantesten bei generativen Aufgaben, die juristische Beurteilung und Zitiergenauigkeit erfordern.

Die Fragen der Befragung: die 94 % ins Kreuzverhör nehmen

Behandeln Sie jede Accuracy-Behauptung eines Anbieters wie eine Zeugenaussage. Hier ist Ihre Checkliste für das Kreuzverhör.

1. Accuracy von was genau?

„94 % Accuracy“ bei der Vertragsprüfung könnte bedeuten: Anteil korrekt identifizierter Klauseln, Anteil der Verträge mit null Fehlern oder F1-Score (ein statistisches MaMaEinsatz von Software, um wiederkehrende Marketingaufgaben und Kampagnen zu automatisieren und Personalisierung in großem Maßstab über Kanäle wie E-Mail, Web und Social zu ermöglichen.Vollständige Definition ansehen →ß, das Precision und Recall kombiniert, siehe unten). Das sind völlig verschiedene Behauptungen. Verlangen Sie die präzise Definition der Metrik schriftlich.

2. Precision vs. Recall: die Verwirrung, die schlechte Tools versteckt

• Precision: Von den Klauseln, die die AI als „problematisch“ markiert hat, welcher Anteil war es tatsächlich? Geringe Precision heißt, Associates verschwenden Zeit mit Fehlalarmen.
• Recall: Von allen tatsächlich problematischen Klauseln im Dokumentenbestand, welchen Anteil hat die AI gefunden? Geringer Recall heißt, echtes Risiko wird übersehen, und zwar unbemerkt.

Ein Anbieter kann 94 % Precision erreichen und dabei die Hälfte der riskanten Klauseln verpassen (schlechter Recall), und die Headline-Zahl sieht weiterhin großartig aus.

F1-Score ist das harmonische Mittel aus Precision und Recall, nützlich, weil es Tools bestraft, die in eine der beiden Richtungen einseitig sind:

F1 = 2 × (Precision × Recall) / (Precision + Recall)

Example:
Precision = 0.94 (94% of flagged clauses are real issues)
Recall = 0.60 (only 60% of actual issues get flagged)

F1 = 2 × (0.94 × 0.60) / (0.94 + 0.60) = 1.128 / 1.54 ≈ 0.73

So a "94% accurate" tool can carry a 73% F1 score once recall is factored in.

Fragen Sie immer nach beiden Zahlen, nicht nur nach der vorteilhaften.

3. Getestet an Dokumenten wie Ihren?

Ein Modell, das an standardisierten US-Gewerbemietverträgen gebenchmarkt wurde, wird bei individuell verhandelten grenzüberschreitenden Joint-Venture-Verträgen oder nach EU-Recht geltenden Lieferverträgen schlechter abschneiden. Fragen Sie: welche Dokumenttypen, welche Jurisdiktionen, welches anwendbare Recht, wie viel Variation von Vertrag zu Vertrag im Testset vorhanden war. Ein Benchmark auf homogenen Vorlagen sagt nichts über die Leistung bei Ihrem unaufgeräumten, verhandelten, multijurisdiktionalen Vertragsportfolio.

4. Verglichen mit welchem Baseline-Wert?

94 % Accuracy klingt beeindruckend, bis Sie erfahren, dass erfahrene Paralegals bei derselben Aufgabe 97 % erreichen oder dass eine einfache Keyword-Suche 85 % erreicht. Verlangen Sie den menschlichen Benchmark, der zum Vergleich genutzt wurde, und wie viele Prüfer beteiligt waren und mit welcher Seniorität.

5. Wer hat das Testset (die „Ground Truth“) validiert?

Ground Truth bedeutet die korrekten Antworten, mit denen die Outputs der AI verglichen werden. Wenn das eigene Team des Anbieters die Ground Truth gelabelt hat, ist das ein Interessenkonflikt, das Äquivalent dazu, dass ein Sachverständiger seine eigene Prüfung bewertet. Fragen Sie, ob die Labels von unabhängigen Anwälten erstellt wurden und ob die Inter-Annotator-Agreement (wie oft unabhängige menschliche Prüfer untereinander übereinstimmten) gemessen wurde. Wenn zwei erfahrene Anwälte in 20 % der Fälle über die „richtige“ Antwort uneinig sind, ist kein AI-Benchmark oberhalb dieser Obergrenze vollständig aussagekräftig.

6. Statistische Signifikanz und Stichprobengröße

„94 % Accuracy“ auf einem Testset von 40 Dokumenten sagt fast nichts. Fragen Sie nach Stichprobengröße und Konfidenzintervallen. Eine nützliche öffentliche Referenz dafür, wie Legal-AI-Benchmarking rigoros angegangen werden sollte, ist Stanfords RegLab- und CodeX-Forschung zu Legal AI, die unabhängige Analysen zur Leistung von Legal-AI-Tools veröffentlicht hat, darunter Studien, die zeigen, dass Halluzinationsraten bei Legal AI je nach Anbieter und Aufgabe deutlich variieren.

Adoption und ROIROIReturn on Investment: das Verhältnis von Nettogewinn zu den Kosten einer Investition. Ein ROI von 300 % bedeutet, dass jeder investierte Dollar 3 Dollar zurückbringt.Vollständige Definition ansehen →: realistische Erwartungen

Auch ein gut validiertes Tool erzeugt nicht automatisch ROI (Return on Investment). Drei Faktoren entscheiden darüber.

Spannung mit der abrechenbaren Stunde. Die traditionelle Kanzleiökonomie belohnt abgerechnete Stunden. Ein Tool, das die Vertragsprüfung von 8 auf 2 Stunden verkürzt, kann den Umsatz pro Mandat bei Stundenabrechnung senken, sofern die Kanzlei für diese Arbeit nicht auf wertbasierte oder Festpreise umstellt. Das ist eine reale, dokumentierte Friktion bei der Adoption von Legal AI, keine Hypothese. Kanzleien mit dem klarsten ROI haben Teile ihrer Praxis oft schon auf alternative Vergütungsmodelle umgestellt.

Die Prüflast verschwindet nicht, sie verschiebt sich. Irgendjemand muss den Output der AI weiterhin prüfen, besonders bei der Zitiergenauigkeit in Recherche-Tools. Ein Partner, der 30 Minuten damit verbringt, einen AI-Entwurf zu verifizieren, für den ein Associate früher 3 Stunden zum Schreiben brauchte, ist eine echte Zeitersparnis, aber nur wenn die Verifizierungszeit ehrlich mitgezählt wird. ROI-Case-Studies von Anbietern zeigen die Verifizierungskosten selten.

Realistische Schätzbereiche (2025-2026, Angaben aus der Branche, als Schätzungen zu behandeln): Zeitreduktionen von 40-60 % bei der Vertragsprüfung werden häufig von Anbietern wie Harvey und Ironclad in Kunden-Case-Studies genannt; unabhängige, peer-reviewte Bestätigung in dieser Größenordnung ist begrenzt. Kostenreduktionen bei E-Discovery durch TAR sind besser dokumentiert, mit Quellen aus der Rechtsbranche, die Reduktionen von 20-60 % bei den Prüfkosten gegenüber vollständig manueller linearer Prüfung nennen, stark schwankend nach Mandatsgröße und Dokumentenvolumen. Behandeln Sie ROI-Behauptungen mit einer einzigen Zahl aus der Case Study eines einzelnen Anbieters mit derselben Skepsis wie seine Accuracy-Behauptungen: fragen Sie nach dem konkreten Mandatstyp, dem Dokumentenvolumen und danach, wer die „vorher“-Baseline gemessen hat.

Governance zählt genauso viel wie Accuracy. Sowohl in den USA als auch in der EU haben Gerichte begonnen, eine Offenlegung zu verlangen, wenn AI-Tools in Schriftsätzen genutzt werden, und der EU AI Act (Verordnung (EU) 2024/1689, in Kraft getreten im August 2024) klassifiziert bestimmte AI-Nutzung in der Rechtspflege als „hochriskant“, was Dokumentations-, menschliche Aufsichts- und Risikomanagementpflichten für Anbieter und in manchen Fällen für einsetzende Kanzleien auslöst. Fragen Sie jeden Anbieter, wie sein Tool klassifiziert ist und welche Compliance-Dokumentation ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → bereitstellt.

🎬 [VIDEO: „AI in Legal Practice: Promise and Peril“ — youtube.com — suchen Sie nach Panel-Diskussionen der Stanford Law School oder der American Bar Association zu Risiken generativer AI in der Rechtspraxis, inklusive Halluzinationsfällen und Sanktionen vor Gericht]

Wichtigste Erkenntnisse

• Akzeptieren Sie niemals eine einzelne Accuracy-Zahl. Verlangen Sie Precision, Recall und F1-Score separat und fragen Sie, wie „Accuracy“ definiert wurde.
• Bestehen Sie darauf, dass der Benchmark Dokumente verwendet hat, die Ihrer Jurisdiktion, Ihrem Vertragstyp und Ihrer Komplexität entsprechen, nicht saubere Vorlagendaten.
• Prüfen Sie, wer die Ground-Truth-Labels erstellt hat (unabhängige Anwälte, nicht der Anbieter) und wie groß die Stichprobe war.
• ROI hängt vom Abrechnungsmodell und einer ehrlichen Verbuchung der menschlichen Verifizierungszeit ab, nicht nur von der Zeitersparnis in Prozent, die der Anbieter nennt.
• Kennen Sie den regulatorischen Hintergrund: die Hochrisiko-Klassifizierung des EU AI Act und die Offenlegungsregeln US-amerikanischer Gerichte zur AI-Nutzung werden zu Standard-Evaluationskriterien, nicht zu optionalem Beiwerk.