Proof-of-Concepts mit KI-Anbietern bewerten und durchführen

# Proof-of-Concepts mit KI-Anbietern bewerten und durchführen

Ein Anbieter zeigt ein KI-Tool, das einen 200-seitigen Fondsprospekt liest und in neun Sekunden Verwaltungsgebühr, Benchmark-Index und Rücknahmebedingungen herauszieht. Der Raum ist beeindruckt. Sechs Monate und einen unterschriebenen Vertrag später verschluckt sich dasselbe Tool an einem luxemburgischen SICAV-Prospekt mit fußnotierten Anteilsklassen, und Ihr Operations-Team prüft am Ende doch jedes Feld manuell.

Die Demo war echt. Das Problem ist: Eine Demo ist kein Proof-of-Concept (POC). Diese Lektion zeigt Ihnen, wie Sie einen 90-Tage-POC aufsetzen, der Ihnen die Wahrheit sagt, bevor Sie unterschreiben.

Warum Dokumentenextraktion der richtige Testfall ist

Asset Manager versinken in unstrukturierten Dokumenten: Fondsprospekte, Key Information Documents (KIDs, die standardisierten dreiseitigen Anlegerinformationen nach EU-PRIIPs-Verordnung), Private Placement Memoranda, Trade Confirmations und Quartalsberichte von Zielfondsmanagern.

KI-Dokumentenextraktion (Large Language Models und optische Zeichenerkennung, um PDFs in strukturierte Daten zu verwandeln) ist eine der reifsten, ROIROIReturn on Investment: das Verhältnis von Nettogewinn zu den Kosten einer Investition. Ein ROI von 300 % bedeutet, dass jeder investierte Dollar 3 Dollar zurückbringt.Vollständige Definition ansehen →-positiven KI-Anwendungen der Branche. Sie ist auch ein perfekter POC-Kandidat, weil Erfolg messbar ist: Entweder hat das Tool die richtige Gebühr gezogen oder nicht.

Das Risiko: Die Extraktionsgenauigkeit bricht bei den unordentlichen Dokumenten stark ein, aus denen Ihr tatsächliches Arbeitsvolumen besteht. Ein POC existiert, um diese Lücke offenzulegen.

Phase 0: Vor Tag eins

Starten Sie die Uhr nicht, bevor drei Dinge festgezogen sind.

Definieren Sie den exakten Scope. „Daten aus Prospekten extrahieren“ ist zu vage. Wählen Sie 8 bis 15 konkrete Felder: laufende Kosten, Benchmark, ISIN (International Securities Identification Number), Auflagedatum, Mindestanlage, Rücknahmefrequenz, Währung der Anteilsklasse. Jedes Feld ist ein testbares Ziel.

Stellen Sie ein repräsentatives Dokumentenset zusammen. Nicht die sauberen Beispiele des Anbieters. Ihre Dokumente. Nehmen Sie die hässlichen dazu: gescannte Faxe, mehrsprachige Prospekte, Fonds mit 12 Anteilsklassen in einer einzigen Tabelle. Ein häufiger Fehler ist, an 20 aufgeräumten PDFs zu testen, wenn die Produktion später 20.000 unterschiedliche liefert.

Einigen Sie sich auf die Ground Truth. Sie brauchen ein „Gold Set“ an Dokumenten, bei dem ein Mensch die korrekte Antwort für jedes Feld bereits erfasst hat. Ohne das kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie Genauigkeit nicht messen. Planen Sie echte Analystenstunden dafür ein. Das ist der am häufigsten übersprungene Schritt und der Grund, warum die meisten POCs Diskussionen statt Belege produzieren.

Phase 1 (Tage 1 bis 30): Datenzugriff und Integration

Im ersten Monat geht es selten um KI-Qualität. Es geht darum, ob der Anbieter überhaupt an Ihre Daten kommt und Ergebnisse in nutzbarer Form zurückliefert.

Kernfragen:

• Wohin gehen die Daten? Wenn Prospekte nicht öffentliche Informationen enthalten: Verarbeitet der Anbieter sie in Ihrem Cloud-Tenant oder schickt ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → sie an eine Drittanbieter-APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen →? Das hat direkte Folgen unter der DSGVO (EU-Datenschutz-Grundverordnung) und Ihrer eigenen Informationssicherheitsrichtlinie.
• Wie werden Ergebnisse ausgeliefert? Eine JSON-Datei, ein APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen →-Endpoint, eine Tabelle? Es muss sich in Ihre nachgelagerten Systeme einstecken lassen.
• Wie sieht der Human-in-the-Loop-Workflow aus? Wenn das Tool unsicher ist, wie markiert es Extraktionen mit niedriger Confidence zur Prüfung?

Ein gutes Extraktionsergebnis führt einen Confidence Score pro Feld mit, sodass Ihr Team nur die unsicheren prüft:

{
  "isin": {"value": "LU0123456789", "confidence": 0.99},
  "ongoing_charges_pct": {"value": 1.15, "confidence": 0.62},
  "benchmark": {"value": "MSCI World Index", "confidence": 0.88}
}

Hier sagt Ihnen die Confidence von 0,62 bei den Kosten, dass Sie dieses Feld prüfen sollen. Ein Anbieter, dessen Tool keine Confidence Scores zurückgibt, ist ein Warnsignal: Es zwingt Sie, alles zu prüfen oder blind zu vertrauen.

Phase 2 (Tage 31 bis 60): Genauigkeit messen, die zählt

Jetzt laufen Sie das komplette Gold Set und messen. Die zwei Metriken, die ständig verwechselt werden:

• Precision: Welcher Anteil der vom Tool gefüllten Felder war korrekt?
• Recall: Welchen Anteil der Felder, die gefüllt werden sollten, hat das Tool gefunden?

Bei einem Gebührenfeld zählt hohe Precision am meisten: Eine falsche Gebühr, die selbstsicher aussieht, ist schlimmer als eine leere, denn eine leere wird geprüft.

Ein durchgerechnetes Beispiel

Angenommen, Ihr Gold Set hat 1.000 Prospekte und Sie testen das Feld „laufende Kosten“.

• Das Tool hat für 950 Dokumente einen Wert extrahiert.
• Von diesen 950 war es bei 900 korrekt.
• Die anderen 50 Dokumente hat es leer gelassen (zur manuellen Prüfung markiert).

Precision = 900 / 950 = 94,7 %

Recall (gegen alle 1.000) = 900 / 1.000 = 90 %

Jetzt die Business-Frage: Sind 94,7 % Precision gut genug? Für ein Feld, das in eine regulatorische Offenlegung einfließt, bedeutet eine Fehlerquote von 5,3 % bei 950 Dokumenten etwa 50 falsche Gebühren, die nach außen gehen. Ohne Prüfebene wahrscheinlich nicht akzeptabel. Für eine interne Research-Datenbank kann es passen.

Das ist der Kern: Es gibt keine universelle Genauigkeitsschwelle. Die Schwelle hängt davon ab, was mit den extrahierten Daten als Nächstes passiert.

Vergleichen Sie gegen die ehrliche Baseline

Der richtige Vergleich ist nicht „KI gegen Perfektion“. ErErDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → ist „KI plus menschliche Prüfung gegen Ihren heutigen Prozess“. Ihr manueller Prozess ist auch nicht 100 % genau. Wenn Analysten heute bei 3 % der manuell erfassten Felder Fehler machen, kann ein Tool mit 94,7 % Precision plus Prüfung den Status quo bei Kosten und Qualität schon schlagen.

Für einen strukturierten Rahmen zur Bewertung von Machine-Learning-Versprechen ist der Google People + AI Guidebook eine kostenlose, nicht-technische Ressource, um die richtigen Erwartungen an KI-Systeme zu setzen.

Phase 3 (Tage 61 bis 90): Kosten, Skalierung und die Exit-Entscheidung

Sie wissen jetzt, dass das Tool auf Ihren Daten funktioniert. Der letzte Monat beantwortet, ob es bei Ihrem Volumen und Preis funktioniert.

Throughput. Wenn der POC 1.000 Dokumente bequem verarbeitet hat, was passiert bei 50.000 pro Quartal? Fordern Sie vom Anbieter einen Lasttest.

Kostenmodell. Viele KI-Anbieter berechnen pro Dokument, pro Seite oder pro TokenTokenEin Token ist die grundlegende Texteinheit, die Sprachmodelle verarbeiten, oft ein Wortfragment, ein ganzes Wort oder ein Satzzeichen und nicht ein einzelnes Zeichen.Vollständige Definition ansehen → (ein TokenTokenEin Token ist die grundlegende Texteinheit, die Sprachmodelle verarbeiten, oft ein Wortfragment, ein ganzes Wort oder ein Satzzeichen und nicht ein einzelnes Zeichen.Vollständige Definition ansehen → entspricht bei einem LLMLLMEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen → etwa drei Vierteln eines Wortes). Ein Prospekt kann 100 Seiten haben. Rechnen Sie es wirklich durch:

Wenn der Anbieter 0,02 US-Dollar pro Seite berechnet und Ihre Prospekte im Schnitt 120 Seiten haben, sind das 2,40 Dollar pro Dokument. Bei 50.000 Dokumenten pro Jahr sind das 120.000 Dollar jährlich allein für die Verarbeitung, vor Lizenzgebühren und Ihrem Prüfaufwand. (Zahlen illustrativ, kein Preisangebot.)

Vergleichen Sie das nun mit der gesparten Arbeitszeit. Wenn ein Analyst manuell 25 Minuten pro Prospekt braucht und das Tool plus Prüfung 5 Minuten, sparen Sie 20 Minuten bei 50.000 Dokumenten, also rund 16.600 Stunden. Das ist die ROIROIReturn on Investment: das Verhältnis von Nettogewinn zu den Kosten einer Investition. Ein ROI von 300 % bedeutet, dass jeder investierte Dollar 3 Dollar zurückbringt.Vollständige Definition ansehen →-Diskussion, und sie muss Ihre Prüfzeit einschließen, nicht nur die Lizenz.

Exit-Kriterien formulieren, bevor Sie unterschreiben

Der ganze Sinn eines 90-Tage-POC ist, weggehen zu kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen. Schreiben Sie die Exit-Kriterien vorab in die POC-Vereinbarung selbst, damit die Entscheidung nicht emotional oder politisch wird, nachdem alle Aufwand investiert haben.

Gute Exit-Kriterien sind numerisch und vorab festgelegt:

• Die Precision beim Gebührenfeld muss auf dem Gold Set mindestens 93 % erreichen.
• Der Recall über alle Zielfelder muss mindestens 85 % erreichen.
• Confidence Scores müssen gut kalibriert sein (wenn das Tool 0,9 sagt, sollte es in etwa 90 % der Fälle richtig liegen).
• Die End-to-End-Verarbeitung inklusive Prüfung muss pro Dokument weniger kosten als der heutige manuelle Prozess.
• Die Integration in das Zielsystem muss demonstriert sein, nicht versprochen.

Verfehlt das Tool diese Punkte, unterschreiben Sie nicht. Beachten Sie: „Die Demo war beeindruckend“ steht nicht auf der Liste.

Häufige Warnsignale bei Anbietern während eines POC

• Sie sperren sich gegen Tests mit Ihren unordentlichen Dokumenten und drängen auf ihre kuratierten Beispiele.
• Sie kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen nicht erklären, wie das Modell mit einem Dokumententyp umgeht, den es nicht gesehen hat.
• Sie berichten Genauigkeit, ohne das Testset oder die verwendete Metrik zu nennen.
• Preise werden erst genannt, wenn Sie festgelegt sind.
• Keine Antwort darauf, wo Ihre Daten physisch landen.

Ein selbstbewusster Anbieter begrüßt einen harten POC. So gewinnen gute Tools.

Die wichtigsten Erkenntnisse

• Eine Demo ist Marketing; ein POC ist Beweis. Unterschreiben Sie nie auf Basis einer Demo. Bestehen Sie auf einem strukturierten, zeitlich begrenzten Test mit Ihren eigenen Dokumenten.
• Bauen Sie zuerst das Gold Set. Ohne menschlich verifizierte Ground Truth auf Ihren echten Dokumenten kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie Genauigkeit nicht messen, und jede Uneinigkeit wird zur Meinungsfrage.
• Precision und Recall sind nicht dasselbe, und die erforderliche Schwelle hängt davon ab, wofür die Daten genutzt werden. Eine regulatorische Offenlegung braucht eine höhere Schwelle als eine interne Datenbank.
• Vergleichen Sie KI plus menschliche Prüfung mit Ihrem tatsächlichen heutigen Prozess, nicht mit Perfektion. Nehmen Sie Prüfaufwand und vollständige Verarbeitungskosten in den ROIROIReturn on Investment: das Verhältnis von Nettogewinn zu den Kosten einer Investition. Ein ROI von 300 % bedeutet, dass jeder investierte Dollar 3 Dollar zurückbringt.Vollständige Definition ansehen → auf, nicht nur die Lizenzgebühr.
• Formulieren Sie numerische Exit-Kriterien, bevor der POC startet. Vorab festgelegte Schwellen erlauben Ihnen, ohne Politik auszusteigen, wenn das Tool unterperformt.