Asset Management · Proof-of-Concepts mit KI-Anbietern bewerten und durchführen

Ein Anbieter führt ein KI-Tool vor, das einen 200-seitigen Fondsprospekt liest und Managementgebühr, Benchmark-Index und Rücknahmebedingungen in neun Sekunden herausholt. Der Raum ist beeindruckt. Sechs Monate und einen unterschriebenen Vertrag später scheitert dasselbe Tool an einem Luxemburger SICAV-Prospekt mit fußnotenbehafteten Anteilsklassen, und Ihr Operations-Team prüft ohnehin jedes Feld manuell.

Die Demo war echt. Das Problem ist: Eine Demo ist kein Proof-of-Concept (POC). Diese Lektion zeigt Ihnen, wie Sie einen 90-Tage-POC gestalten, der Ihnen die Wahrheit sagt, bevor Sie unterschreiben.

Warum Dokumentenextraktion der richtige Testfall ist

Asset Manager versinken in unstrukturierten Dokumenten: Fondsprospekte, Key Information Documents (KIDs, die standardisierten dreiseitigen Anlegerinformationen nach der EU-PRIIPs-Verordnung), Private Placement Memoranda, Handelsbestätigungen und Quartalsberichte zugrunde liegender Manager.

KI-Dokumentenextraktion (Einsatz von Large Language Models und optischer Zeichenerkennung, um PDFs in strukturierte Daten zu verwandeln) ist eine der ausgereiftesten, ROIROIReturn on Investment: das Verhältnis von Nettogewinn zu den Kosten einer Investition. Ein ROI von 300 % bedeutet, dass jeder investierte Dollar 3 Dollar zurückbringt.Vollständige Definition ansehen →-positiven KI-Anwendungen der Branche. Sie ist auch ein perfekter POC-Kandidat, weil der Erfolg messbar ist: Entweder hat das Tool die korrekte Gebühr gezogen oder nicht.

Das Risiko: Die Extraktionsgenauigkeit fällt bei den unordentlichen Dokumenten stark ab, die Ihre tatsächliche Arbeitslast ausmachen. Ein POC existiert, um diese Lücke sichtbar zu machen.

Phase 0: Vor Tag eins

Starten Sie die Uhr nicht, bevor drei Dinge festgezurrt sind.

Definieren Sie den exakten Scope. „Daten aus Prospekten extrahieren“ ist zu vage. Wählen Sie 8 bis 15 konkrete Felder: laufende Kosten, Benchmark, ISIN (International Securities Identification Number), Auflagedatum, Mindestanlage, Rücknahmefrequenz, Währung der Anteilsklasse. Jedes Feld ist ein testbares Ziel.

Stellen Sie einen repräsentativen Dokumentensatz zusammen. Nicht die sauberen Samples des Anbieters. Ihre Dokumente. Nehmen Sie die hässlichen mit auf: gescannte Faxe, mehrsprachige Prospekte, Fonds mit 12 Anteilsklassen in einer einzigen Tabelle. Ein häufiger Fehler ist, an 20 aufgeräumten PDFs zu testen, während die Produktion 20.000 unterschiedliche liefern wird.

Einigen Sie sich auf die Ground Truth. Sie brauchen ein „Gold Set“ von Dokumenten, bei denen ein Mensch die korrekte Antwort für jedes Feld bereits erfasst hat. Ohne das kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie Genauigkeit nicht messen. Planen Sie echte Analystenstunden für den Aufbau ein. Das ist der am häufigsten übersprungene Schritt und der Grund, warum die meisten POCs Diskussionen statt Belege produzieren.

Phase 1 (Tag 1 bis 30): Datenzugriff und Integration

Der erste Monat dreht sich selten um KI-Qualität. Es geht darum, ob der Anbieter überhaupt an Ihre Daten kommt und Ergebnisse in nutzbarer Form zurückgibt.

Kernfragen:

• Wohin gehen die Daten? Wenn Prospekte nicht-öffentliche Informationen enthalten: Verarbeitet der Anbieter sie in Ihrem Cloud-Tenant oder schickt ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → sie an eine Drittanbieter-APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen →? Das hat direkte Implikationen unter der DSGVODSGVOEU-Verordnung zur Erhebung, Speicherung und Nutzung personenbezogener Daten, mit Bußgeldern, die am weltweiten Umsatz bemessen werden.Vollständige Definition ansehen → (EU-Datenschutz-Grundverordnung) und Ihrer eigenen Informationssicherheitsrichtlinie.
• Wie werden Ergebnisse geliefert? Eine JSON-Datei, ein API-Endpunkt, eine Tabelle? Es muss sich in Ihre nachgelagerten Systeme einfügen.
• Wie sieht der Human-in-the-Loop-Workflow aus? Wenn das Tool unsicher ist, wie markiert es Extraktionen mit geringer Confidence zur Prüfung?

Ein gutes Extraktionsergebnis trägt pro Feld einen Confidence Score, damit Ihr Team nur die unsicheren prüft:

{
  "isin": {"value": "LU0123456789", "confidence": 0.99},
  "ongoing_charges_pct": {"value": 1.15, "confidence": 0.62},
  "benchmark": {"value": "MSCI World Index", "confidence": 0.88}
}

Hier sagt Ihnen die Confidence von 0,62 bei den Kosten, dass Sie dieses Feld prüfen sollten. Ein Anbieter, dessen Tool keine Confidence Scores zurückgibt, ist ein Warnsignal: Es zwingt Sie, alles zu prüfen oder blind zu vertrauen.

Phase 2 (Tag 31 bis 60): Genauigkeit messen, die zählt

Jetzt lassen Sie das vollständige Gold Set laufen und messen. Die zwei Metriken, die ständig verwechselt werden:

• Precision: Welcher Anteil der Felder, die das Tool gefüllt hat, war korrekt?
• Recall: Welchen Anteil der Felder, die gefüllt werden sollten, hat das Tool gefunden?

Bei einem Gebührenfeld zählt hohe Precision am meisten: Eine falsche Gebühr, die selbstsicher aussieht, ist schlimmer als ein leeres Feld, denn ein leeres wird geprüft.

Ein durchgerechnetes Beispiel

Angenommen, Ihr Gold Set hat 1.000 Prospekte und Sie testen das Feld „laufende Kosten“.

• Das Tool hat für 950 Dokumente einen Wert extrahiert.
• Von diesen 950 war es bei 900 korrekt.
• Die anderen 50 Dokumente hat es leer gelassen (zur menschlichen Prüfung markiert).

Precision = 900 / 950 = 94,7 %

Recall (gegen alle 1.000) = 900 / 1.000 = 90 %

Jetzt die Geschäftsfrage: Sind 94,7 % Precision gut genug? Für ein Feld, das in eine regulatorische Offenlegung einfließt, sind 5,3 % Fehlerquote auf 950 Dokumenten rund 50 falsche Gebühren, die hinausgehen. Ohne eine Prüfebene wahrscheinlich nicht akzeptabel. Für eine interne Research-Datenbank könnte es passen.

Das ist die Kernerkenntnis: Es gibt keine universelle Genauigkeitsschwelle. Die Schwelle hängt davon ab, was mit den extrahierten Daten als Nächstes passiert.

Vergleichen Sie mit der ehrlichen Baseline

Der richtige Vergleich ist nicht „KI gegen Perfektion“. Er ist „KI plus menschliche Prüfung gegen Ihren aktuellen Prozess“. Ihr manueller Prozess ist auch nicht 100 % genau. Wenn Analysten derzeit bei 3 % der manuell eingegebenen Felder Fehler machen, kann ein Tool mit 94,7 % Precision plus Prüfung den Status quo bereits bei Kosten und Qualität schlagen.

Für ein strukturiertes Framework zur Bewertung von Machine-Learning-Versprechen ist das Google People + AI Guidebook eine kostenlose, nicht-technische Ressource dazu, wie man die richtigen Erwartungen an KI-Systeme setzt.

Phase 3 (Tag 61 bis 90): Kosten, Skalierung und die Exit-Entscheidung

Sie wissen jetzt, dass das Tool auf Ihren Daten funktioniert. Der letzte Monat beantwortet, ob es bei Ihrem Volumen und Ihrem Preis funktioniert.

Throughput. Wenn der POC 1.000 Dokumente bequem verarbeitet hat, was passiert bei 50.000 pro Quartal? Fordern Sie vom Anbieter einen Lasttest.

Kostenmodell. Viele KI-Anbieter berechnen pro Dokument, pro Seite oder pro TokenTokenEin Token ist die grundlegende Texteinheit, die Sprachmodelle verarbeiten, oft ein Wortfragment, ein ganzes Wort oder ein Satzzeichen und nicht ein einzelnes Zeichen.Vollständige Definition ansehen → (ein Token entspricht bei einem LLMLLMEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen → etwa drei Vierteln eines Wortes). Ein Prospekt kann 100 Seiten haben. Rechnen Sie es tatsächlich durch:

Wenn der Anbieter 0,02 US-Dollar pro Seite berechnet und Ihre Prospekte im Schnitt 120 Seiten haben, sind das 2,40 Dollar pro Dokument. Bei 50.000 Dokumenten pro Jahr sind das 120.000 Dollar jährlich allein für die Verarbeitung, vor Lizenzgebühren und Ihrem Prüfaufwand. (Zahlen illustrativ, kein Angebotspreis.)

Jetzt vergleichen Sie mit der eingesparten Arbeit. Wenn ein Analyst manuell 25 Minuten pro Prospekt braucht und das Tool plus Prüfung 5 Minuten, sparen Sie 20 Minuten auf 50.000 Dokumente, rund 16.600 Stunden. Das ist das ROI-Gespräch, und es muss Ihre Prüfzeit einschließen, nicht nur die Lizenz.

Exit-Kriterien schreiben, bevor Sie unterschreiben

Der ganze Sinn eines 90-Tage-POC ist, aussteigen zu können. Schreiben Sie die Exit-Kriterien vorab in die POC-Vereinbarung selbst, damit die Entscheidung nicht emotional oder politisch wird, nachdem alle Aufwand investiert haben.

Gute Exit-Kriterien sind numerisch und vorab festgelegt:

• Precision beim Gebührenfeld muss auf dem Gold Set mindestens 93 % erreichen.
• Recall über alle Zielfelder muss mindestens 85 % erreichen.
• Confidence Scores müssen gut kalibriert sein (wenn das Tool 0,9 sagt, sollte es in etwa 90 % der Fälle richtig liegen).
• Die Ende-zu-Ende-Verarbeitung inklusive Prüfung muss pro Dokument weniger kosten als der aktuelle manuelle Prozess.
• Die Integration mit dem Zielsystem muss demonstriert sein, nicht versprochen.

Wenn das Tool diese Punkte verfehlt, unterschreiben Sie nicht. Beachten Sie: „Die Demo war beeindruckend“ steht nicht auf der Liste.

Häufige Warnsignale bei Anbietern während eines POC

• Sie sperren sich gegen Tests mit Ihren unordentlichen Dokumenten und drängen auf ihre kuratierten Samples.
• Sie können nicht erklären, wie das Modell mit einem Dokumententyp umgeht, den es nicht gesehen hat.
• Sie berichten Genauigkeit, ohne den Testsatz oder die verwendete Metrik zu nennen.
• Preise werden erst genannt, wenn Sie schon gebunden sind.
• Keine Antwort darauf, wo Ihre Daten physisch landen.

Ein selbstbewusster Anbieter begrüßt einen harten POC. So gewinnen gute Tools.

Wichtigste Erkenntnisse

• Eine Demo ist Marketing; ein POC ist Beweis. Unterschreiben Sie nie auf Basis einer Demo. Bestehen Sie auf einem strukturierten, zeitlich begrenzten Test mit Ihren eigenen Dokumenten.
• Bauen Sie zuerst das Gold Set. Ohne menschlich verifizierte Ground Truth auf Ihren echten Dokumenten können Sie Genauigkeit nicht messen, und jede Uneinigkeit wird Meinungssache.
• Precision und Recall sind nicht dasselbe, und die nötige Schwelle hängt davon ab, wofür die Daten verwendet werden. Eine regulatorische Offenlegung braucht eine höhere Schwelle als eine interne Datenbank.
• Vergleichen Sie KI plus menschliche Prüfung mit Ihrem tatsächlichen aktuellen Prozess, nicht mit Perfektion. Rechnen Sie Prüfarbeit und vollständige Verarbeitungskosten in den ROI ein, nicht nur die Lizenzgebühr.
• Schreiben Sie numerische Exit-Kriterien, bevor der POC startet. Vorab festgelegte Schwellen erlauben Ihnen den Ausstieg ohne Politik, wenn das Tool unterperformt.