Den ROI von KI messen

2022 baute eine global tätige Privatkundenbank ein internes Dashboard auf, das auswies, ihr KI-Programm habe „340 Mio. USD an Wert geliefert“. Die Zahl wurde im Board-Deck gefeiert, im Jahresbericht zitiert und als Begründung für eine Verdopplung der Data-Science-Headcount genutzt. Achtzehn Monate später stellte ein neuer CFO eine einfache Frage: *Zeigen Sie mir, wo diese 340 Mio. USD in der P&L auftauchen.* Sie tauchten nicht auf. Rund 70 % davon waren „geschätzter Produktivitätsgewinn“, also theoretisch durch Modelle eingesparte Stunden, bewertet mit Vollkostensätzen für Gehälter, nie gegen tatsächliche Kostenpositionen abgeglichen. Niemand war entlassen worden, kein Vendor-Vertrag gekündigt, keine Umsatzposition hatte sich bewegt. Die Bank hatte Aktivität gemessen und sie Wert genannt.

Das ist die Falle. Wenn KI-Programme von einer Handvoll POCs zu einem Produktionsportfolio reifen, kollidiert der Druck, *Wert nachzuweisen*, mit der Schwierigkeit, ihn zu *attribuieren*. Die CDOs, die diese Kollision überleben, sind die, die ehrlich messen, auch wenn Ehrlichkeit kleinere, weniger schmeichelhafte Zahlen produziert als die Schönrechnerei.

Das Attributionsproblem ist das ganze Spiel

Der schwierige Teil des KI-ROI ist nicht der Return, sondern die Attribution. Ein Modell agiert selten allein. Es sitzt in einem Prozess, neben menschlichem Urteil, downstream einer Data Pipeline, upstream einer Geschäftsentscheidung, die auch ein Dutzend andere Faktoren beeinflussen. Steigt der Umsatz, nimmt es jeder für sich in Anspruch. Sinkt er, ist das Modell schuld.

Ihre Grundhaltung sollte Skepsis gegenüber jeder Kausalbehauptung sein, die nicht isoliert wurde. Es gibt drei Stufen der Attributionsstrenge, und Sie sollten jederzeit wissen, auf welcher Sie stehen:

Stufe 1, Korrelation als Kausalität verkleidet. „Wir haben das Churn-Modell ausgerollt und churn ist um 4 % gesunken.“ Das ist die 340-Mio.-Geschichte. Sie ignoriert Saisonalität, Preisänderungen, den Ausfall eines Wettbewerbers und die Retention-Kampagne, die im gleichen Quartal startete. Präsentieren Sie Stufe 1 niemals als Beweis. Sie ist eine Hypothese.

Stufe 2, kontrollierter Vergleich. Sie halten eine randomisierte Kontrollgruppe zurück, die das KI-gestützte Treatment *nicht* erhält, und messen das Delta. Das ist der Goldstandard, und er ist häufiger verfügbar, als die meisten CDOs vorgeben. Eine Recommendation Engine, ein Next-Best-Action-Modell, ein Dynamic-Pricing-System, alle können gegen einen Holdout laufen.

Stufe 3, kontrafaktische Modellierung. Wenn ein echter Holdout unmöglich ist (Sie können aus ethischen und rechtlichen Gründen 10 % der Transaktionen nicht von der Fraud Detection ausnehmen), bauen Sie ein Kontrafaktum: Was wäre unter dem vorherigen Baseline-System passiert? Das ist schwächer als ein Holdout, aber vertretbar, wenn die Baseline gut charakterisiert ist.

Die Disziplin dahinter ist leicht gesagt und schwer durchzusetzen: kein KI-Wert kommt ins Board-Deck ohne angegebene Attributionsstufe. Machen Sie daraus eine Spalte in Ihrem Reporting. Wenn ein Bereichsleiter für eine Stufe-1-Korrelation die Glaubwürdigkeit von Stufe 2 beansprucht, zwingt die Spalte die Diskussion ans Licht.

Gestalten Sie die Messung, bevor Sie das Modell deployen

Der weitaus häufigste Fehler ist, **den ROI *nach* dem Deployment messen zu wollen, wenn der Holdout weg und die Baseline nicht mehr rekonstruierbar ist**. Dann hängen Sie für immer auf Stufe 1 fest.

Verankern Sie die Messung im Deployment-Plan. Für ein Churn-Reduktionsmodell ist die Config trivial und der Payoff enorm:

yaml

experiment:
  name: churn_model_v3_rollout
  treatment_group: 0.90   # erhalten modellgesteuerte Retention-Angebote
  control_group: 0.10     # erhalten regelbasierte Legacy-Angebote
  primary_metric: net_revenue_retention_90d
  guardrail_metrics:
    - offer_cost_per_customer
    - false_positive_rate
  min_runtime_days: 60

Der 10-%-Holdout kostet Sie ein wenig Upside. Er verschafft Ihnen die Möglichkeit, mit ernster Miene zu sagen: „Das Modell hat X USD an inkrementeller Retention erzeugt, *gegenüber der Kontrollgruppe*.“ Dieser Satz ist für Ihre Glaubwürdigkeit mehr wert als jedes Dashboard.

Vollkostenrechnung: der Nenner, den alle überspringen

ROI ist ein Verhältnis. Programme sind besessen vom Zähler (Wert) und belügen sich beim Nenner (Kosten). Der Nenner eines KI-Systems ist weit größer als die Modellbaukosten, die in einem Projektbudget auftauchen, und die größten Komponenten kommen *nach* dem Deployment.

Bauen Sie Ihr Kostenbild über den gesamten Lifecycle:

Build-Kosten, Zeit von Data Scientists und Engineers, Compute für Experimente, Datenbeschaffung. Das ist die Zahl, die alle nennen. Sie macht meist 20-40 % der Gesamtkosten aus.
Datenkosten, das laufende Labeling, Cleaning und die Pipeline-Wartung, damit Trainings- und Inferenzdaten aktuell bleiben. Besonders Labeling ist ein wiederkehrender Kostenblock, der mit dem Retraining skaliert, keine Einmalausgabe.
Inferenzkosten, das Compute, das Sie bei jedem Produktionslauf des Modells zahlen. Bei einem Modell mit hohem Volumen oder allem, was Large Language Models nutzt, kann das die Build-Kosten weit übersteigen. Ein einzelnes LLM-gestütztes Feature, das monatlich Millionen Queries beantwortet, kann pro Jahr mehr kosten als das Team, das es gebaut hat.
MLOps- und Monitoring-Kosten, Drift Detection, Retraining-Pipelines, Incident Response, Zeit des Plattformteams.
Modellrisiko- und Compliance-Kosten, Validierung, Dokumentation, Audit, die Review-Zyklen der Model-Risk-Management-Funktion. In regulierten Branchen ist das eine Dauerabgabe auf jedes Modell.
Opportunitäts- und Decommissioning-Kosten, die Modelle, die gebaut und nie ausgeliefert wurden, und die Kosten für den Abbau von Modellen, die unterperformen. Ein Portfolio mit einer POC-to-Production-Kill-Rate von 70 % trägt die Kosten aller sieben Fehlschläge in den zwei ausgelieferten Modellen.

Der Insight, der erfahrene CDOs von unerfahrenen trennt: Modellkosten sind ein Stock-and-Flow-Problem, kein Projektproblem. Sie zahlen für ein Modell nicht einmal. Sie zahlen dafür, es an jedem Produktionstag lebendig, genau und compliant zu halten. Ein Modell, das 2 Mio. USD/Jahr Wert erzeugt, aber 1,5 Mio. USD/Jahr für Retraining, Monitoring und Inferenz braucht, ist ein völlig anderes Asset als die Schlagzeile „2 Mio. USD Wert“ suggeriert, und es ist ein Kandidat für Decommissioning, nicht für Applaus.

Deshalb gehört eine Metrik Cost-to-Serve pro Prediction in Ihre Operating Reviews. Sie macht das Abstrakte konkret: *dieses Modell kostet 0,8 Cent pro Prediction und erzeugt 3 Cent Entscheidungswert.* Jetzt können Sie es wie das Unit-Economics-Geschäft steuern, das es tatsächlich ist.

Vanity Metrics vs. Wertmetriken

Jedes KI-Programm sammelt Metriken an, die sich wie Fortschritt anfühlen und für die P&L nichts bedeuten. Ihre Aufgabe ist, sie zu benennen und sich zu weigern, sie als Wert zu berichten.

Das sind die Vanity Metrics, die Sie in Ihrem eigenen Reporting aufspüren sollten:

Modellgenauigkeit isoliert betrachtet. Ein Fraud-Modell mit 99,2 % AUC ist ein technischer Fakt, kein Geschäftsergebnis. Wenn die 0,8 %, die es verpasst, sich auf Ihre wertvollsten Transaktionen konzentrieren, verliert das genaue Modell Geld. Berichten Sie *verhinderten Betrug in Dollar, netto nach der Friktion durch False Positives*, nicht AUC.

Anzahl der Modelle in Produktion. Das misst die Aktivität Ihres Teams, nicht den Nutzen für das Geschäft. Ein Portfolio aus 200 Modellen, in dem 40 Wert treiben und 160 leise degradieren, ist schlechter als ein disziplinierter Bestand von 30.

Eingesparte Stunden (nicht realisiert). Der 340-Mio.-Fehler der Bank. Eingesparte Stunden sind nur Wert, wenn Sie die Kosten tatsächlich entfernt haben, Headcount reduziert, eine Einstellung vermieden oder Menschen in umsatzwirksame Arbeit umgesetzt haben, auf die Sie zeigen können. „Freigesetzte Kapazität“, die in mehr Meetings reabsorbiert wird, ist kein ROI. Der Test: *Ist eine Kostenposition gesunken oder eine Umsatzposition gestiegen?* Wenn keines von beidem, haben Sie eine Produktivitätshypothese, keinen Return.

Adoption- und Nutzungszahlen. „12.000 Mitarbeitende haben diesen Monat den KI-Assistenten genutzt“ sagt nichts darüber, ob diese Interaktionen eine Entscheidung oder ein Ergebnis verändert haben. Nutzung ist ein Frühindikator, den man verfolgen sollte, aber sie ist kein Wert, und sie darf ohne Nachweis einer Verhaltensänderung nie in Dollar umgerechnet werden.

Der Weg von Vanity zu Wert folgt einer Regel: verfolgen Sie die Metrik bis zu einem Cash Flow. Wenn Sie keine Linie von der Metrik zu Geld ziehen können, das ins Unternehmen kommt oder es verlässt, ist es eine operative Metrik, nützlich zum Steuern des Programms, unbrauchbar zu seiner Begründung.

Eine praktische Struktur für Wertmetriken, in absteigender Glaubwürdigkeit:

Hart finanziell, verbuchter Umsatz, eliminierte Kosten, freigesetztes Kapital. Prüfbar. Das glaubt der CFO.
Risikoadjustiert, vermiedene Verluste (Fraud, Kredit, Compliance-Strafen). Braucht eine vertretbare Baseline, aber real.
Realisierte Effizienz, Kosten, die echt aus der P&L entfernt wurden, mit der Headcount- oder Ausgabenveränderung als Beleg.
Strategische Optionalität, Fähigkeiten, die künftigen Wert ermöglichen (ein Datenfundament, ein wiederverwendbarer Feature Store). Real, aber explizit als Investment markiert, nie als Return gezählt.

Halten Sie die Kategorien 1-3 in Ihrer ROI-Zahl. Halten Sie Kategorie 4 in einer separaten Position „strategisches Investment“. Sie zu vermischen ist der Weg dahin, eine Zahl zu verteidigen, die Sie nicht abstimmen können.

Wissenscheck

1. Was war der Lektion nach der grundlegende Fehler der Bank, als sie behauptete, ihr KI-Programm habe „340 Mio. USD an Wert geliefert“?

2. Warum argumentiert die Lektion, dass „Attribution das ganze Spiel“ bei der Messung des KI-ROI ist?

3. Ein CDO kann eine randomisierte Holdout-Gruppe laufen lassen, die das KI-gestützte Treatment NICHT erhält. Welche Stufe der Attributionsstrenge stellt das dar, und warum ist sie wertvoll?

MEHRFACHAUSWAHL

4. Wählen Sie ALLE Aussagen, die die drei Stufen der Attributionsstrenge korrekt beschreiben, wie sie in der Lektion dargestellt werden.

Wählen Sie alle richtigen Antworten aus.

MEHRFACHAUSWAHL

5. Wählen Sie ALLE Gründe, die die Lektion dafür angibt, dass eine Stufe-1-Behauptung wie „wir haben das Churn-Modell ausgerollt und churn ist um 4 % gesunken“ als Wertnachweis unzuverlässig ist.

Wählen Sie alle richtigen Antworten aus.

Eine Portfolio-Sicht aufbauen, der ein Board vertraut

Der ROI einzelner Modelle zählt, aber der CDO ist für ein *Portfolio* verantwortlich. Und ein ehrlich gemessenes Portfolio sieht anders aus als die Summe der optimistischen Einzelpitches, denn auf Portfolioebene müssen Sie die Fehlschläge mittragen.

Übernehmen Sie eine Venture-Portfolio-Logik. Ihre Modelle sind Wetten in unterschiedlichen Stadien. Berichten Sie sie in drei Tiers:

Bewährte Produzenten, in Produktion, Wert auf Stufe 2 oder 3 attribuiert, positiver ROI netto nach Vollkosten. Diese verdienen weitere Investitionen.
Auf Bewährung, in Produktion, aber die Attribution ist schwach oder der Vollkosten-ROI grenzwertig. Diese bekommen eine Entscheidungsfrist: Wert bis zu einem festgelegten Datum nachweisen oder Decommissioning.
Laufende Wetten, POCs und frühe Deployments. Bewertet mit dem *erwarteten* Wert, diskontiert um die Erfolgswahrscheinlichkeit, und explizit als Investment gekennzeichnet, nicht als Return.

Die Portfoliozahl, die Sie ins Board tragen, ist der Saldo aller drei Tiers, *einschließlich der Kosten der gescheiterten Wetten*. Das ist die Zahl, die die Privatkundenbank nie berechnet hat. Ihre 340 Mio. USD ignorierten den Friedhof toter POCs und die vollen Run-Rate-Kosten der Überlebenden. Eine disziplinierte Portfolio-Sicht hätte vielleicht reale, vertretbare 60 Mio. USD gezeigt, eine kleinere Zahl, aber eine, die die Frage des CFO übersteht.

Zwei Governance-Schritte machen das haltbar:

Ein Value-Realization-Gate. Kein Modell steigt von „deployed“ zu „Wert beansprucht“ auf, bis ein Post-Deployment-Review den attribuierten Wert gegen den vorab registrierten Messplan bestätigt. Das schließt die Schleife zwischen dem Versprechen bei der Finanzierung und dem gelieferten Ergebnis, und genau hier haben die meisten Programme überhaupt keinen Prozess.

Ein quartalsweises Decommissioning-Ritual. Prüfen Sie explizit das unterste Quartil der Modelle nach ROI netto nach Kosten und schalten Sie die ab, die ihre Run-Rate nicht rechtfertigen. Abschaltungen zu feiern ist kontraintuitiv, aber essenziell: es beweist, dass Ihre ROI-Zahlen netto nach Realität sind, und setzt Kapital für bessere Wetten frei. Ein CDO, der nie ein Modell abgeschaltet hat, berichtet mit großer Sicherheit überhöhte Werte.

Der kulturelle Payoff ist Vertrauen. Wenn Sie in ein Board-Meeting gehen, nachdem Sie Ihre eigenen schwachen Modelle abgeschaltet und Ihren Wert mit der P&L abgestimmt haben, haben Ihre überlebenden Zahlen ein Gewicht, das kein Dashboard voller Vanity Metrics je erreicht. Ehrliche, kleinere Zahlen verzinsen sich zu Glaubwürdigkeit. Überhöhte Zahlen verzinsen sich zu dem Moment, in dem ein neuer CFO fragt, wo die 340 Mio. USD geblieben sind.

Die wichtigsten Punkte

Hängen Sie an jede Wertbehauptung eine Attributionsstufe. Stufe 1 (Korrelation) ist eine Hypothese, kein Beweis. Entwerfen Sie Holdouts und Kontrafakten *vor* dem Deployment, die Config für eine 10-%-Kontrollgruppe ist trivial und verschafft Ihnen vertretbare Kausalität.
Messen Sie ROI netto nach Vollkosten des Lifecycle, nicht nach Build-Kosten. Inferenz, Retraining, Monitoring, Compliance und die Kosten gescheiterter POCs sind der wahre Nenner. Verfolgen Sie Cost-to-Serve pro Prediction und behandeln Sie Modelle als Stock-and-Flow-Assets, die gefüttert werden müssen, um zu leben.
Spüren Sie Vanity Metrics auf und eliminieren Sie sie. Modellanzahl, isolierte Genauigkeit, Nutzungszahlen und nicht realisierte „eingesparte Stunden“ sind Aktivität, nicht Wert. Der Test: Können Sie es zu einem Cash Flow verfolgen, der ins Unternehmen kommt oder es verlässt?
Berichten Sie eine Venture-Portfolio-Sicht, die ihre Fehlschläge mitträgt. Saldieren Sie Ihre Board-Zahl über bewährte Produzenten, Modelle auf Bewährung und diskontierte laufende Wetten, inklusive des Friedhofs toter POCs.
Etablieren Sie ein Value-Realization-Gate und ein quartalsweises Decommissioning-Ritual. Schließen Sie die Schleife zwischen Finanzierungsversprechen und geliefertem Ergebnis und schalten Sie schwache Modelle proaktiv ab. Kleinere ehrliche Zahlen bauen die Glaubwürdigkeit auf, die überhöhte zerstören.

Was Sie aus dieser Lektion umsetzen

Diese Maßnahmen sind im Playbook der Rolle zusammengefasst.

Jedem Produktionsmodell einen Owner, einen Monitoring-Vertrag und ein Ablaufdatum geben

Vollständiges Action Playbook ansehen →