KIKI für Business & Karriere

Den echten ROI von KI-Einführungen messen: das Konzept, bei dem die meisten Unternehmen falsch liegen

Die meisten Unternehmen, die den ROI von KI verfolgen, messen das Falsche zum falschen Zeitpunkt und ziehen daraus Schlüsse, die entweder gute Projekte beenden oder schlechte schützen. Dieser Artikel zeigt, was ROI im KI-Kontext tatsächlich bedeutet, wie man ihn ehrlich berechnet und wo die Methode an ihre Grenzen stößt.

🎙️

Podcast anhören

4 min

Im Zentrum dieses Artikels steht ein Konzept:inkrementelle Wertzuordnung. Also die Disziplin, den Beitrag der KI zu einem Geschäftsergebnis zu isolieren, getrennt von allem anderen, was sich zur gleichen Zeit verändert hat. Klingt selbstverständlich. Kaum jemand macht es gut.

Die Verwirrung ist nachvollziehbar. Wenn ein Unternehmen eine KI zur Vertriebsunterstützung einführt und der Umsatz steigt: war das die KI? Oder der neue Vertriebsleiter, der im selben Quartal eingestellt wurde, die verbesserten CRM-Daten, der sich erholende Markt? KI-Projekte kommen meist im Paket mit Prozessänderungen, neuen Tools und erhöhter Aufmerksamkeit im Team, und jedes davon könnte das Ergebnis erklären. Ohne eine saubere Methode, das Signal herauszufiltern, werden ROI-Zahlen entweder Marketingmaterial oder nachträgliche Rechtfertigung.

Warum das wichtiger ist als die meisten anderen Kennzahlen

Für Business-Verantwortliche, die über Investitionen und Prioritäten entscheiden, hat schlechte ROI-Messung zwei Fehlermodi, die echtes Geld kosten. Der erste: KI-Projekte auf Basis überhöhter Schätzungen freigeben und dann zusehen, wie der Business Case zusammenbricht, sobald die Zahlen geprüft werden. Der zweite: wirklich wertvolle Projekte beenden, weil der Wert real, unter der gewählten Messmethode aber unsichtbar war.

Beides passiert ständig. McKinseys globale Umfrage zur KI-Einführung von 2025 ergab, dass weniger als 30 % der Unternehmen eine systematische Methode hatten, um den KI-spezifischen Wertbeitrag zu verfolgen, selbst unter denen, die sich selbst als fortgeschritten einschätzten. Der Rest arbeitete mit Proxys: eingesparte Stunden (selbst berichtet), Zufriedenheitswerte oder einfache Vorher-Nachher-Vergleiche beim Umsatz ohne jede Kontrolle.

Was auf dem Spiel steht, hängt von der Rolle ab. Ein CFO, der einen KI-Plattformvertrag über 2 Millionen Dollar abzeichnet, braucht vor der Verlängerung belastbare Zahlen. Ein Product Manager, der ein LLM-basiertes Feature durchsetzen will, muss zeigen, dass dieses Feature und nicht das gleichzeitig ausgerollte UX-Redesign den Anstieg beim Engagement gebracht hat. Ein COO, der einen KI-Piloten auf 12 Länderbüros skalieren will, muss wissen, ob sich die Ergebnisse des Piloten übertragen lassen oder ob sie eine lokale Anomalie waren.

Wie inkrementelle Wertzuordnung tatsächlich funktioniert

Die Mechanik ist aus dem Design klinischer Studien und der Ökonometrie entlehnt, angewandt auf betriebliche Kontexte. Der Kerngedanke: eine Kontrollbedingung definieren, das Ergebnis unter dieser Bedingung messen, dann mit KI messen und die Differenz zuordnen.

In der Praxis läuft das auf einen von drei Ansätzen hinaus, je nachdem, was Sie kontrollieren können.

Die saubere Variante ist ein randomisiertes kontrolliertes Experiment. Intuit hat das gemacht, als es KI-gestützte Steuerberatung innerhalb von TurboTax testete. Nutzer wurden zufällig KI-gestützten und nicht KI-gestützten Abläufen zugewiesen, alles andere blieb konstant, gemessen wurden Abschlussquoten, Fehlerquoten und Kundenzufriedenheit. Die KI-Gruppe erledigte die Steuererklärungen schneller und mit weniger Fehlern. Weil die Zuweisung zufällig war, ließ sich der Unterschied der KI zuordnen. Das ist glaubwürdige ROI-Evidenz.

Wenn Randomisierung nicht möglich ist, ist der nächstbeste Ansatz ein Vergleich gematchter Kohorten. Nehmen Sie eine Gruppe, die die KI-Intervention erhalten hat, und eine, die sie nicht erhalten hat, und stellen Sie sie so ähnlich wie möglich in jenen Variablen zusammen, die das Ergebnis vorhersagen. Ein Logistikunternehmen, das KI-basierte Routenoptimierung in drei Depots pilotiert, kann diese Depots mit drei vergleichbaren Depots vergleichen (ähnliches Volumen, Geografie, Saisonalität), die das Tool nicht bekommen haben. Die Lücke bei Kraftstoffkosten und Termintreue lässt sich mit vernünftiger Sicherheit der KI zuordnen, solange sich nichts anderes systematisch unterschied.

Der dritte Ansatz, und der, den die meisten Unternehmen tatsächlich verwenden, ist die unterbrochene Zeitreihe: Man betrachtet eine Kennzahl vor und nach dem KI-Rollout, mit genug historischen Daten, um den Trend zu modellieren, der ohne die Intervention weitergelaufen wäre. Die Lücke zwischen dem modellierten Kontrafaktum und dem tatsächlichen Ergebnis ist der zugeordnete Effekt. Das ist schwächer als die ersten beiden Methoden, weil es unterstellt, dass andere Faktoren konstant blieben, was sie selten tun. Aber es ist deutlich besser als die simple Geschichte „wir haben im März ausgerollt, im April stieg der Umsatz".

Ein konkretes Beispiel: Ein mittelgroßer europäischer Versicherer führt ein KI-Tool ein, das Schadenbearbeitern beim Schreiben von Abfindungszusammenfassungen hilft. Vor dem Rollout: durchschnittlich 47 Minuten pro Fall. Danach: 31 Minuten. Naive Schlussfolgerung: 34 % Produktivitätsgewinn, multipliziert mit den Vollkosten pro Arbeitsstunde, das ist der ROI. Aber im selben Zeitraum senkte der Versicherer auch die Fallkomplexität, indem er die Zeichnungskriterien verschärfte, was allein schon die Bearbeitungszeit verkürzt hätte. Eine unterbrochene Zeitreihe mit Fällen aus einem anderen Regionalbüro, das die KI nicht erhielt (wohl aber die geänderten Zeichnungskriterien), zeigt: Die Komplexitätsreduktion erklärt 9 dieser 16 Minuten. Die KI erklärt 7. Immer noch wertvoll, aber keine 34 %.

Wann diese Methode passt und wann sie Sie im Stich lässt

Inkrementelle Zuordnung funktioniert am besten, wenn Sie ein klares, messbares Ergebnis haben, eine vernünftige Kontrollbedingung und genug Volumen, um Effekte statistisch nachzuweisen. Sie funktioniert für kundennahe Tools (Chatbots, Empfehlungssysteme, KI-gestützte Suche), für Back-Office-Automatisierung mit quantifizierbarem Durchsatz und für alles, wo Sie Experimente fahren oder vergleichbare Gruppen ohne KI finden können.

Schlecht funktioniert sie in mindestens drei Situationen, die man benennen sollte.

Strategische oder organisatorische KI-Investitionen lassen sich schwer inkrementell zuordnen, weil der Wert diffus ist und über lange Zyklen entsteht. Wenn ein Unternehmen 18 Monate darauf verwendet, seine Analysten im Einsatz von KI für Marktforschung zu schulen, zeigt sich der Effekt über Jahre in Entscheidungsqualität und -geschwindigkeit, über hunderte Entscheidungen. Darauf lässt sich kein sauberes Experiment fahren, und Sie sollten nicht so tun, als ginge das. Eine andere Bewertungsmethode, näher an einem Capability-Assessment oder einem Decision Audit, passt besser.

Die Zuordnung bricht auch dann zusammen, wenn die KI tief in einen veränderten Prozess eingebettet ist. Wenn Sie den gesamten Kunden-Onboarding-Ablauf neu gestalten und an drei Stellen KI einbauen, ist die Frage nach dem Beitrag der KI gegenüber dem Redesign wie die Frage, ob der Motor oder das neue Getriebe das Auto schneller gemacht hat. Die beiden sind nicht trennbar. Messen Sie in diesem Fall das Prozessergebnis und sagen Sie offen, dass Sie es der Intervention als Ganzes zuordnen.

Und schließlich: Sehr kleine Stichproben ruinieren die Statistik. Ein zwölfköpfiges Rechtsteam, das einen KI-Assistenten zum Entwerfen von Dokumenten nutzt, mit einem Deal-Zyklus pro Monat, wird nie genug Daten haben, um den Effekt der KI mit irgendeiner Sicherheit zu isolieren. Qualitative Evidenz und Zeiterfassung sind dort die ehrlichen Werkzeuge, nicht ROI-Berechnungen mit falscher Präzision.

Was hängen bleiben sollte: Saubere ROI-Messung bei KI setzt voraus, dass Sie vor dem Rollout entscheiden, was Sie messen, was die Kontrollbedingung ist und welches Konfidenzniveau Sie brauchen, um zu handeln. Unternehmen, die diese Entscheidungen erst treffen, wenn die Ergebnisse da sind, messen keinen ROI. Sie konstruieren eine Geschichte.

Mehr dazu

Die Lektionen, die diesen Artikel weiterführen, frei zugänglich.

  1. 1Outputs bewerten: Woher wissen Sie, dass es funktioniert?Building with AI
  2. 2Scoping, Daten und ErfolgskriterienBuilding with AI
  3. 3Erst denken, dann bauen: ein KI-Problem richtig fassenBuilding with AI
  4. 4Kosten, Latenz und Abwägungen bei der ModellauswahlBuilding with AI
  5. 5Wann KI hilft und wann nichtKI im Arbeitsalltag

Artikel gelesen?

Bestätigen Sie Ihre Lektüre, um XP zu sammeln und Ihr Radar zu füttern.