Die Tabelle, die einem CFO peinlich war und unsere Messung von KI verändert hat

Ein großer Einzelhändler feierte Millionen an prognostizierten KI-Einsparungen und sah dann zu, wie die Zahl still und leise auf fast nichts zusammenschrumpfte, sobald jemand die vollen Kosten zusammenrechnete. Dieser Moment, der sich Anfang der 2020er-Jahre branchenübergreifend wiederholte, erklärt, warum die Messung von KI-Renditen die am meisten unterschätzte Fähigkeit in der Unternehmens-IT bleibt.

🎙️

Podcast anhören

4 min

Ende 2022 steckte das Finanzteam von Walmart in einer unangenehmen Lage. Das Unternehmen hatte massiv in KI-gestützte Bedarfsprognose-Tools investiert, und die ersten internen Projektionen waren nach jedem Maßstab beeindruckend. Analysten schätzten, dass die Systeme den Lagerverlust um mehrere Hundert Millionen Dollar pro Jahr senken würden. Folien gingen an die Führungsebene. Zeitpläne wurden festgelegt. Dann stellte jemand eine Frage, die niemand klar beantwortet hatte: Was rechnen wir eigentlich als Kosten?

Was tatsächlich passiert ist

Walmart hat in Earnings Calls und Presseinterviews offen über seine KI-Investitionen in der Supply Chain gesprochen, wobei die oben beschriebenen internen Projektionen berichtete Branchenmuster widerspiegeln und nicht ein einzelnes offengelegtes internes Dokument. Gut dokumentiert ist die größere Dynamik: 2023 bestätigte Walmart spürbare Effizienzgewinne durch KI-gestütztes Bestandsmanagement, doch die Unternehmensführung räumte auch ein, dass die Berechnung der tatsächlichen Rendite Infrastruktur-Upgrades, Zyklen für das Retraining von Modellen, Projekte zur Datenqualität und die Arbeitsstunden einbeziehen musste, die statt in den klassischen Betrieb in AI Governance flossen.

Das ist keine Geschichte des Scheiterns. Walmarts Supply-Chain-KI funktioniert wirklich. Aber die Erfahrung des Unternehmens zeigt ein Muster, das McKinsey in seinem State of AI Report 2023 (eine unabhängige Forschungspublikation) dokumentiert hat: Die Mehrheit der Organisationen, die angaben, den Wertbeitrag von KI zu messen, zählte nur die direkten Einsparungen auf der Output-Seite, nicht die vollen Input-Kosten. Die Lücke zwischen „KI hat uns X gespart“ und „KI hat X netto nach allem gebracht, was wir ausgegeben haben, damit sie funktioniert“ erwies sich als groß genug, um mehr als einem CFO peinlich zu werden, sobald jemand genauer hinsah.

Der klassische Fehler folgt einem vorhersehbaren Muster. Eine Geschäftseinheit führt ein Tool ein, vielleicht einen KI-Assistenten, der die Vertragsprüfung automatisiert, oder ein Modell, das Churn-Risiken bei Kunden markiert. Jemand zählt die eingesparte Zeit pro Vorgang und multipliziert sie mit dem Volumen. Die Zahl sieht überzeugend aus. Was in dieser Rechnung nicht auftaucht: die internen Data-Engineering-Stunden für die Bereinigung der Trainingsdaten, die Kosten für die Skalierung der IT-Infrastruktur, die Wochen, die ein Product Manager damit verbringt, den Output in bestehende Workflows zu integrieren, die laufenden Kosten eines Data Scientists, der Model Drift überwacht, und die juristische Prüfung der KI-Ergebnisse, bevor sie an Kunden gehen. Eine Deloitte-Umfrage von 2022 (unabhängige Forschung) ergab, dass weniger als ein Drittel der Unternehmen über eine formale Methodik verfügte, um die Total Cost of Ownership von KI zu erfassen. Die meisten maßen Bruttoeinsparungen gegen den Kaufpreis, was in etwa dem entspricht, die Rentabilität einer Fabrik zu messen, indem man den Produktumsatz den Maschinenkosten gegenüberstellt und dabei Personal, Energie und Wartung ignoriert.

Das Problem verschärft sich, wenn Unternehmen ROI-Rechner der Anbieter nutzen. Tools großer KI-Plattformanbieter, darunter Salesforce, Microsoft und Google (die alle KI-Produkte verkaufen und ein klares kommerzielles Interesse an günstigen ROI-Zahlen haben), modellieren Zeitersparnis und Produktivitätsgewinne typischerweise auf Basis eigener Benchmark-Studien. Diese Zahlen sind einen Blick wert, aber sie sollten nicht als unabhängige Validierung gelten. Dieser Punkt verdient Wiederholung, wann immer ein Vendor-Deck in Ihrem Posteingang landet.

Warum das weiterhin zählt

Das Messproblem ist nicht verschwunden. Eher im Gegenteil: Die Verbreitung von KI-Tools zwischen 2023 und heute hat die Nachverfolgung erschwert. Bis 2026 betreiben die meisten Unternehmen Dutzende KI-gestützter Prozesse gleichzeitig, was die Attribution wirklich schwierig macht. Hat sich die Kundenbindung wegen des KI-Churn-Modells verbessert oder weil das Sales-Team zur gleichen Zeit seine Kontaktfrequenz geändert hat? Sind die Kosten der juristischen Prüfung wegen der KI-Vertragsanalyse gesunken oder weil das Unternehmen die Honorarsätze seiner externen Kanzlei neu verhandelt hat?

Was die Erfahrung aus der Walmart-Zeit gezeigt hat: KI-ROI ist kein technisches Messproblem. Es ist ein Problem der Organisationsgestaltung. Sie brauchen jemanden mit echter Entscheidungsbefugnis, der definiert, was als Kosten und was als Nutzen zählt, der diese Definition über Geschäftseinheiten hinweg durchsetzt und der Messzeitpunkte an einen festen Zeitplan bindet, statt den Moment herauszupicken, in dem die Zahlen am besten aussehen.

Die Unternehmen, die das am frühesten gelöst haben, darunter eine Handvoll Finanzdienstleister und große Logistikbetreiber, taten es, indem sie die ROI-Verantwortung dem Finanzbereich zuwiesen, nicht dem KI-Team. Wenn die Leute, die den Erfolg der Investition wollen, auch die Leute sind, die sie messen, tendieren die Zahlen zum Optimismus. Das ist kein Zynismus, das ist normales organisatorisches Verhalten.

Was Sie daraus mitnehmen

Wenn Sie an einer KI-Investitionsentscheidung beteiligt sind, ob Sie ein Tool für eine Abteilung freigeben oder in einem Board eine KI-Roadmap für das Unternehmen prüfen, schützt Sie eine Frage vor dem Tabellenproblem: Wer verantwortet die Kostenbasis, und ist diese Person unabhängig von dem Team, das die Investition vorgeschlagen hat?

Die Methodik selbst muss nicht exotisch sein. Ein solides Framework für KI-ROI deckt vier Dinge ab: die vollen Kosten der Einführung (Infrastruktur, Integration und Personalzeit, nicht nur Lizenzen), eine definierte Produktivitäts-Baseline, gemessen bevor das Tool live geht, ein realistisches Attributionsmodell, das andere gleichzeitig laufende Veränderungen berücksichtigt, und ein Messfenster, das lang genug ist, um Modellverschlechterung und Retraining-Kosten zu erfassen, die in Projektionen für das erste Jahr selten auftauchen.

Walmarts KI-Investitionen sind tatsächlich produktiv. Die Lehre aus dieser Erfahrung ist, dass selbst eine erfolgreiche Einführung auf dem Papier irreführend aussehen kann, wenn die Messdisziplin nicht von Anfang an steht. Die Tools sind nicht der schwierige Teil. Ehrlich zu zählen schon.

Mehr dazu

Die Lektionen, die diesen Artikel weiterführen, frei zugänglich.

  1. 1Kosten, Latenz und Abwägungen bei der ModellauswahlBuilding with AI
  2. 2Scoping, Daten und ErfolgskriterienBuilding with AI
  3. 3Outputs bewerten: Woher wissen Sie, dass es funktioniert?Building with AI
  4. 4Erst denken, dann bauen: ein KI-Problem richtig fassenBuilding with AI
  5. 5Wann KI hilft und wann nichtKI im Arbeitsalltag

Artikel gelesen?

Bestätigen Sie Ihre Lektüre, um XP zu sammeln und Ihr Radar zu füttern.