Mode · Eine Evaluations-Scorecard für KI-Anbieter aufbauen
Eine Merchandising-Direktorin einer mittelgroßen Modemarke saß in einer Woche in sechs Anbieter-Demos. Jedes Deck versprach „AI-powered assortment optimization". Jede Demo lief auf dem kuratierten Datensatz des Anbieters, nicht auf ihren 40.000 realen SKUs (stock keeping units, also die einzelnen Produktvarianten wie „navyblaues Rundhals-Shirt, Größe M"). Am Freitag hatte sie sechs beeindruckende Slideshows und keine Möglichkeit, sie zu vergleichen. Genau diese Lücke zwischen polierter Demo und realer Passung schließt eine Scorecard.
Diese Lektion gibt Ihnen eine konkrete, gewichtete Bewertungsmatrix, um konkurrierende KI-Tools für einen Merchandising- oder Customer-Experience-Use-Case (CXCXDas Gesamtbild, das ein Kunde über alle Interaktionen hinweg von Ihrer Marke gewinnt, vom ersten Kontakt bis zum Support nach dem Kauf.Vollständige Definition ansehen →) zu bewerten. Danach kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie ein strukturiertes Bake-off durchführen, statt dem lautesten Sales Pitch zu vertrauen.
Warum Demos lügen (strukturell, nicht böswillig)
Anbieter optimieren Demos auf ihre Stärken. Ein Visual-Search-Tool zeigt Ihnen eine fehlerfreie „find similar dress"-Abfrage auf hochauflösenden Studioaufnahmen. Ihr tatsächlicher Katalog hat inkonsistente Beleuchtung, fehlende Rückansichten und 12 Prozent Produkte ohne getaggtes Farbattribut.
Die Scorecard zwingt jeden Anbieter auf *Ihre* Daten, *Ihre* Systeme und *Ihre* Erfolgsschwellen. Sie übersetzt vage Begeisterung in Zahlen, die Sie vor einem Steering Committee verteidigen können.
Die vier Bewertungssäulen
Bewerten Sie jeden Anbieter auf vier Säulen mit 1 bis 5 und gewichten Sie diese dann. Die Gewichte sollten Ihre Situation widerspiegeln, aber ein vertretbarer Standard für einen Merchandising- oder CX-Piloten sieht so aus:
| Säule | Gewicht | Was sie messen |
|---|---|---|
| Accuracy auf Ihrem Sortiment | 35% | Funktioniert es auf Ihren echten SKUs? |
| Integration (PLM/PIM) | 25% | Lässt es sich ohne Umbau in Ihren Stack einbinden? |
| Data Ownership und Governance | 20% | Wer besitzt die Outputs und Trainingsdaten? |
| Erfüllte Pilot-Erfolgskriterien | 20% | Hat der bezahlte Test die vorab vereinbarten Schwellen erreicht? |
Multiplizieren Sie jeden Score mit seinem Gewicht, summieren Sie, und Sie haben eine einzige vergleichbare Zahl auf einer Skala bis 5. Am Ende rechnen wir ein Beispiel durch.
Säule 1: Accuracy auf Ihrem SKU-Sortiment (35%)
Das ist nicht verhandelbar und muss auf Ihren Daten laufen. Schicken Sie jedem Anbieter denselben Testdatensatz: einen repräsentativen Ausschnitt Ihres Katalogs. Nehmen Sie Ihre schwierigen Fälle absichtlich mit hinein (stark reduzierte Abverkaufsware, Bundles, saisonale Einzelstücke, Produkte mit dünnen Metadaten).
Definieren Sie die Metrik, die zum Use Case passt:
- Attribut-Tagging (automatisches Erzeugen von Feldern wie Ärmellänge, Ausschnitt, Material): messen Sie Precision (welcher Prozentsatz der vergebenen Tags war korrekt) und Recall (welcher Prozentsatz der Tags, die vergeben werden sollten, wurde gefunden). Ein Tool, das „floral" bei 95 Prozent der echten Blumenmuster taggt, aber auch Streifen falsch labelt, hat hohen Recall und schwache Precision.
- Demand Forecasting für das Sortiment: messen Sie den Fehler gegen die Ist-Werte, typischerweise MAPE (mean absolute percentage error, die durchschnittliche Größe der Prognoseabweichung). Vergleichen Sie mit der Baseline Ihres aktuellen Planners, nicht mit null.
- Produktempfehlungen (CX): messen Sie den Uplift bei Click-Through oder Conversion auf einem Hold-out-Set, nicht auf einem Proxy, den der Anbieter erfunden hat.
Bestehen Sie auf Ergebnissen, aufgeschlüsselt nach Kategorie. Ein Tool mit 90 Prozent Tagging-Accuracy bei Oberteilen und 60 Prozent bei Schuhen ist ein Schuhproblem mit Ansage.
Säule 2: Integration mit PLM und PIM (25%)
Zwei Abkürzungen zur Definition:
- PLM (Product Lifecycle Management): das System, in dem ein Produkt designt, kalkuliert und entwickelt wird, vom Tech Pack bis zur Produktion. Anbieter sind unter anderem Centric Software, PTC FlexPLM und Bamboo Rose.
- PIM (Product Information Management): das System mit der „single source of truth" für Produktdaten über Ihre Kanäle hinweg (Beschreibungen, Bilder, Attribute). Player sind Akeneo, Salsify und inRiver.
Ein KI-Tagging-Tool, das nicht in Ihr PIM zurückschreiben kann, erzeugt nur eine Tabelle, die jemand von Hand neu eintippt. Bewerten Sie Integration an konkreten Fragen:
- Gibt es eine dokumentierte, gepflegte APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen → (application programming interface, die Schnittstelle, über die zwei Systeme miteinander sprechen)?
- Existiert ein vorgefertigter Connector für *Ihr spezifisches* PIM, oder steht ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → „on the roadmap"?
- Verträgt es Ihr Datenvolumen und Ihre Aktualisierungsfrequenz (ein Saisonstart mit 3.000 SKUs über Nacht)?
Fordern Sie die API-Dokumentation während der Evaluation an, nicht nach Vertragsabschluss. Ein Anbieter, der hier zögert, sagt Ihnen etwas.
So sieht ein realistischer Write-back-Call aus, damit auch nicht-technische Leser sehen, was „Integration" konkret bedeutet:
POST /pim/v1/products/SKU-10482/attributes
{
"neckline": "crew",
"sleeve_length": "short",
"fabric_primary": "cotton",
"ai_confidence": 0.91,
"reviewed_by_human": false
}Beachten Sie die Felder ai_confidence und reviewed_by_human. Gutes Tooling legt die Confidence offen, damit Sie Tags mit niedriger Confidence an einen Menschen weiterleiten können. Das ist ein bewertbares Feature.
Säule 3: Data Ownership und Governance (20%)
Lesen Sie den Vertrag, nicht das Sales Deck. Zentrale Fragen:
- Wer besitzt die Outputs? Wenn die KI Ihren Katalog anreichert, müssen diese angereicherten Daten Ihnen gehören, zum Behalten und Exportieren, falls Sie wechseln.
- Werden Ihre Daten zum Training der geteilten Modelle des Anbieters genutzt? Für eine Modemarke sind Sortiment und Abverkaufsmuster Competitive Intelligence. Sie wollen damit vielleicht nicht ein Modell verbessern, das Ihr Wettbewerber ebenfalls nutzt. Achten Sie auf eine Opt-out-Möglichkeit.
- Wo werden Daten verarbeitet und gespeichert? Relevant unter der EU-DSGVODSGVOEU-Verordnung zur Erhebung, Speicherung und Nutzung personenbezogener Daten, mit Bußgeldern, die am weltweiten Umsatz bemessen werden.Vollständige Definition ansehen → (General Data Protection Regulation, das EU-Datenschutzrecht), wenn personenbezogene Daten beteiligt sind (CX-Interaktionen mit Kunden), und zunehmend unter US-Staatengesetzen wie dem California Consumer Privacy Act.
- Nutzt das Tool ein Foundation Model eines Dritten (zum Beispiel ein Large Language ModelLarge Language ModelEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen → über API)? Dann laufen Ihre Daten möglicherweise über die Infrastruktur eines weiteren Anbieters. Fordern Sie das Datenflussdiagramm an.
Eine Grundlage dazu, warum Governance in den Einkauf gehört, liefert das NIST AI Risk Management Framework, kostenlos und anbieterneutral.
🎬 [VIDEO: "How to Evaluate AI Vendors" - youtube.com - ein praktischer Durchgang durch Anbieter-Due-Diligence und Pilotdesign für Enterprise-Käufer]
Säule 4: Pilot-Erfolgskriterien (20%)
Bewerten Sie das nie anhand von Versprechen. Führen Sie einen bezahlten Piloten durch (bezahlt hält beide Seiten seriös) über 6 bis 10 Wochen, mit Schwellenwerten, die *schriftlich vor dem Start* vereinbart sind. Vage Piloten sind immer „erfolgreich".
Gute Kriterien sind spezifisch und messbar:
- „Manuelle Tagging-Zeit pro SKU um mindestens 40 Prozent gegenüber der aktuellen Baseline reduzieren."
- „Attribut-Tagging-Precision von 85 Prozent oder höher über unsere Top-5-Kategorien erreichen."
- „Empfehlungen bei Spitzenlast in unter 300 Millisekunden zurückgeben."
Schlechte Kriterien: „Merchandising-Effizienz verbessern." Nicht messbar, also nicht bewertbar.
Wissenscheck
1. Was ist laut Lektion der Hauptgrund, warum man beim Vergleich von KI-Anbietern eine Scorecard braucht?
2. Ein Visual-Search-Anbieter demonstriert fehlerfreie „find similar"-Ergebnisse auf Studioaufnahmen, aber Ihr Katalog hat inkonsistente Beleuchtung und fehlende Attribute. Welches Kernprinzip zeigt das?
3. Warum empfiehlt die Lektion, die Bewertungssäulen zu gewichten statt gleich zu behandeln?
4. Wählen Sie ALLE korrekten Antworten zu Zweck und Aufbau der Anbieter-Scorecard.
Wählen Sie alle richtigen Antworten aus.
5. Wählen Sie ALLE korrekten Antworten dazu, was die vier Bewertungssäulen messen.
Wählen Sie alle richtigen Antworten aus.
Durchgerechnetes Beispiel: zwei Anbieter bewerten
Sie entscheiden zwischen Anbieter A (einem spezialisierten Tool für Fashion-Attribut-Tagging) und Anbieter B (einer breiten Retail-KI-Suite) für das Auto-Tagging Ihres PIM.
Sie lassen beide auf demselben Testdatensatz mit 2.000 SKUs und demselben bezahlten Piloten laufen. Rohwerte (1 bis 5):
| Säule | Gewicht | Anbieter A | Anbieter B |
|---|---|---|---|
| Accuracy auf dem Sortiment | 35% | 5 | 3 |
| PLM/PIM-Integration | 25% | 3 | 5 |
| Data Ownership | 20% | 4 | 3 |
| Pilot-Kriterien erfüllt | 20% | 5 | 4 |
Gewichteter Score, Anbieter A:
(5 × 0,35) + (3 × 0,25) + (4 × 0,20) + (5 × 0,20)
= 1,75 + 0,75 + 0,80 + 1,00 = 4,30
Gewichteter Score, Anbieter B:
(3 × 0,35) + (5 × 0,25) + (3 × 0,20) + (4 × 0,20)
= 1,05 + 1,25 + 0,60 + 0,80 = 3,70
Anbieter A gewinnt bei der Metrik, die am meisten zählt (fashionspezifische Accuracy), auch wenn Anbieter B glatter integriert. Die Scorecard macht diesen Tradeoff explizit und erlaubt Ihnen die eigentliche Frage: Können wir die Integrationslücke von Anbieter A mit einem Connector-Projekt schließen, das günstiger ist als schwächeres Tagging auf Dauer?
Eine Anmerkung zu realistischen Erwartungen
Kein Anbieter erreicht überall 5. Die Scorecard ist eine Entscheidungshilfe, kein Orakel. Zwei Disziplinen halten sie ehrlich:
- Nach dem Piloten neu bewerten. Scores vor dem Piloten sind Hypothesen. Scores danach beruhen auf Evidenz. Die Differenz selbst ist informativ: Ein Anbieter, der bei Accuracy zu viel versprochen hat, verspricht auch beim Support zu viel.
- Achten Sie auf Gesamtkosten, nicht auf den Lizenzpreis. Ein Tool, das viel Integrationsarbeit oder dauernde menschliche Prüfung von Outputs mit niedriger Confidence braucht, kann teurer sein als ein höherpreisiges Tool, das saubere Ergebnisse liefert. Berücksichtigen Sie das in den Säulen Integration und Pilot.
Key Takeaways
- Testen Sie immer auf Ihren eigenen SKUs. Anbieter-Demos laufen auf kuratierten Daten; Ihr Katalog hat die unsauberen Edge Cases, die Tools brechen. Schicken Sie jedem Anbieter denselben, absichtlich schwierigen Testdatensatz.
- Gewichten Sie Accuracy für Merchandising und CX am höchsten (35 Prozent in unserem Standard), ignorieren Sie aber nie die PLM- und PIM-Integration: ein KI-Output, der nicht in Ihre Systeme zurückschreiben kann, ist eine Tabelle, kein Workflow.
- Klären Sie Data Ownership im Vertrag verbindlich, einschließlich der Frage, ob Ihre Sortimentsdaten ein geteiltes Modell trainieren, von dem Ihre Wettbewerber profitieren könnten. Nutzen Sie das NIST AI RMF als kostenlose Checkliste.
- Führen Sie einen bezahlten Piloten mit schriftlichen, messbaren Schwellen durch, vereinbart vor dem Start, und bewerten Sie danach mit echter Evidenz neu. Verfolgen Sie die Lücke zwischen Versprochenem und Geliefertem.
- Führen Sie alles auf eine gewichtete Zahl zurück, damit Tradeoffs explizit und vor Ihrem Steering Committee vertretbar sind, und hinterfragen Sie dann die schwache Säule, statt sie zu akzeptieren.