Eine Evaluations-Scorecard für KI-Anbieter aufbauen

# Eine Evaluations-Scorecard für KI-Anbieter aufbauen

Eine Merchandising-Direktorin einer mittelgroßen Bekleidungsmarke saß in einer Woche in sechs Anbieter-Demos. Jedes Deck versprach „AI-powered assortment optimization". Jede Demo nutzte den eigenen, kuratierten Datensatz des Anbieters, nicht ihre 40.000 live SKUs (stock keeping units, die einzelnen Produktvarianten wie „navyblaues Rundhals-Shirt, Größe M"). Am Freitag hatte sie sechs beeindruckende Foliensätze und keine Möglichkeit, sie zu vergleichen. Genau diese Lücke zwischen polierter Demo und tatsächlicher Passung schließt eine Scorecard.

Diese Lektion gibt Ihnen ein konkretes, gewichtetes Raster, um konkurrierende KI-Tools für einen Merchandising- oder Customer-Experience-Anwendungsfall (CXCXThe overall perception a customer forms of your brand across every interaction, from first touch to post-purchase support.Vollständige Definition ansehen →) zu bewerten. Am Ende kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Sie ein strukturiertes Bake-off durchführen, statt dem lautesten Sales Pitch zu vertrauen.

Warum Demos lügen (strukturell, nicht böswillig)

Anbieter optimieren Demos auf ihre Stärken. Ein Visual-Search-Tool zeigt Ihnen eine fehlerfreie „finde ähnliches Kleid"-Abfrage auf hochauflösenden Studioaufnahmen. Ihr echter Katalog hat inkonsistente Beleuchtung, fehlende Rückansichten und bei 12 Prozent der Produkte kein getaggtes Farbattribut.

Die Scorecard zwingt jeden Anbieter auf *Ihre* Daten, *Ihre* Systeme und *Ihre* Erfolgsschwellen. Sie verwandelt vage Begeisterung in Zahlen, die Sie vor einem Steering Committee vertreten kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen.

Die vier Bewertungssäulen

Bewerten Sie jeden Anbieter auf einer Skala von 1 bis 5 in vier Säulen und gewichten Sie diese dann. Die Gewichte sollten Ihre Situation widerspiegeln, aber ein vertretbarer Standard für ein Merchandising- oder CXCXThe overall perception a customer forms of your brand across every interaction, from first touch to post-purchase support.Vollständige Definition ansehen →-Pilotprojekt sieht so aus:

| Säule | Gewicht | Was sie messen |

|---|---|---|

| Genauigkeit auf Ihrem Sortiment | 35% | Funktioniert es mit Ihren echten SKUs? |

| Integration (PLM/PIM) | 25% | Lässt es sich ohne Umbau in Ihren Stack einbinden? |

| Data Ownership und Governance | 20% | Wem gehören die Outputs und Trainingsdaten? |

| Erfüllte Pilot-Erfolgskriterien | 20% | Hat der bezahlte Test die vorab vereinbarten Schwellen erreicht? |

Multiplizieren Sie jede Bewertung mit ihrem Gewicht, summieren Sie, und Sie erhalten eine einzige vergleichbare Zahl von maximal 5. Am Ende rechnen wir ein Beispiel durch.

Säule 1: Genauigkeit auf Ihrem SKU-Sortiment (35%)

Das ist nicht verhandelbar und muss auf Ihren Daten laufen. Schicken Sie jedem Anbieter denselben Testdatensatz: einen repräsentativen Ausschnitt Ihres Katalogs. Nehmen Sie Ihre harten Fälle absichtlich mit auf (stark reduzierte Abverkaufsware, Bundles, saisonale Einzelstücke, Produkte mit dünnen Metadaten).

Definieren Sie die Metrik, die zum Anwendungsfall passt:

• Attribut-Tagging (automatisches Erzeugen von Feldern wie Ärmellänge, Halsausschnitt, Material): messen Sie Precision (von den gesetzten Tags, wie viel Prozent waren korrekt) und Recall (von den Tags, die gesetzt werden sollten, wie viel Prozent wurden gefunden). Ein Tool, das „floral" bei 95 Prozent der echten Blumenmuster taggt, aber auch Streifen falsch labelt, hat hohen Recall und schwache Precision.
• Demand Forecasting für das Sortiment: messen Sie den Fehler gegen die Ist-Werte, typischerweise MAPE (mean absolute percentage error, die durchschnittliche Größe der Prognoseabweichung). Vergleichen Sie das mit der Baseline Ihres aktuellen Planners, nicht mit Null.
• Produktempfehlungen (CX): messen Sie den Uplift bei Click-Through oder Conversion auf einem zurückgehaltenen Datensatz, nicht an einem Proxy, den der Anbieter erfunden hat.

Bestehen Sie auf Ergebnissen, die nach Kategorie aufgeschlüsselt sind. Ein Tool, das bei Oberteilen 90 Prozent Tagging-Genauigkeit erreicht, bei Schuhen aber 60 Prozent, ist ein Schuh-Problem, das nur darauf wartet, aufzutreten.

Säule 2: Integration mit PLM und PIM (25%)

Zwei Akronyme zur Definition:

• PLM (Product Lifecycle Management): das System, in dem ein Produkt designt, kalkuliert und entwickelt wird, vom Tech Pack bis zur Produktion. Anbieter sind unter anderem Centric Software, PTC FlexPLM und Bamboo Rose.
• PIM (Product Information Management): das System mit der „single source of truth" für Produktdaten, die über Ihre Kanäle hinweg genutzt werden (Beschreibungen, Bilder, Attribute). Zu den Playern zählen Akeneo, Salsify und inRiver.

Ein KI-Tagging-Tool, das nicht in Ihr PIM zurückschreiben kann, erzeugt nur eine Tabelle, die jemand von Hand neu eintippt. Bewerten Sie Integration anhand konkreter Fragen:

• Gibt es eine dokumentierte, gepflegte APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Vollständige Definition ansehen → (application programming interfaceapplication programming interfaceApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Vollständige Definition ansehen →, der Konnektor, über den zwei Systeme miteinander sprechen)?
• Existiert ein vorgefertigter Konnektor für *Ihr spezifisches* PIM, oder steht ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → „auf der Roadmap"?
• Verkraftet es Ihr Datenvolumen und Ihre Aktualisierungsfrequenz (ein Saisonstart mit 3.000 SKUs über Nacht)?

Fordern Sie die APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Vollständige Definition ansehen →-Dokumentation während der Evaluation an, nicht nach der Unterschrift. Ein Anbieter, der hier zögert, sagt Ihnen damit etwas.

So sieht ein realistischer Write-Back-Call aus, damit auch nicht-technische Leser sehen, was „Integration" konkret bedeutet:

POST /pim/v1/products/SKU-10482/attributes
{
  "neckline": "crew",
  "sleeve_length": "short",
  "fabric_primary": "cotton",
  "ai_confidence": 0.91,
  "reviewed_by_human": false
}

Beachten Sie die Felder ai_confidence und reviewed_by_human. Gutes Tooling legt die Confidence offen, damit Sie Tags mit niedriger Confidence an einen Menschen weiterleiten kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen. Das ist ein bewertbares Feature.

Säule 3: Data Ownership und Governance (20%)

Lesen Sie den Vertrag, nicht das Sales Deck. Zentrale Fragen:

• Wem gehören die Outputs? Wenn die KI Ihren Katalog anreichert, müssen diese angereicherten Daten Ihnen gehören, zum Behalten und Exportieren, falls Sie gehen.
• Werden Ihre Daten genutzt, um die gemeinsam genutzten Modelle des Anbieters zu trainieren? Für eine Bekleidungsmarke sind Ihr Sortiment und Ihre Abverkaufsmuster Competitive Intelligence. Vielleicht wollen Sie nicht, dass sie ein Modell verbessern, das Ihr Wettbewerber ebenfalls nutzt. Achten Sie auf eine Opt-out-Möglichkeit.
• Wo werden Daten verarbeitet und gespeichert? Relevant unter der EU-DSGVO (General Data Protection Regulation, das EU-Datenschutzrecht), sobald personenbezogene Daten (CXCXThe overall perception a customer forms of your brand across every interaction, from first touch to post-purchase support.Vollständige Definition ansehen →-Interaktionen von Kunden) betroffen sind, und zunehmend auch unter US-Landesgesetzen wie dem California Consumer Privacy Act.
• Nutzt das Tool ein Foundation Model eines Drittanbieters (zum Beispiel ein Large Language ModelLarge Language ModelA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen → über eine APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Vollständige Definition ansehen →)? Dann laufen Ihre Daten möglicherweise über die Infrastruktur eines weiteren Anbieters. Fordern Sie das Datenflussdiagramm an.

Als Grundlage dafür, warum Governance in den Einkauf gehört, ist das NIST AI Risk Management Framework kostenlos und anbieterneutral.

🎬 [VIDEO: "How to Evaluate AI Vendors" - youtube.com - ein praxisnaher Durchgang durch Anbieter-Due-Diligence und Pilotdesign für Enterprise-KKThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →äufer]

Säule 4: Pilot-Erfolgskriterien (20%)

Bewerten Sie das niemals anhand von Versprechen. Führen Sie einen bezahlten Piloten durch (bezahlt hält beide Seiten ernsthaft) über 6 bis 10 Wochen, mit Schwellenwerten, die *schriftlich vor dem Start* vereinbart sind. Vage Piloten „gelingen" immer.

Gute Kriterien sind spezifisch und messbar:

• „Manuelle Tagging-Zeit pro SKU um mindestens 40 Prozent gegenüber der aktuellen Baseline reduzieren."
• „Attribut-Tagging-Precision von 85 Prozent oder höher über unsere fünf größten Kategorien erreichen."
• „Empfehlungen in unter 300 Millisekunden bei Spitzenlast zurückgeben."

Schlechte Kriterien: „Merchandising-Effizienz verbessern." Nicht messbar, also nicht bewertbar.

Durchgerechnetes Beispiel: zwei Anbieter bewerten

Sie wählen zwischen Anbieter A (ein spezialisiertes Tool für Fashion-Attribut-Tagging) und Anbieter B (eine breite Retail-KI-Suite) für das automatische Tagging Ihres PIM.

Sie lassen beide auf demselben Testdatensatz mit 2.000 SKUs und demselben bezahlten Piloten laufen. Rohwerte (1 bis 5):

| Säule | Gewicht | Anbieter A | Anbieter B |

|---|---|---|---|

| Genauigkeit auf dem Sortiment | 35% | 5 | 3 |

| PLM/PIM-Integration | 25% | 3 | 5 |

| Data Ownership | 20% | 4 | 3 |

| Erfüllte Pilot-Kriterien | 20% | 5 | 4 |

Gewichtete Bewertung, Anbieter A:

(5 × 0,35) + (3 × 0,25) + (4 × 0,20) + (5 × 0,20)

= 1,75 + 0,75 + 0,80 + 1,00 = 4,30

Gewichtete Bewertung, Anbieter B:

(3 × 0,35) + (5 × 0,25) + (3 × 0,20) + (4 × 0,20)

= 1,05 + 1,25 + 0,60 + 0,80 = 3,70

Anbieter A gewinnt bei der Metrik, die am meisten zählt (fashion-spezifische Genauigkeit), auch wenn Anbieter B glatter integriert. Die Scorecard macht diesen Tradeoff explizit und erlaubt Ihnen die eigentliche Frage: KKThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen wir die Integrationslücke von Anbieter A mit einem Konnektor-Projekt schließen, das günstiger ist als mit schwächerem Tagging zu leben?

Eine Anmerkung zu realistischen Erwartungen

Kein Anbieter erreicht durchgehend 5. Die Scorecard ist eine Entscheidungshilfe, kein Orakel. Zwei Disziplinen halten sie ehrlich:

1. Bewerten Sie nach dem Piloten neu. Bewertungen vor dem Piloten sind Hypothesen. Bewertungen danach nutzen Evidenz. Die Differenz selbst ist informativ: Ein Anbieter, der bei der Genauigkeit zu viel versprochen hat, wird auch beim Support zu viel versprechen.

2. Achten Sie auf die Gesamtkosten, nicht den Lizenzpreis. Ein Tool, das schwere Integrationsarbeit oder ständige menschliche Prüfung von Outputs mit niedriger Confidence braucht, kann mehr kosten als ein teureres Tool, das saubere Ergebnisse liefert. Spiegeln Sie das in den Säulen Integration und Pilot.

Wichtigste Erkenntnisse

• Testen Sie immer auf Ihren eigenen SKUs. Anbieter-Demos laufen auf kuratierten Daten; Ihr Katalog enthält die unsauberen Randfälle, an denen Tools scheitern. Schicken Sie jedem Anbieter denselben, absichtlich schwierigen Testdatensatz.
• Gewichten Sie Genauigkeit am höchsten für Merchandising und CX (35 Prozent in unserem Standard), ignorieren Sie aber nie die PLM- und PIM-Integration: ein KI-Output, der nicht in Ihre Systeme zurückschreiben kann, ist eine Tabelle, kein Workflow.
• Regeln Sie Data Ownership im Vertrag fest, einschließlich der Frage, ob Ihre Sortimentsdaten ein gemeinsam genutztes Modell trainieren, von dem Ihre Wettbewerber profitieren kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnten. Nutzen Sie das NIST AI RMF als kostenlose Checkliste.
• Führen Sie einen bezahlten Piloten mit schriftlichen, messbaren Schwellenwerten durch, vor dem Start vereinbart, und bewerten Sie danach mit echter Evidenz neu. Verfolgen Sie die Lücke zwischen Versprochenem und Geliefertem.
• Übersetzen Sie alles in eine gewichtete Zahl, damit Tradeoffs explizit und vor Ihrem Steering Committee vertretbar sind, und hinterfragen Sie dann die schwächste Säule, statt sie zu akzeptieren.