Anbieterversprechen bewerten und Proof of Concept gestalten

# Anbieterversprechen bewerten und Proof of Concept gestalten

Ein Loss-Prevention-Director einer mittelgroßen Lebensmittelkette sagte einmal zum Sales-Team eines Anbieters: „Ihre Demo hat 94 % der Diebstähle erkannt. Zeigen Sie mir das auf meinen Kameras, in meinen Filialen, mit meinen Ladendieben.“ Die Trefferquote des Anbieters fiel auf 61 %. Genau diese Lücke zwischen Demo und Realität ist der Grund für diese Lektion.

Vision-AI-Shrink-Detection (Computer-Vision-Systeme, die vermuteten Diebstahl oder Scan-Umgehung an der Kasse markieren) gehört zu den am schnellsten wachsenden KI-Anschaffungen in der Loss Prevention im Handel. Es ist auch eine der Kategorien, in denen man sich am leichtesten die Finger verbrennt, denn Anbieterdemos basieren auf kuratiertem Material, nicht auf der Beleuchtung, den Kamerawinkeln oder dem Kundenmix Ihrer Filiale.

Warum Anbieterdemos von Natur aus in die Irre führen

Anbieterdemos sind darauf optimiert zu verkaufen, nicht zu informieren. Drei strukturelle Gründe:

• Handverlesenes Material. Demo-Reels zeigen typischerweise klare, gut beleuchtete Erkennungen mit hoher Confidence. Der Anbieter wählt die Clips aus, in denen das Modell am besten abschneidet.
• Andere Base Rates. Ein Modell, das auf Diebstahlmustern im Großflächenhandel trainiert wurde, kann in den engen Gängen eines Convenience Stores oder bei den Warenkorbgrößen einer Apotheke schlecht abschneiden.
• Keine Konfrontation mit Ihren Treibern für False Positives. Mehrwegtaschen, Mitarbeiter beim Nachfüllen, Eltern, die Artikel für ihre Kinder greifen: Das löst Fehlalarme auf eine Weise aus, die eine generische Demo nie sichtbar macht.

Deshalb braucht ein RFP (Request for Proposal, das formale Dokument, mit dem Händler Anbieterangebote einholen) eine Scorecard, die über „funktioniert es“ hinausgeht und fragt: „funktioniert es mit meinen Daten, in meiner Größenordnung, unter meinen Rahmenbedingungen“.

Aufbau einer Scorecard für ein Shrink-Detection-RFP

Eine realistische Scorecard für einen Vision-AI-Shrink-Anbieter gewichtet typischerweise fünf Kategorien. Hier eine vereinfachte Version, angelehnt an das, was große Händler tatsächlich einsetzen:

| Kategorie | Gewichtung | Was Sie prüfen |

|---|---|---|

| Erkennungsgenauigkeit auf Ihrem Material | 30 % | Precision und Recall auf einer gelabelten Stichprobe aus Ihren eigenen Filialen |

| False-Positive-Rate unter Produktionsbedingungen | 25 % | Alerts pro Filiale und Tag, die das Personal prüfen muss |

| Integrationsaufwand | 15 % | Kompatibilität mit vorhandener Kamera-Hardware, POS-Systemen (Point of Sale) und Arbeitsabläufen des Personals |

| Datenschutz und Compliance | 15 % | Umgang mit biometrischen Daten, Aufbewahrungsrichtlinie, Regeln einzelner US-Bundesstaaten und der EU |

| Total Cost of Ownership über 3 Jahre | 15 % | Lizenzen, Hardware-Upgrades, Personal für die Alert-Prüfung |

Beachten Sie: „Genauigkeit“ macht nur 30 % aus. Anbieter starten gern mit einer einzigen Genauigkeitszahl. Ein seriöser Einkäufer behandelt diese Zahl als einen Input unter fünf.

Precision und Recall, erklärt für nicht-technische Einkäufer

Zwei Begriffe, die Sie vor jeder Verhandlung sitzen haben müssen:

• Precision: Welcher Prozentsatz aller ausgelösten Alerts waren echte Diebstahlsvorfälle? Niedrige Precision heißt, das Personal verschwendet Zeit mit Fehlalarmen.
• Recall: Welchen Prozentsatz aller tatsächlich erfolgten Diebstähle hat das System erkannt? Niedriger Recall heißt, Shrink läuft unentdeckt weiter durch.

Es gibt fast immer einen Tradeoff. Ein Anbieter, der in einer einzigen Demo sowohl 95 % Precision als auch 95 % Recall behauptet, sollte Ihre Skepsis wecken, nicht Ihr Vertrauen. Fragen Sie nach der Confusion Matrix (der Tabelle mit True Positives, False Positives, True Negatives, False Negatives), nicht nur nach einer Schlagzeilen-Prozentzahl.

Den Proof of Concept (POC) gestalten

Ein POC (Proof of Concept, ein Test in begrenztem Umfang vor dem vollständigen Kauf) sollte wie ein kontrolliertes Experiment aufgebaut sein, nicht wie ein verlängerter Sales-Pitch.

Schritt 1: Repräsentative Filialen auswählen, keine Flagship-Filialen.

Wählen Sie 3 bis 5 Standorte, die Ihr tatsächliches Filialnetz widerspiegeln: unterschiedliche Layouts, Beleuchtung, Kameraalter, Mix aus städtisch und suburban. Anbieter drängen auf Ihre bestausgestattete Filiale. Widerstehen Sie.

Schritt 2: Eigene gelabelte Ground Truth aufbauen.

Vor Beginn des POC sollte Ihr Loss-Prevention-Team (oder ein Stichprobenprüfprozess) eine Reihe bekannter Vorfälle aus historischem Material taggen, sowohl Diebstähle als auch Nicht-Vorfälle, die verdächtig aussehen (das Mehrwegtaschen-Problem, Personal beim Nachfüllen usw.). Das wird der Lösungsschlüssel, an dem das System des Anbieters gemessen wird, unabhängig von dessen eigenem Reporting.

Schritt 3: Ein festes Zeitfenster von mindestens 60 bis 90 Tagen laufen lassen.

Ladendiebstahlmuster variieren nach Saison, Wochentag und Personalbesetzung. Ein zweiwöchiger POC in einer ruhigen Phase sagt Ihnen fast nichts. Verbände der Loss Prevention im Handel, darunter das Loss Prevention Research Council der National Retail Federation, veröffentlichen jährliche Shrink-Umfragedaten, mit denen Sie als Benchmark einschätzen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, wie „normale“ Vorfallraten für Ihr Format aussehen.

Schritt 4: Gegen die RFP-Scorecard bewerten, nicht gegen Anbieter-Dashboards.

Anbieter bieten ihr eigenes Performance-Dashboard an. Prüfen Sie eine Stichprobe manuell gegen. Wenn der Anbieter 88 % Precision meldet und Ihr manuelles Audit von 100 markierten Alerts ergibt, dass 60 echt waren, ist diese Diskrepanz der wichtigste einzelne Datenpunkt der gesamten Bewertung.

Schritt 5: Die Kosten der False Positives stresstesten.

Rechnen Sie die Personalkosten der Alert-Prüfung. Ein einfaches Rechenbeispiel:

• Das System erzeugt 40 Alerts pro Filiale und Tag
• Durchschnittliche Prüfzeit: 3 Minuten pro Alert
• Das sind 120 Minuten (2 Stunden) Personalzeit pro Filiale und Tag, jeden Tag
• Über 50 Pilotfilialen sind das 100 Personalstunden pro Tag nur für die Alert-Prüfung

Wenn die vollbelasteten Kosten dieser Prüfzeit die zurückgewonnenen Shrink-Beträge übersteigen, ist das System netto negativ, selbst wenn es „funktioniert“.

Prüfungen zu Datenschutz und Compliance

Vision-AI-Systeme, die Personen verfolgen, erzeugen reale regulatorische Risiken. In den USA haben Bundesstaaten wie Illinois (Biometric Information Privacy Act, BIPA) und Texas eigene Gesetze zu biometrischen Daten, mit privatem Klagerecht oder Durchsetzung durch den Attorney General. In der EU und in Großbritannien regeln die DSGVO (Datenschutz-Grundverordnung) und die UK GDPR jede Verarbeitung biometrischer Identifikatoren, und Gesichtserkennung im Handel hat die Aufmerksamkeit von Datenschutzbehörden geweckt, darunter das britische Information Commissioner's Office. Klären Sie mit Ihrer Rechtsabteilung, noch bevor der POC beginnt, ob das System des Anbieters Gesichtserkennung durchführt (Identitätsabgleich) oder Verhaltenserkennung (Markierung verdächtiger Bewegungsmuster ohne Identifizierung der Person). Damit gehen sehr unterschiedliche Compliance-Lasten einher.

Ein einfaches Skript zur Anbieterbewertung

Für technisch aufgestellte Teams schafft schon ein einfaches Skript, das Anbieter-Alerts mit Ihrer gelabelten Ground Truth vergleicht, schnell Klarheit:

# Vendor-Alerts mit den eigenen Ground-Truth-Labels vergleichen
import pandas as pd

vendor_alerts = pd.read_csv("vendor_alerts.csv")   # Spalten: incident_id, flagged
ground_truth = pd.read_csv("ground_truth.csv")     # Spalten: incident_id, actual_theft

merged = ground_truth.merge(vendor_alerts, on="incident_id", how="left")
merged["flagged"] = merged["flagged"].fillna(False)

true_positives = ((merged.flagged) & (merged.actual_theft)).sum()
false_positives = ((merged.flagged) & (~merged.actual_theft)).sum()
false_negatives = ((~merged.flagged) & (merged.actual_theft)).sum()

precision = true_positives / (true_positives + false_positives)
recall = true_positives / (true_positives + false_negatives)

print(f"Precision: {precision:.2%}, Recall: {recall:.2%}")

Das ist kein Produktionscode, sondern ein Sanity-Check-Werkzeug, das jeder Analyst an einem Nachmittag laufen lassen kann, um die selbstberichteten Zahlen eines Anbieters zu validieren.

Verhandeln auf Basis der POC-Ergebnisse

Sobald Sie echte Zahlen haben, verhandeln Sie die Vertragsbedingungen daran:

• Performance-gebundene Preise: Binden Sie einen Teil der Gebühren an gemessene Precision und Recall auf Ihren Daten, nicht an den Benchmark des Anbieters.
• Recht auf erneutes Audit: Bauen Sie quartalsweise Rechte auf Nachtests ein, denn die Modell-Performance kann abdriften, wenn sich Filiallayouts und Sortiment ändern (ein Phänomen namens Model Drift).
• Exit-Klauseln: Da Vision-AI-Anbieter häufig Hardware-Installationen verlangen (Kameras, Edge-Computing-Einheiten), stellen Sie sicher, dass Sie nicht in proprietäre Hardware eingesperrt sind, die einen späteren Wechsel erschwert.

🎬 [VIDEO: „How Retailers Are Using AI to Fight Shoplifting“ - youtube.com - suchen Sie nach aktuellen Beiträgen von Wirtschaftsnachrichtenmedien über KI-Einsätze in der Loss Prevention im Handel und deren Grenzen in der Praxis]

Wichtigste Erkenntnisse

• Bewerten Sie einen Shrink-Detection-Anbieter nie allein anhand seiner Demo. Bestehen Sie auf einem POC mit Ihrem eigenen Filialmaterial, Ihren eigenen Lichtverhältnissen und Ihren eigenen historischen Vorfällen als Ground Truth.
• Bauen Sie eine RFP-Scorecard, die Genauigkeit neben den Kosten von False Positives, Integrationsaufwand und Compliance gewichtet; Genauigkeit allein ist ein unvollständiges Bild.
• Verstehen Sie Precision versus Recall vor jedem Anbietergespräch. Fragen Sie nach der vollständigen Confusion Matrix, nicht nach einer einzelnen Schlagzeilen-Prozentzahl.
• Lassen Sie POCs mindestens 60 bis 90 Tage in repräsentativen (nicht Flagship-)Filialen laufen und auditieren Sie eine Stichprobe der vom Anbieter berichteten Ergebnisse manuell.
• Klären Sie früh, ob das System Gesichtserkennung oder ausschließlich Verhaltenserkennung nutzt, denn das verändert Ihr regulatorisches Risiko unter Gesetzen wie dem Illinois BIPA oder der DSGVO.