KI & ML im Marketing: Frameworks & Methodik

Ihr Team kommt mit neun KI-Vorschlägen ins Planungsmeeting, das Budget reicht für zwei. Einer ist ein Churn-Modell. Einer ein generativer Assistent für Kampagnenbriefings. Einer eine Next-Best-Offer-Engine für die Loyalty-App. Nichts in der Präsentation sagt Ihnen, was sich rechnet, denn jede Präsentation verspricht denselben Lift. Es folgt der Filter, den Sie anwenden, bevor irgendjemand irgendetwas trainiert: welche Entscheidungen ein Modell verdienen, wie die Daten vorher aussehen müssen und wie Sie das Ergebnis so messen, dass es ein Gespräch mit Ihrem CFO übersteht.

Kernkonzept: welche entscheidungen ein modell verdienen

Prediction rechtfertigt ihr Budget nur, wenn sie eine Handlung verändert. Nehmen Sie die Maschinerie als gegeben (die Grundlagenlektion behandelt, was ein Modell ist und wo Prediction eine Regel schlägt) und stellen Sie eine engere Frage als „kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen wir das vorhersagen“: was würde das Business am Dienstag um 9 Uhr anders machen, wenn die Zahl existierte?

Vier Tests, und ein Kandidat muss alle vier bestehen:

• Häufigkeit. Die Entscheidung fällt tausendfach pro Quartal. Ein Modell, das eine jährliche Budgetaufteilung informiert, ist ein Spreadsheet mit Zusatzschritten und längerem Beschaffungszyklus.
• Differenzierte Handlung. Sie können Kunde A anders behandeln als Kunde B, zu tragbaren Kosten. Wenn alle dieselbe E-Mail bekommen, unabhängig vom Score, ist der Score Dekoration.
• Beobachtbares Ergebnis, schnell genug. Das, was Sie vorhersagen, wird eindeutig erfasst, in einem Zeitfenster, das kurz genug für ein Retraining ist. Neunzig Tage funktionieren. Ein dreijähriger Vertragsverlängerungszyklus nicht.
• Begrenzte Fehlerkosten. Eine falsche Produktempfehlung kostet ein paar Cent Marge. Ein fälschlich verweigertes Kreditangebot oder eine automatisierte Nachricht, die in einen Trauerfall hineinläuft, kostet erheblich mehr, und solche Use-Cases brauchen eher ein menschliches Gate als ein Modell.

Das Gegenbeispiel, das Sie im Kopf behalten sollten: Enterprise-Deal-Scoring in einem Unternehmen, das 200 Deals pro Jahr abschließt. Die Prediction ist technisch möglich, das Trainingsset winzig, der Feedback-Loop läuft achtzehn Monate, und die Reps übersteuern den Score sowieso, weil sie im Raum waren. Dieses Projekt scheitert an drei von vier Tests, bevor eine Zeile Code geschrieben ist.

Zentrales teilkonzept 1: den preis beziffern, bevor gebaut wird

Rechnen Sie auf der Rückseite des Vorschlags: Entscheidungen pro Jahr, multipliziert mit der Marge, die in jeder Entscheidung steht, multipliziert mit einem plausiblen relativen Lift, minus der jährlichen Betriebskosten.

Nehmen wir an, die Loyalty-App verschickt 40 Millionen Angebote pro Jahr, 3 % werden eingelöst, und jede Einlösung trägt rund vier Einheiten Marge. Das sind 1,2 Millionen Einlösungen. Eine relative Verbesserung um 8 % bringt etwa 96.000 zusätzliche Einlösungen, rund 384.000 an Marge. Stellen Sie daneben die vollen Kosten für zwei Data Scientists, die Zeit eines Engineers und die Infrastruktur. Manche Use-Cases enden genau hier, und das ist der Sinn der Übung.

Seien Sie ehrlich beim angenommenen Lift. Die publizierten 20 bis 30 % stammen meist daraus, dass Batch-and-Blast durch irgendetwas Personalisiertes ersetzt wurde. Gemessen an einer soliden Recency-und-Frequency-Regel, die Ihr CRMCRMCustomer Relationship Management: Software und Strategie, um Kundeninteraktionen über den gesamten Lifecycle zu steuern und zu analysieren.Vollständige Definition ansehen →-Team schon fährt, sind 3 bis 8 % relativ die besser verteidigbare Planungsgröße. Wenn der Business Case erst bei 15 % aufgeht, beenden Sie ihn im Meeting statt im neunten Monat.

Zentrales teilkonzept 2: der feature- und daten-readiness-test

Fünf Prüfungen, durchzuführen bevor das Modell freigegeben wird, dokumentiert als einseitiges Memo von der Person, die die Data PipelineData PipelineETL (Extract, Transform, Load) ist ein Datenintegrationsprozess, der Daten aus Quellsystemen extrahiert, in ein konsistentes Format bringt und in ein Zielsystem schreibt.Vollständige Definition ansehen → verantwortet:

• Volumen in der seltenen Klasse. Nicht die Gesamtzahl der Zeilen. Die Anzahl des Ergebnisses, das Sie interessiert. Salesforce, das das Scoring-Produkt verkauft, nennt für Einstein Lead Scoring Untergrenzen im Bereich von tausend Leads und über hundert Conversions in den vorangegangenen sechs Monaten. Behandeln Sie das genannte Minimum eines Anbieters als den Punkt, unterhalb dessen das Produkt die Arbeit verweigert, nicht als den Punkt, ab dem es gut funktioniert.
• Leakage. Ein Feature, das nur existiert, weil das Ergebnis schon eingetreten ist. Besuche der Kündigungsseite in einem Churn-Modell liefern Ihnen einen wunderschönen Offline-AUC und nichts in Produktion. Der Test: hätte dieses Feld im Moment des Scorings gefüllt sein können, für einen Kunden, dessen Ergebnis Sie noch nicht kennen?
• Point-in-Time-Korrektheit. Wer auf den heutigen Profilattributen trainiert statt auf ihrem Wert zum Zeitpunkt des Ereignisses, lehrt dem Modell die Zukunft. Derselbe Fehler, nur leiser.
• Abdeckung zum Serving-Zeitpunkt, nicht zum Warehouse-Zeitpunkt. Ein Feld, das in der nächtlichen Tabelle 90 % vollständig und im Echtzeit-Aufruf zu 40 % gefüllt ist, ist ein anderes Feature. Bewerten Sie das Modell auf Basis dessen, was die APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen → tatsächlich erhält.
• Identität. Scores hängen an dem persistenten Profil, das in der CDPCDPSoftware, die Kundendaten aus allen Quellen zu einem einheitlichen, dauerhaften Profil zusammenführt, das Marketing, Vertrieb und Service nutzen können.Vollständige Definition ansehen →-Lektion beschrieben wird. Ist das Stitching falsch, ist das Modell präzise in Bezug auf die falsche Person, und der Fehler ist in jeder Offline-Metrik, die Sie anschauen werden, unsichtbar.

Ein Grenzfall, der Teams spät erwischt: ein Feature kann prädiktiv und unbrauchbar sein. Aus Postleitzahlen abgeleitete Wohlstandsindikatoren, Gesundheitsinferenzen, alles, was ein geschütztes Merkmal rekonstruiert. Holen Sie die Rechtsabteilung schon beim Design in die Feature-Liste, nicht erst im Launch-Review.

Zentrales teilkonzept 3: die activation-brbrDer Anteil der Besucher, die nach nur einer angesehenen Seite wieder abspringen, häufig ein Signal für mangelnde Relevanz, verfehlte Suchintention oder schwache User Experience.Vollständige Definition ansehen →ücke

Ein Score, der in einem Dashboard landet, hat einen Report erzeugt. Die Brücke ist der automatisierte Pfad vom Modell-Output in das System, in dem die Entscheidung ausgeführt wird: der Offer-Layer, der Bidder, die CRM-Queue, die App.

Starbucks hat Deep Brew ab 2019 unter Kevin Johnson genau als Activation-Layer gebaut, nicht als Analytics-Layer. Die Angebotsauswahl für Loyalty-Mitglieder läuft darüber und in die App, und dieselbe Plattform reicht in den Store-Betrieb hinein, etwa Personaleinsatzplanung und Bestandsführung. Das Loyalty-Programm macht es möglich: Rewards-Mitglieder stehen für über die Hälfte des US-Umsatzes der eigenbetriebenen Filialen, es gibt also einen bekannten Kunden, einen bekannten Moment und einen Kanal, der eine Entscheidung pro Mitglied in Millisekunden ausführen kann.

Vier Engineering-Fragen, die der Pilot meist vergisst, und die alle Sie stellen müssen:

• Wie hoch ist das Latenzbudget, und was zeigt die App, wenn der Score zu spät kommt?
• Was ist der Fallback, wenn der Score fehlt oder veraltet ist? Ein benanntes Standardangebot ist besser als ein leeres Modul.
• Wer darf übersteuern, und wird das Übersteuern als Trainingsdatum protokolliert?
• Sitzen Frequency Caps vor oder hinter dem Modell? Caps dahinter zerstören Ihre Messung stillschweigend, weil die Treatment-Gruppe das Treatment nicht erhalten hat.

Zentrales teilkonzept 4: uplift ehrlich messen

Randomisieren Sie ein Holdout auf Kundenebene, bestimmen Sie die Größe vor dem Launch und behalten Sie es über die gesamte Laufzeit des Programms.

Bemessen Sie es mit der Standardapproximation: Probanden pro Arm sind etwa 16 × p × (1 - p) ÷ d², wobei p Ihre Baseline-Rate ist und d die absolute Differenz, die Sie bei 80 % Power erkennen wollen. Bei einer Conversion-Baseline von 5 % braucht das Erkennen eines relativen Lifts von 10 % (0,5 Prozentpunkte) etwa 30.000 pro Arm. Das Erkennen eines relativen Lifts von 2 % braucht rund 760.000 pro Arm. Wenn Ihre monatlich adressierbare Zielgruppe 200.000 umfasst, können Sie einen 2-%-Effekt nicht sehen, also sollte niemand einen prognostizieren.

Ranken Sie nach Uplift, nicht nach Propensity. Die Kunden mit dem höchsten Score sind häufig genau die, die auch ohne jeden Kontakt konvertiert hätten, Ausgaben für sie erzeugen also beeindruckende Response-Raten und keinen inkrementellen Umsatz. Es gibt vier Gruppen: die Sicheren, die Überzeugbaren, die verlorenen Fälle und eine Do-not-disturb-Gruppe, bei der Kontakt die Conversion aktiv senkt, der Klassiker ist die Win-back-E-Mail, die einen inaktiven Abonnenten daran erinnert, dass ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → immer noch zahlt. Lesen Sie treated minus control innerhalb jeder Score-Dezile. Die Gesamt-Response-Rate der Treatment-Gruppe ist kein Ergebnis.

Zwei Regeln zum Timing. Lesen Sie ab Woche acht, denn der Neuheitseffekt bläht den ersten Monat auf. Und fahren Sie Champion-Challenger mit vorab festgelegter Metrik und Entscheidungsdatum, sonst bleibt der Challenger live, bis jemand eine Woche findet, in der er gewonnen hat.

Fälle aus der praxis

FALL 1: Starbucks und die Angebotsentscheidung

Die Entscheidung, die Deep Brew modelliert, ist eng: welches Angebot einem identifizierten Mitglied in einem bestimmten Moment gezeigt wird. Sie besteht den Filter sauber. Millionen Entscheidungen pro Tag, Handlung pro Mitglied über einen eigenen Kanal, Einlösung innerhalb von Tagen sichtbar, und die Kosten eines falschen Angebots sind ein verschwendeter Incentive. Die Folge zweiter Ordnung verdient mehr Aufmerksamkeit als das Modell: personalisierte Rabatte lehren Mitglieder, auf das Angebot zu warten. Verfolgen Sie Marge pro Mitglied pro Quartal neben der Einlösungsrate, sonst optimieren Sie sich in einen billigeren Warenkorb hinein.

FALL 2: Salesforce Einstein Scoring und der Grund, warum Reps Scores ignorieren

Salesforce verkauft diese Kategorie, lesen Sie die genannten Voraussetzungen also als Produktdesign, nicht als neutrale Beratung. Einstein Lead Scoring zeigt die wichtigsten Faktoren, die einen Score nach oben oder unten treiben, nicht nur die Zahl. Das existiert, weil das wiederkehrende Scheitern von Scoring-Deployments nicht die Genauigkeit ist, sondern die Nichtnutzung: eine nackte Zahl in einem CRM-Feld wird von der Person ignoriert, deren Provision von ihrem eigenen Urteil abhängt. Budgetieren Sie den Erklärungs-Layer und das Rep-Training in derselben Position wie das Modell.

FALL 3: das kontaminierte Holdout, ein Muster, dem Sie begegnen werden

Ein Team startet mit einem sauberen 10-%-Holdout. Quartal zwei: das CRM-Team fährt eine unabhängige Kampagne über die gesamte Basis, inklusive Holdout. Quartal drei: jemand verkleinert das Holdout auf 2 %, um mehr Umsatz mitzunehmen. Quartal vier: Finance fragt, was das Programm gebracht hat, und die einzige verfügbare Antwort ist ein Jahresvergleich, kontaminiert von Preisänderungen, Saisonalität und einer Media-Verschiebung. Das Modell hat vielleicht sehr gut funktioniert. Es ist jetzt unbeweisbar, und das ist in einer Budgetrunde dasselbe wie nicht funktioniert.

Action items für den CMO

• Wenden Sie den Vier-Test-Filter auf jeden Vorschlag in der Präsentation an und verlangen Sie einen Satz, der die Handlung benennt, die sich ändert. Wenn niemand diesen Satz schreiben kann, startet das Projekt nicht.
• Verlangen Sie das Readiness-Memo, bevor Sie Budget freigeben: Zählungen der seltenen Klasse, Null-Raten zum Serving-Zeitpunkt, die Leakage-Prüfung und die Bestätigung, dass jedes Feature im Moment des Scorings existiert.
• Legen Sie das Messdesign vor dem Launch schriftlich fest: Holdout-Größe aus der obigen Rechnung abgeleitet, ein benannter Owner, ein Ablesedatum in Woche acht oder später, und die Regel, dass jede Verkleinerung des Holdouts Ihnen zur Genehmigung vorgelegt wird.
• Setzen Sie eine einzelne Person, nicht ein Team, auf Modell-Degradation, mit monatlichem Drift-Review und geplantem Retraining.

Häufige fehler, die ergebnisse zerstören

• Das Modell optimieren statt die Marge. Den AUC (ein technisches MaMaEinsatz von Software, um wiederkehrende Marketingaufgaben und Kampagnen zu automatisieren und Personalisierung in großem Maßstab über Kanäle wie E-Mail, Web und Social zu ermöglichen.Vollständige Definition ansehen →ß für die Qualität des Rankings) von 0,78 auf 0,82 zu bewegen, während die Pipeline flach bleibt, heißt: der Output erreicht keine Entscheidung, oder er erreicht Menschen, die sowieso gekauft hätten.
• Die Response-Rate der Treatment-Gruppe als Ergebnis berichten. Ohne Kontrollzelle sagt diese Zahl, wie gut das Targeting Käufer gefunden hat, nicht wie viele Käufer das Targeting erzeugt hat.
• Auf Daten pilotieren, die die skalierte Version nie haben wird. Handverlesene Extrakte, eine manuell zusammengeführte Kundenliste, ein Analyst, der freitags IDs abgleicht. Der Pilot funktioniert, die Produktion nicht, und die Diagnose kommt Monate später.
• Es als Projekt finanzieren. Modelle verfallen, wenn sich Verhalten und Produktmix verschieben. Ohne Wartungsbudget und Refresh-Plan kaufen Sie ein gutes Quartal und einen langsamen Abstieg, den alle dem Markt zuschreiben.