CMO-Playbook & fortgeschrittene Taktiken für Marketing Mix Modeling

Zwei Zahlen für dasselbe Quartal und dieselbe Kampagne. Das Dashboard von Meta schreibt ihr etwa dreimal so viele Conversions zu wie Ihr Mix-Modell. Keine der beiden Zahlen ist ein Fehler; sie beantworten unterschiedliche Fragen auf Basis unterschiedlicher Daten. Eine davon wird das Budget des nächsten Jahres bestimmen, und diese Entscheidung landet auf Ihrem Schreibtisch, nicht auf dem Ihres Analysten.

Modellgestützte Budgetierung an der Spitze ist ein Anspruch auf Geld, weshalb jeder Channel Owner, dessen Zahl gekürzt wird, sie angreifen wird. Wenn Finance dem Modell nicht glaubt, ändert es nichts. Der Plan fällt zurück auf Vorjahr plus Inflation, und die Rechnung für das Modelling wird zu einer Position, die Sie zweimal verteidigen.

DIE ENTSCHEIDUNG, DIE SIE NICHT DELEGIEREN KKThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ÖNNEN

Ein Plattform-Report sieht nur seine eigenen Touchpoints, innerhalb seines eigenen Attributionsfensters (Metas Standard sind 7 Tage Click und 1 Tag View), und ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → hat keinen Blick auf Ihren Preis, Ihre Distribution oder die Nachfrage, die ohnehin gekommen wäre. Das Modell funktioniert umgekehrt: Channel-Spend ist ein Regressor neben Preis, Saisonalität und Wettbewerbsdruck, wie in der Grundlagenlektion dargelegt, es sieht also nur, was auf aggregierter Ebene tatsächlich variiert. Wenn Sie in jeder der letzten 150 Wochen innerhalb einer engen Bandbreite ausgegeben haben, hat das Modell nichts, woraus es lernen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnte, und liefert Ihnen einen Koeffizienten mit einem Intervall, durch das ein Lkw passt.

Die praktische Aufteilung:

• Plattformdaten für Entscheidungen innerhalb eines Channels: Creative, Audience, Bid, Placement. Nichts anderes hat diese Granularität oder diese Aktualisierungsfrequenz.
• Das Modell für Geld über Channels hinweg: wie viel nächstes Jahr in Search, TV oder Retail Media geht.
• Wenn die beiden bei demselben Channel um mehr als etwa den Faktor 2 auseinanderliegen, behandeln Sie das als offene Frage, statt zu mitteln. Die Differenz zu halbieren ist der Weg, um in einer Richtung falsch zu liegen, für die niemand verantwortlich ist.

Die härteste Variante dieser Entscheidung sind Branded Search und Retail Media, wo die Plattform Conversions zählt, die ohne Kosten über einen organischen Link zustande gekommen wären. Diese beiden Positionen sind der Ort, an dem modellgestützte Budgetierung meist ihre ersten achtstelligen Beträge findet.

DAS MODELL MIT GEO-EXPERIMENTEN KALIBRIEREN

Ein nicht falsifiziertes Modell ist eine Meinung mit angehängtem Regressions-Output. Geo-Experimente sind der günstigste Weg, es zu falsifizieren: Spend in einem gematchten Set von Märkten für sechs bis zehn Wochen aussetzen, die Absatzlücke messen und dann prüfen, ob der Koeffizient des Modells für diesen Channel die beobachtete Lücke vorhergesagt hat. Wenn nicht, ist das Modell falsch, und Sie wissen jetzt, um wie viel und in welche Richtung. Moderne Implementierungen speisen das Testergebnis als Prior zurück, sodass der nächste Refresh an etwas verankert ist, das Sie gemessen haben, und nicht an etwas, das Sie gefittet haben.

Zwei Dinge muss ein CMO in diesem Prozess schützen. Erstens die Größe der Störung: Eine Spend-Änderung von 10 % in vier Märkten kann in der Regel nichts unterhalb eines zweistelligen Lifts nachweisen, also kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ürzen Sie in den Testzellen hart oder Sie akzeptieren ein nicht eindeutiges Ergebnis und hören auf, etwas anderes zu behaupten. Zweitens Kontamination: nationales TV, nationale Preispromotions und Entscheidungen von Händlern halten sich nicht an Ihre Testgeografie, und ein Wettbewerber, der in Ihren Kontrollmärkten launcht, kann das Ergebnis umkehren. Lesen Sie den Test mit dem kommerziellen Kalender vor sich.

Budgetieren Sie Kalibrierung als laufenden Kostenblock, etwa ein Experiment pro großem Channel pro Jahr. Rotieren Sie den getesteten Channel. Die Channels, die nie getestet werden, sind genau die, an die Ihre Organisation von vornherein zu glauben entschieden hat.

DAS MODELL, DEM NIEMAND IN FINANCE GLAUBT

Das ist der dominante Failure Mode, und ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → ist organisatorisch, nicht statistisch. Die Symptome sind gut erkennbar, lange bevor das Modell stirbt:

• Contribution-Zahlen, die nicht mit der P&L abgestimmt werden kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, weil das Modell auf Brutto-Mediakosten aufgebaut wurde, während Finance netto nach Agenturrabatten bucht.
• Koeffizienten, die zwischen zwei Refreshes das Vorzeichen wechseln, ohne eine Erklärung außererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → "die Daten wurden aktualisiert".
• Punktschätzungen, bei denen die Intervalle der Lesbarkeit zum Opfer gefallen sind. Finance erfährt es später, meist in dem Meeting, in dem Sie die Umverteilung beantragen.
• Ein Anbieter, der ein Waterfall-Chart zeigt, aber die Elastizitätstabelle oder die Modellspezifikation nicht herausgibt.

Die Folge zweiter Ordnung ist schlimmer als die vergeudeten Honorare. Sobald ein Führungsteam lernt, dass ein Mix-Modell so lange neu spezifiziert werden kann, bis es dem Plan zustimmt, wird der nächste Anbieter nach Gefälligkeit ausgewählt, und das Modell wird zum Ratifizierungsinstrument für längst getroffene Entscheidungen. Diesen Ruf umzukehren, dauert zwei oder drei Planungszyklen.

Die Verteidigung ist langweilig und sie funktioniert: Stimmen Sie die Base Sales des Modells mit der tatsächlichen P&L-Position ab, bevor irgendwer ein Channel-Ergebnis sieht, veröffentlichen Sie das Intervall neben jeder Zahl, und schlagen Sie niemals eine Umverteilung vor, die kleiner ist als die Unsicherheit des Modells selbst. Wenn das Intervall für den ROIROIReturn on Investment: the ratio of net profit to the cost of an investment. A 300% ROI means each dollar invested returns $3.Vollständige Definition ansehen → von Paid Social von 1,1x bis 2,4x reicht, kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Sie auf dieser Basis keine Verschiebung von 5 % rechtfertigen. Sie kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen einen Test rechtfertigen.

WEM DIE ZAHL GEHÖRT

Unabhängigkeit ist eine strukturelle Entscheidung, keine Vorliebe. Die Mediaagentur, die das Inventar einkauft, sollte nicht das Modell bauen, das es bewertet. Dieselbe Logik gilt für die Plattformen: Meta veröffentlicht und pflegt Open-Source-Tooling sowohl für Mix Modeling als auch für Geo-Testing, was tatsächlich nützlich ist, und Meta verkauft zugleich die Werbung, die diese Tools bewerten. Nutzen Sie den Code, behalten Sie Spezifikation und Testdesign in Ihrer Kontrolle.

Derselbe Vorbehalt gilt in die andere Richtung. Brand-Tracking-Anbieter wie Kantar verkaufen sowohl die Tracking-Serie als auch Modelling-Leistungen; wenn Sie beides von einem Lieferanten kaufen, fragen Sie, wer wessen Arbeit prüft. Die Tracking-Serie selbst ist es wert, im Modell zu sein: Eine sich langsam bewegende Brand-Equity-Variable gibt der Regression etwas, dem sie die persistente Hälfte des Effekts zuschreiben kann, statt ihn in einer unerklärten Baseline zu parken, die jedes Jahr wächst.

Praktisch: Benennen Sie einen internen Owner (Analytics oder Finance, nicht das Media-Team), geben Sie ihm die Anbieterbeziehung, und legen Sie den Modell-Refresh auf denselben Kalender wie den Budget Lock und nicht vier Wochen danach.

FÄLLE AUS DER PRAXIS

Fall 1: eBay. Blake, Nosko und Tadelis haben gemeinsam mit dem eigenen Economics-Team von eBay ein groß angelegtes Feldexperiment durchgeführt, das Paid-Search-Werbung in einer Reihe von US-Märkten abgeschaltet hat, und die Ergebnisse 2015 in Econometrica veröffentlicht. Anzeigen auf Branded Keywords brachten nahezu nichts, weil der Traffic ohne Kosten über organische Links zurückkam, und die messbaren Returns auf nicht-branded Terms konzentrierten sich auf Nutzer mit seltener Nutzung. Die Plattform-Reports hatten die ganze Zeit einen gesunden Return gezeigt. Jeder dieser Klicks war real; die inkrementellen Verkäufe waren es größtenteils nicht. Das ist das schärfste verfügbare Argument dafür, warum ein experimentell kalibriertes Modell einer vom Channel gemeldeten Zahl vorgeht, wenn das Geld verschoben wird.

Fall 2: Meta. Meta hat Robyn als Open Source veröffentlicht, eine Mix-Modelling-Codebasis, die Ergebnisse von Lift-Tests als Kalibrierungs-Input aufnimmt, sowie GeoLift für das Design der Geo-Experimente, die diese Ergebnisse erzeugen. Dass eine Plattform, die Media verkauft, die Maschinerie zur Messung ihrer eigenen Inkrementalität veröffentlicht, zeigt, wie umstritten diese Entscheidung geworden ist. Übernehmen Sie das Design-Muster (experimentieren, dann das Modell einschränken, dann allokieren) und halten Sie den Schiedsrichter außerhalb des Verkäufers.

ACTION ITEMS FÜR DEN CMO

• Stimmen Sie die Base Sales des Modells mit der Finance-P&L ab, bevor irgendein Channel-Ergebnis zirkuliert, und einigen Sie sich mit Ihrem CFO schriftlich darauf, welche Kostenbasis (brutto oder netto) das Modell verwendet.
• Nehmen Sie ein Geo-Experiment pro großem Channel pro Jahr in den Plan auf und verpflichten Sie sich vorab, nach dem Ergebnis zu handeln, auch in dem Fall, in dem es einem Channel widerspricht, den Sie öffentlich verteidigt haben.
• Veröffentlichen Sie Konfidenzintervalle bei jeder Umverteilungsempfehlung und setzen Sie eine Untergrenze: keine Verschiebung, die kleiner ist als das Intervall.
• Variieren Sie den Spend bewusst in mindestens einigen Märkten pro Jahr. Ein vollkommen glatter Plan entzieht dem nächsten Modell die Variation, die es braucht, um überhaupt etwas zu lesen.

HÄUFIGE FEHLER, DIE ERGEBNISSE ZERSTÖREN

Fehler 1: Die Agentur, die Ihre Media einkauft, auch Ihr Modell bauen lassen. Der Anreiz besteht darin, die eigenen Channels als leistungsstark darzustellen. Kaufen Sie das Modell bei einem unabhängigen Measurement-Anbieter und geben Sie ihm saubere First-Party-Daten direkt.

Fehler 2: Das Modell neu bauen, wenn die Antwort unerwünscht ist. Wenn sich die Spezifikation ändert, weil ein Ergebnis politisch unangenehm war, haben Sie das Standing des Modells bei Finance dauerhaft zerstört, und Sie bekommen es innerhalb dieses Planungszyklus nicht zurück.

Fehler 3: Das Modell als Jahresbericht statt als Entscheidungsinstrument behandeln. Wenn die Ergebnisse nach dem Budget Lock eintreffen, werden sie zum Kommentar. Legen Sie den Refresh so, dass die Ergebnisse mit genug Zeit ankommen, um darüber zu streiten.

Fehler 4: Auf die Punktschätzung des Modells hin optimieren. Einen Channel auf exakt den Spend zu kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ürzen, den die Kurve bevorzugt, ist eine Präzision, die die Daten nicht tragen; bewegen Sie sich in Schritten, die Sie messen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, und testen Sie erneut.