+75 XP

Praxisanwendung von GRP, TRP & Offline-Metriken

Am 4. Februar 2010 stellte Old Spice einen 30-Sekunden-Spot online, und über das Super-Bowl-Wochenende lief Wieden+Kennedys „The Man Your Man Could Smell Like" im Network-Fernsehen, ohne In-Game-Buchung. Innerhalb einer Woche hatte P&G zwei Darstellungen dessen, was passiert war, und sie stimmten nicht überein. Die eine war die panelbasierte Audience Delivery von Nielsen. Die andere war ein Ausschlag bei Brand Search, YouTube-Views und Traffic auf den Old-Spice-Properties, den kein Panel gemessen hatte. Von zwei Darstellungen zu einem Urteil zu kommen, ist hier die eigentliche Arbeit, deshalb bleibt diese Lektion bei dieser einen Kampagne, statt fünf abzuklappern. Alles Folgende setzt die Currency selbst voraus: Impacts, GRP gegen TRP, reach und Frequenz wie in der Grundlagenlektion dargestellt, und die Planarithmetik, die die Frameworks-Lektion durchrechnet.

Schritt eins: Lesen Sie die Panel-Zahl genau als das, was sie ist. Nielsen berichtet nationale Ratings aus einer People-Meter-Stichprobe von rund 40.000 US-Haushalten, und Nielsen verkauft die Currency, die es messen lässt, Anbieter und Maßstab sind also dieselbe Organisation. Auf nationaler Ebene, bei einem Programm mit hoher Reichweite, verhält sich diese Stichprobe gut. Eine Ebene darunter tut sie das nicht mehr. Lokale Marktpanels umfassen einige Hundert bis wenige Tausend Haushalte, eine niedrige Rating-Zahl in einem mittelgroßen DMA kann also auf etwa einem Dutzend berichtender Haushalte beruhen, und zwei Dayparts, die Sie gegeneinander ranken wollen, haben oft vollständig überlappende Konfidenzintervalle. Bei Old Spice war die nationale Delivery belastbar. Jede Aussage Markt für Markt darüber, wo der Spot „funktioniert" hat, war Rauschen im Gewand einer Dezimalstelle. Und 2010 zählte das Panel ausschließlich lineares Sehen im Haushalt, während das zweite Leben der Kampagne, zig Millionen YouTube-Views in der ersten Woche und die 186 Antwortfilme im Juli, die den Markenkanal damals zum meistgesehenen der Plattform machten, komplett außerhalb der Currency lag. Behandeln Sie die Panel-Zahl als Untergrenze der Exposure, nicht als Gesamtwert.

Schritt zwei: Bauen Sie die Response-Seite auf Sendeprotokollen auf, nicht auf einem Monatsreport. Sender stellen As-Run-Affidavits aus, die die Sekunde angeben, in der jeder Spot geschaltet wurde. Verbinden Sie diese Zeitstempel mit minutengenauen Site-Sessions und dem Brand-Query-Volumen, modellieren Sie eine Baseline für diese Minute dieses Wochentags und zählen Sie den Überschuss. Zwei Dinge entscheiden über das Ergebnis, bevor irgendeine Analyse stattfindet. Erstens das Fenster. Veröffentlichte Arbeiten auf Spot-Ebene finden die Brand-Search-Response typischerweise innerhalb von einer bis zwei Minuten mit Spitze und nach zehn Minuten weitgehend abgeklungen, ein Dreiminutenfenster verliert also den Zuschauer, der beim nächsten Werbeblock sucht, während ein Dreißigminutenfenster jede andere Ursache auf der Welt mit importiert. Legen Sie das Fenster vorab fest und halten Sie es über den gesamten Flight konstant, sonst wählen Sie Ihr Ergebnis selbst. Zweitens die Baseline. Ein Kabelspot um 2 Uhr nachts produziert enormen prozentualen Lift auf trivialem absolutem Volumen, so werden schwache Dayparts in Agenturdecks hochgelobt. Das Super-Bowl-Wochenende ist das Spiegelbild: Der Baseline-Traffic ist in beide Richtungen anormal, das Kontrafaktische ist also der schwierige Teil und die Arithmetik trivial.

Der Join selbst ist häufiger ein Installationsproblem als ein Analytics-Problem. Sie brauchen eine Uhr und eine Identität über Web-Sessions, Search-Referrals, App-Öffnungen und Orders hinweg. Segment (ein Anbieter von Customer Data Platforms, lesen Sie deren Material entsprechend) hat auf diesem Problem ein Geschäft aufgebaut, denn die Alternative sind vier CSV-Exporte, die jeden Montag von Hand abgeglichen werden, was kein Team über Woche drei eines Flights hinaus durchhält.

Schritt drei: Benennen Sie die Störfaktoren, bevor irgendwer eine Zahl zitiert. Old Spice ist gerade deshalb ein nützlicher Fall, weil er kontaminiert war. Die Body-Wash-Linie wurde mit Distribution und In-Store-Display im Rücken relauncht, ein Buy-one-get-one-Coupon war im Markt, und die Antwortkampagne im Juli kam obendrauf auf das Broadcast-Gewicht vom Februar. P&Gs viel zitierte Zahlen, Umsatz plus 27 % über sechs Monate und plus 107 % im Monat nach den Antwortfilmen, zirkulierten als Behauptungen und nicht als geprüfte Auswertungen, und Branchenanalysten fragten damals, gegen welche Basisperiode die 107 % gemessen wurden, während scannergestützte Daten über Teile desselben Zeitraums schwächer aussahen als die Schlagzeile. Nichts davon sagt, dass die Kampagne gescheitert ist; das kulturelle Ergebnis war real und der Cannes Grand Prix folgte. Es sagt, dass eine unkontaminierte Kausalzahl nie verfügbar war und wer eine zitierte, mehr behauptete als die Evidenz trug.

Es gibt einen Effekt zweiter Ordnung, der Broadcast leise sein Budget kostet. Ein Zuschauer, der einen Spot sieht und die Marke in die Browserzeile tippt, kommt als Direct Traffic an. Ihr Analytics-Stack verbucht das unter Direct oder Organic, und der Kanalreport zeigt dann, dass TV fast nichts beiträgt, während „Organic" wächst. Es ist das Messartefakt, nicht das Medium, das im nächsten Planungsmeeting die Diskussion verliert. Response-Modellierung auf Spot-Ebene und Marketing Mix Modeling existieren beide, um das zu korrigieren, das eine in Minutenauflösung, das andere in Wochenauflösung über den gesamten Plan.

Marketing Mix Modeling Explained

Watch on YouTube

Schritt vier: Schreiben Sie das Urteil als Bandbreite mit Datum und angehängtem Test. Eine belastbare Zusammenführung bei einer Kampagne wie dieser liest sich so: Das Broadcast-Gewicht in Woche eins bis drei trieb eine inkrementelle Response zwischen X und Y, gemessen in einem festen Zehnminutenfenster nach dem Spot, bei gleichzeitig laufender Coupon-Aktion und Distributionsausweitung, nicht trennbar. Dann kommt eine falsifizierbare Prognose für den nächsten Flight hinzu. Der günstigste Weg dahin ist ein geografischer Holdout: Nehmen Sie das TV-Gewicht in einer Reihe gematchter Märkte heraus, lassen Sie alles andere identisch laufen und vergleichen Sie. Zehn bis fünfzehn Prozent Ihres GRP-Gewichts zurückzuhalten erkauft Ihnen eine saubere Auswertung, die keine nachträgliche Modellierung liefern wird.

CMO-Maßnahmen:

  • Verlangen Sie, dass As-Run-Affidavit-Daten an Ihr Analytics-Team geliefert werden, nicht nur an die Kreditorenbuchhaltung zur Rechnungsprüfung. Ohne exakte Sendezeiten gibt es überhaupt keine Response-Seite im Buch.
  • Legen Sie Response-Fenster und Baseline-Methode fest, bevor die Kampagne startet, und schreiben Sie beides in den Messplan, den die Agentur unterzeichnet. Nachträgliche Fensterwahl ist der häufigste Weg, einen mittelmäßigen Flight als starken zu berichten.
  • Bauen Sie in jeden Flight oberhalb von etwa 5 Millionen Dollar einen Geo-Holdout ein. Die entgangene reach in diesen Märkten ist der Preis dafür, zu wissen, was die anderen Märkte wirklich getan haben.
  • Fragen Sie, welche Störfaktoren während der Auswertung im Markt waren. Wenn niemand in der Runde die Promotions, Preisänderungen und Distributionsmaßnahmen aufzählen kann, die parallel zu den Spots liefen, ist die Zahl auf der Folie kein Urteil.

Häufige Fehler, die Ergebnisse zerstören:

  • Lokale Panel-Ratings vergleichen, als wären sie präzise. Auf DMA-Ebene liegen kleine Unterschiede innerhalb des Stichprobenfehlers, und einen Plan darauf neu zu bauen ist teurer Aberglaube.
  • Einen Lift-Prozentwert zitieren, ohne die absolute Basis darunter. 400 Besuche zu verdoppeln und 40.000 Besuche hinzuzugewinnen sehen in einer Prozentspalte identisch aus und sind nicht dasselbe Ereignis.
  • Das Digital-Dashboard über Broadcast urteilen lassen. Direct- und Branded-Search-Traffic ist der Ort, an dem TV-Response falsch verbucht wird, und ein Kanalreport auf Last-Click-Basis wird immer die Antwort zeigen, für die sein Attributionsmodell gebaut wurde.
  • Eine einzelne Kausalzahl berichten, obwohl das Fenster kontaminiert war. Die 107 % von Old Spice sind das Standardbeispiel: ein reales Ergebnis, eine reale Kampagne und eine Zahl, die das Gewicht, das ihr aufgeladen wurde, nie tragen konnte.

Ressourcen

Was Sie aus dieser Lektion umsetzen

Diese Maßnahmen sind im Playbook der Rolle zusammengefasst.

  • Unabhängiges MMM auf Basis von mindestens drei Jahren Daten in Auftrag geben, validiert durch Incrementality-Tests
Vollständiges Action Playbook ansehen →