A/B-Testing & Statistik: Grundlagen & Kernkonzepte

Teilen Sie einen Verteiler in zwei Hälften und schicken Sie beiden Hälften dieselbe E-Mail. Die beiden Öffnungsraten werden sich unterscheiden. Sie unterscheiden sich immer. Diese Lücke ist Rauschen, und deshalb braucht Experimentieren ein Vokabular statt einer Diskussion.

Das Experimentation-Team von Microsoft, das seit weit über einem Jahrzehnt kontrollierte Tests über Bing und Office hinweg durchführt, berichtet, dass nur etwa ein Drittel der Ideen, die es bis in einen Test schaffen, die Metrik verbessern, für die sie gebaut wurden. Manche bewirken nichts. Manche verschlechtern die Lage. Nimmt man das ernst, folgt eine unbequeme Schlussfolgerung: Wenn die meisten Ideen scheitern, dann sind die meisten gefeierten „Wins“ aus zu früh gestoppten oder auf dünnem Traffic laufenden Tests schlicht Zufall mit einem grünen Pfeil daneben. Die Begriffe dieser Lektion (Hypothese, Randomisierungseinheit, Signifikanz, Power, Stichprobengröße) existieren, um beides auseinanderzuhalten.

Was a/b-testing tatsächlich ist

Ein A/B-Test, auch Split-Test oder online kontrolliertes Experiment genannt, teilt Ihr Publikum zufällig in zwei Gruppen. Gruppe A sieht die aktuelle Version (die Kontrolle). Gruppe B sieht die geänderte Version (die Variante). Beide laufen gleichzeitig, auf demselben Traffic-Mix, und Sie vergleichen ein vorab festgelegtes Ergebnis.

Die zufällige Zuordnung ist das, was den Vergleich legitim macht. Weil die Aufteilung zufällig ist, unterscheiden sich die Gruppen nur durch Zufall und durch die von Ihnen vorgenommene Änderung, sodass eine Differenz, die größer ist als der Zufall, der Änderung zugeschrieben werden kann. Vergleichen Sie stattdessen diese Woche mit der letzten, erhalten Sie eine Vorher/Nachher-Geschichte, verunreinigt durch Wetter, Zahltag, die Promotion eines Wettbewerbers und Ihre eigenen Mediaausgaben.

Die Randomisierungseinheit ist das, was Sie aufteilen. Meist der Besucher (ein Cookie oder eine eingeloggte ID), manchmal die Session, gelegentlich eine Stadt oder eine Filiale. Teilen Sie nach Besucher auf, sieht jemand, der viermal zurückkommt, immer dieselbe Version, und genau das wollen Sie, wenn die Änderung beeinflusst, wie Menschen eine Marke beurteilen. Teilen Sie nach Session auf, kann dieselbe Person beide Versionen sehen, was den Vergleich verfälscht und den Kunden verwirrt. Die Einheit muss außerdem zur Metrik passen: Umsatz pro Besucher braucht eine Randomisierung auf Besucherebene.

Vier statistische Ideen tragen den Rest.

Die Nullhypothese ist Ihre Ausgangsannahme: Es gibt keinen Unterschied zwischen Kontrolle und Variante. Ein Test beweist nie, dass die Variante besser ist. Er sammelt genug Evidenz, um „kein Unterschied“ unplausibel zu machen.

Statistische Signifikanz ist dort, wo Sie die Latte für „unplausibel“ setzen. Die Konvention liegt bei 95 %, und ihre Bedeutung ist eng: Wäre die Nullhypothese wahr, würden nur 5 % der Tests wie Ihrer einen Unterschied dieser Größe zeigen.

Der p-Wert ist das, was Sie gegen diese Latte halten. ErErDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → ist die Wahrscheinlichkeit, ein mindestens so extremes Ergebnis zu sehen, wenn es tatsächlich keinen Unterschied gäbe. Unter 0,05 gilt das Ergebnis als signifikant. Er ist nicht die Wahrscheinlichkeit, dass Ihre Variante funktioniert, und diese Verwechslung ist der Ursprung der meisten Fehlinterpretationen.

Power ist die Idee, die Marketer überspringen, und dieses Überspringen ist der Grund, warum ihre Ergebnisse verrauscht sind. Power ist die Chance, dass Ihr Test einen realen Effekt einer bestimmten Größe erkennt. 80 % sind das übliche Ziel. Ein Test mit 30 % Power wird die meisten echten Verbesserungen verfehlen, und die wenigen „Wins“, die er meldet, kommen überhöht oder mit falschem Vorzeichen zurück.

Wichtige unterkonzepte, die jeder CMO beherrschen muss

Stichprobengröße: die am meisten missbrauchte Zahl im Marketing-Experimentieren. Sie ist keine Laufzeit, die Sie wählen, sie ist ein Ergebnis. Geben Sie einem Rechner (der von Evan Miller ist kostenlos unter evanmiller.org) Ihre Baseline-Conversion-Rate, den Effekt, den Sie erkennen wollen, Ihr Signifikanzniveau und Ihre Power, und er liefert die benötigten Besucher pro Variante. Wenn die Antwort 400.000 pro Seite lautet und Sie 20.000 im Monat bekommen, haben Sie etwas Nützliches gelernt: Dieser Test lässt sich hier nicht durchführen, und Sie sollten etwas mit größerem erwartetem Effekt testen.

Minimum Detectable Effect (MDE): die kleinste Verbesserung, auf die Sie reagieren würden. Eine Bewegung von 3,2 % auf 3,4 % zu erkennen verlangt eine enorme Stichprobe. Zu entscheiden, dass Sie sich nur für relative Lifts von 10 % oder mehr interessieren, senkt die Anforderung deutlich. Setzen Sie den MDE zuerst. Ihn nach Sichtung der Daten zu wählen, ist der Weg, auf dem Teams sich ein Ergebnis einreden.

Novelty- und Primacy-Effekte: Stammnutzer reagieren auf eine Änderung, weil sie neu ist, nicht weil sie besser ist. Frühe Zahlen bewegen sich, dann verblassen sie. Trennen Sie die Ergebnisse nach neuen und wiederkehrenden Besuchern. Wenn der Lift in Woche eins nur bei wiederkehrenden Nutzern auftritt, messen Sie Überraschung.

Segmente: Eine Änderung kann auf Mobile gewinnen und auf Desktop verlieren. Zalando, das in mehr als 20 europäischen Märkten verkauft, steht damit ständig vor dieser Frage, denn eine Checkout-Änderung kann sich je nach Land, Gerät und danach, ob der Besucher während eines Sales kam, unterschiedlich verhalten. Schneiden Sie Ihre Ergebnisse nach den zwei oder drei relevanten Segmenten, bevor Sie überall ausrollen, aber behandeln Sie jeden zusätzlichen Schnitt als weiteren Vergleich, nicht als weitere Entdeckung.

Echte unternehmensbeispiele mit echten zahlen

Microsoft Bing, 2012. Ein Entwickler schlug eine Änderung daran vor, wie Anzeigenüberschriften dargestellt werden. Sie lag monatelang im Backlog, weil niemand glaubte, dass sie etwas bringt. Als sie lief, stieg der Umsatz pro Suche in den USA um rund 12 %, mehr als 100 Millionen Dollar pro Jahr wert, und die erste Reaktion des Teams war der Verdacht auf einen Tracking-Fehler. Zwei Lehren: Intuition kann Ideen nicht priorisieren, und ein extremes Ergebnis verdient erst eine Prüfung des Messaufbaus, dann eine Feier.

Netflix hat Engineering-Beiträge zum Testen von Artwork veröffentlicht, die zeigen, dass das Bild, das einen Titel repräsentiert, beeinflusst, wie oft Mitglieder ihn abspielen. Dasselbe Unternehmen steckt auch ernsthafte Arbeit in die Statistik hinter diesen Auswertungen, einschließlich sequenzieller Testverfahren, die eine kontinuierliche Beobachtung der Ergebnisse erlauben, ohne die Aufblähung falsch positiver Ergebnisse, die beiläufiges Hineinschauen verursacht. Das ist das Kennzeichen eines reifen Programms: die Methode bekommt so viel Aufmerksamkeit wie die Idee.

Zalando hat seine eigene Experimentierplattform gebaut, statt eine zu kaufen, und die Engineers haben die Mechanik öffentlich beschrieben: einen Besucher über Besuche hinweg konsistent einer Variante zuzuordnen und Metriken auf derselben Einheit zu berechnen, die für die Aufteilung verwendet wurde. Unglamouröse Arbeit, und genau sie verhindert, dass ein Modehändler einen zweiwöchigen Test, der eine Sale-Periode überlappt, als dauerhaften Effekt liest.

Cmo-massnahmen

• Bestehen Sie darauf, dass jeder Test als ein geschriebener Satz ankommt: Weil [Evidenz], erwarten wir, dass [Änderung] [primäre Metrik] um mindestens [MDE] bewegt, gemessen auf [Randomisierungseinheit]. Eine Anfrage, die diese Klammern nicht füllen kann, ist eine Präferenz, keine Hypothese.

• Registrieren Sie die Zahlen vor dem Start: Baseline-Rate, MDE, Signifikanzniveau, Power, die daraus folgende Stichprobengröße pro Variante, das Enddatum und genau eine primäre Metrik. Sekundäre Metriken dienen der Diagnose, nie der Bestimmung des Gewinners.

• Fragen Sie Ihr Tool, was es tatsächlich berechnet. Google Optimize wurde im September 2023 eingestellt, also sitzen die meisten Teams inzwischen auf Optimizely, VWO (beides Anbieter, die Testing-Software verkaufen, lesen Sie deren Benchmarks entsprechend), GA4-Experimenten oder etwas Eigenentwickeltem. Finden Sie heraus, ob Ihres eine feste Stichprobengröße annimmt oder sequenzielle Analyse unterstützt, denn diese eine Antwort entscheidet, ob tägliches Nachschauen unbedenklich ist.

• Rechnen Sie Ihren MDE in Geld um, bevor Sie irgendetwas starten. Ein Lift von 10 % auf einer Seite, die 300 Menschen im Monat sehen, ist keinen Engineering-Sprint wert.

Häufige fehler, die ergebnisse zerstören

Peeking und zu frühes Stoppen. Täglich zu prüfen und in dem Moment zu stoppen, in dem das Dashboard grün wird, beschleunigt kein Lernen, es produziert falsch positive Ergebnisse: Forschung von Ramesh Johari und Kollegen in Stanford zur kontinuierlichen Beobachtung zeigte, dass die wahre Fehlerrate deutlich über die nominellen 5 % steigt, wenn Tests wiederholt mit Fixed-Horizon-Mathematik gelesen werden. Sie haben sich auf eine Stichprobengröße geeinigt. Halten Sie sie ein, oder wechseln Sie zu einer Methode, die für kontinuierliches Lesen gebaut ist.

Viele Dinge gleichzeitig testen und es einen A/B-Test nennen. Ändern Sie Headline, Hero-Bild und Button zusammen, kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie nicht sagen, welches davon gewirkt hat oder ob ein Gewinn einen Verlust verdeckt hat. Testen Sie eine Variable, oder nutzen Sie ein multivariates Design, das jeden Beitrag isoliert. Optimizely und VWO unterstützen beides. Dieselbe Arithmetik gilt für Metriken und Segmente: prüfen Sie 20 Vergleiche bei 95 %, und etwa einer wird allein durch Zufall signifikant aussehen.

Statistische Signifikanz mit betriebswirtschaftlicher Relevanz verwechseln. Ein Lift von 0,3 % in der Click-Through-Rate mit einem p-Wert von 0,03 ist real und kann trotzdem wertlos sein, wenn der Rollout 50.000 Dollar Engineering-Zeit kostet. Übersetzen Sie jedes Ergebnis in prognostizierten Umsatz oder Kosten, bevor Sie über den Rollout entscheiden.

Wichtigste erkenntnisse

• Ein A/B-Test vergleicht eine Kontrolle und eine Variante auf zufällig zugeordnetem, gleichzeitigem Traffic, beurteilt anhand eines vorab benannten Ergebnisses.
• Wählen Sie die Randomisierungseinheit bewusst (meist der Besucher) und passen Sie Ihre Metrik daran an.
• Signifikanz sagt Ihnen, wie überraschend Ihr Ergebnis wäre, wenn nichts passierte; Power sagt Ihnen, ob Ihr Test den Effekt überhaupt hätte finden können. Unterpowerte Tests sind die Hauptquelle falscher Wins.
• Stichprobengröße und MDE sind Eingaben, die Sie vor dem Start berechnen, keine Laufzeiten, die Sie hinterher wählen.
• Rund ein Drittel der getesteten Ideen bei Microsoft verbesserte die Zielmetrik, rechnen Sie also damit, dass die meisten Ihrer Hypothesen scheitern, und gestalten Sie Tests, die diese Wahrheit aushalten.