A/B Testing
Auch: Split Testing, A/B Test, Online Controlled Experiment
A/B Testing ist ein kontrolliertes Experiment, das zwei Versionen einer Sache (A und B) vergleicht, indem der Traffic zufällig aufgeteilt wird, um zu erfahren, welche Version bei einer gewählten Metrik besser abschneidet.
Was es ist
A/B Testing (auch Split Testing genannt) ist ein kontrolliertes Online-Experiment, bei dem zwei oder mehr Varianten zur gleichen Zeit zufällig zugewiesenen Nutzergruppen gezeigt werden. Eine Gruppe sieht die Kontrollversion (Version A, in der Regel das bestehende Erlebnis), die andere die Variante (Version B, die vorgeschlagene Änderung). Indem Sie eine vorab definierte Metrik zwischen den Gruppen vergleichen, können Sie Verhaltensunterschiede der Änderung selbst zuschreiben und nicht dem Zufall oder externen Faktoren.
Entscheidend ist die zufällige Zuweisung. Weil die Nutzer zufällig aufgeteilt werden, sind die beiden Gruppen in jeder anderen Hinsicht statistisch vergleichbar, sodass jeder relevante Unterschied im Ergebnis auf die Variante zurückgeführt werden kann.
Warum es zählt
- Kausaler Nachweis: Anders als Vorher/Nachher-Vergleiche isoliert A/B Testing Ursache und Wirkung und senkt das Risiko, auf Korrelationen oder saisonales Rauschen zu reagieren.
- Geringeres Risiko: Änderungen werden an einem Bruchteil des Traffics validiert, bevor sie vollständig ausgerollt werden.
- Gemeinsame Sprache: Marketing-, Produkt- und Datenteams erhalten eine objektive Entscheidungsgrundlage statt Meinung oder Hierarchie.
- Kumulierte Gewinne: Eine konstante Folge kleiner validierter Erfolge übertrifft oft gelegentliche große Redesigns.
Wie es in der Praxis genutzt wird
1. Hypothese formulieren: Benennen Sie den erwarteten Effekt, zum Beispiel „Ein kürzeres Checkout-Formular erhöht die Abschlussrate.“
2. Primäre Metrik wählen: Legen Sie eine Entscheidungsmetrik fest (Conversion Rate, Umsatz pro Besucher, Click-through) plus Guardrail-Metriken.
3. Stichprobengröße berechnen: Nutzen Sie die Baseline-Rate, den minimal nachweisbaren Effekt und ein Signifikanzniveau, um die Laufzeit zu bestimmen.
4. Randomisieren und laufen lassen: Teilen Sie den Traffic, lassen Sie den Test bis zur geplanten Stichprobe laufen und brechen Sie nicht vorzeitig ab, nur weil die Ergebnisse gut aussehen.
5. Analysieren: Prüfen Sie statistische Signifikanz und Konfidenzintervall und entscheiden Sie dann, ob Sie ausrollen, iterieren oder verwerfen.
Konkretes Beispiel
Ein E-Commerce-CMO testet einen grünen „Jetzt kaufen“-Button (B) gegen den aktuellen blauen Button (A). Der Traffic wird 50/50 auf 40.000 Besucher aufgeteilt. Version A konvertiert bei 4,0 Prozent, Version B bei 4,6 Prozent. Bei einem p-Wert unter 0,05 schließt das Team, dass der Uplift wahrscheinlich nicht zufällig ist, und rollt den grünen Button für alle Nutzer aus.
Häufige Fehler
- Peeking, also das Betrachten der Ergebnisse und vorzeitige Abbrechen, erhöht die Zahl falsch positiver Ergebnisse.
- Zu viele Metriken erhöhen die Wahrscheinlichkeit eines scheinbaren „Gewinners“.
- Underpowered Tests, die zu kurz laufen, können reale Effekte nicht nachweisen.
Siehe auch
Häufige Fragen
Was ist A/B Testing?
A/B Testing, auch Split Testing genannt, ist ein kontrolliertes Online-Experiment, bei dem zwei oder mehr Versionen einer Seite, einer E-Mail oder eines Features gleichzeitig zufällig zugewiesenen Nutzergruppen gezeigt werden. Eine Gruppe sieht die Kontrollversion (Version A, das bestehende Erlebnis), die andere die Variante (Version B). Weil die Zuweisung zufällig erfolgt, sind die beiden Gruppen in jeder anderen Hinsicht vergleichbar, sodass ein Unterschied in der gewählten Metrik der Änderung selbst zugeschrieben werden kann.
Was ist der Unterschied zwischen einem A/B-Test und einem Vorher/Nachher-Vergleich?
Ein Vorher/Nachher-Vergleich misst dieselbe Zielgruppe zu zwei verschiedenen Zeitpunkten, sodass Saisonalität, ein Kampagnenstart oder ein Nachrichtenzyklus die Veränderung erklären können statt Ihrer Änderung. Ein A/B-Test lässt beide Versionen gleichzeitig auf zufällig geteiltem Traffic laufen, was diese externen Faktoren ausschließt. Deshalb liefert A/B Testing einen kausalen Nachweis, während ein Vorher/Nachher-Vergleich nur eine Korrelation zeigt.
Wer in einem Unternehmen nutzt A/B Testing tatsächlich?
Marketing-, Produkt- und Datenteams sowie die Führungskräfte, die zwischen ihnen entscheiden. Für einen CMO validiert es eine Landingpage, eine Preisdarstellung oder eine E-Mail-Subject-Line vor dem vollständigen Rollout; für einen Data Leader ist es die Standardmethode, um kausale Evidenz zu erzeugen. Der wichtigste organisatorische Nutzen liegt darin, diesen Teams eine objektive Entscheidungsgrundlage zu geben statt Meinung oder Dienstalter.
Wie entscheidet man, wie lange ein A/B-Test laufen soll?
Sie berechnen die erforderliche Stichprobengröße vor dem Start aus drei Eingaben: der Baseline-Conversion-Rate, dem minimal nachweisbaren Effekt, der für Sie relevant ist, und dem Signifikanzniveau. Der Test läuft dann, bis diese Stichprobe erreicht ist, unabhängig davon, wie die Zwischenergebnisse aussehen. Die Laufzeit im Nachhinein festzulegen, je nachdem wie sich die Kurven bewegen, macht aus einem Experiment eine Vermutung.
Warum ist es ein Problem, einen Test vorzeitig abzubrechen, wenn die Ergebnisse gut aussehen?
Weil das wiederholte Betrachten der Ergebnisse und der Abbruch im ersten günstigen Moment die Zahl falsch positiver Ergebnisse erhöht: Das nennt man Peeking. Metriken schwanken während eines Tests natürlich, sodass jede Variante irgendwann rein zufällig die Signifikanzschwelle überschreitet. Zwei verwandte Fehler haben denselben Effekt: zu viele Metriken zu verfolgen, was die Wahrscheinlichkeit eines scheinbaren Gewinners vervielfacht, und Underpowered Tests, die zu kurz laufen, um einen realen Effekt nachzuweisen.