Experimentation at scale: A/B-Testing, Kausalität & Plattformen

Experimentation ist die wissenschaftliche Methode, angewandt aufs Geschäft. Sie ist der einzige verlässliche Weg, Kausalität zu belegen, also nicht nur zu wissen, dass zwei Dinge korrelieren, sondern dass eines das andere verursacht.

Organisationen, die rigorose Experimente durchführen, treffen bessere Entscheidungen und bauen ihr Wissen über die Zeit auf. Wer nicht experimentiert, entscheidet auf Basis von Intuition, Korrelation und Hoffnung.

Warum Kausalität zählt

2011 schaffte JCPenney-CEO Ron Johnson die Aktionspreise ab, überzeugt (durch Intuition und einige Datenkorrelationen), dass Kunden dauerhaft niedrige „fair and square“-Preise bevorzugen. Der Umsatz brach innerhalb eines Jahres um 25 % ein. Das Unternehmen hat sich nie erholt.

Die Daten waren vorhanden. Das Versagen lag in der kausalen Inferenz: er verwechselte Kundenverhalten unter Aktionspreisen mit Kundenpräferenz. Hätte JCPenney ein kontrolliertes Experiment gefahren (Test der „everyday low prices“ in 100 Filialen, Aktionspreise in 100 vergleichbaren Filialen beibehalten), wäre das Ergebnis vor dem unternehmensweiten Rollout klar gewesen.

Das ist der Preis dafür, Experimentation zu überspringen.

Grundlagen des Experimentdesigns

Hypothese zuerst: Definieren Sie, was Sie testen und was Sie erwarten, bevor Sie auf die Ergebnisse schauen. „Wir glauben, dass die Änderung des CTACTAEin Button, Link oder eine Botschaft, die Nutzer zu einer bestimmten Handlung auffordert: registrieren, kaufen, herunterladen oder mehr erfahren.Vollständige Definition ansehen → von ‚Sign Up‘ zu ‚Start Free Trial‘ die Conversion bei Erstbesuchern um 15 % erhöht.“ Eine Hypothese erzwingt Klarheit über den Mechanismus, nicht nur über das Ergebnis.

Randomisierung: Test- und Kontrollgruppe müssen zufällig zugewiesen werden. Selbstselektion (Nutzer wählen selbst, welche Experience sie sehen) macht das Experiment ungültig, die Gruppen unterscheiden sich dann systematisch.

Statistische Power: Berechnen Sie vor dem Experiment die minimale Stichprobengröße, die nötig ist, um den Effekt zu erkennen, der Sie interessiert. Einen Test mit 100 Nutzern zu fahren, um eine Conversion-Verbesserung von 1 % nachzuweisen, ist statistisch unmöglich, Sie werden nie genug Power haben, um sicher zu sein.

Multiple comparison problem: Führen Sie 20 Tests durch, und einer wird zufällig statistisch signifikant erscheinen. Nutzen Sie die Bonferroni-Korrektur oder FDR-Kontrolle (False Discovery Rate), wenn Sie viele Tests gleichzeitig fahren.

Entscheidungsschwellen: Legen Sie vor dem Experiment fest, welche statistische Konfidenz (typischerweise 95 %) und welche praktische Signifikanz (minimal nachweisbarer Effekt) erforderlich sind, bevor ausgerollt wird. Ändern Sie diese nicht, nachdem Sie die Ergebnisse gesehen haben, das ist p-hacking.

Die Experimentation-Plattform

Gelegentliche A/B-Tests manuell zu fahren, ist in Ordnung. Die Skalierung auf hunderte gleichzeitige Experimente braucht eine Plattform:

Feature Flagging: Infrastruktur, um verschiedenen Nutzern verschiedene Experiences zu zeigen, ohne Code-Deployments. Tools: LaunchDarkly, Unleash (open-source), Split.

Assignment Logging: Erfassen, welche Experience jeder Nutzer gesehen hat, mit Timestamp. Für die Analyse zwingend.

Statistische Analyse-PipelinePipelineAlle aktiven Verkaufschancen über die Phasen des Vertriebsprozesses hinweg, zusammen mit ihrem gesamten potenziellen Wert und ihrer Abschlusswahrscheinlichkeit.Vollständige Definition ansehen →: Automatisierte Berechnung von p-Werten, Konfidenzintervallen und Effektstärken. Reduziert menschliche Fehler in der Analyse.

Decision Workflow: Strukturierter Prozess zur Bewertung der Ergebnisse und für Ship-/Don't-Ship-Entscheidungen.

Airbnb, Netflix und Uber haben interne Experimentation-Plattformen gebaut, bevor das eine Produktkategorie war. Heute kaufen die meisten Organisationen statt zu bauen: kommerzielle Optionen wie Optimizely, VWO, Statsig und Eppo machen Experimentation ohne Platform-Engineering-Ressourcen zugänglich. Es gibt einige Open-Source-Projekte (GrowthBook wird aktiv gepflegt), während ältere Ansätze wie Intuits Wasabi aufgegeben wurden und für neue Arbeit nicht genutzt werden sollten.

Multi-armed bandit: jenseits des A/B-Testings

Klassische A/B-Tests haben eine feste Laufzeit. Während des Tests schicken Sie Traffic auf eine potenziell unterlegene Variante und tragen damit die Kosten des Experiments.

Multi-armed-bandit-Algorithmen adressieren das: sie passen die Traffic-Verteilung kontinuierlich an, um mehr Traffic auf die besser performende Variante zu lenken, und explorieren dabei weiterhin Alternativen. Mit zunehmender Evidenz erhält die Gewinnervariante progressiv mehr Traffic.

Use Cases: Content-Empfehlungen, Optimierung von Ad-Creatives, Preis-Experimente. Nicht geeignet für: Experimente, bei denen Konsistenz der User Experience zählt (Wechsel zwischen Varianten mitten in der Session verwirrt).

Key Takeaways

• Experimentation ist der Weg, Kausalität zu belegen, statt aus Korrelation zu raten. JCPenney verlor 25 % des Umsatzes, weil es auf eine Korrelation reagierte, die es nie getestet hatte.
• Design vor Durchführung: Hypothese, Randomisierung, Stichprobengröße und Entscheidungsschwellen vorab fixieren. Schwellen nach Sichtung der Ergebnisse zu ändern, ist p-hacking.
• Achten Sie auf das multiple comparison problem: genug Tests, und irgendetwas sieht rein zufällig signifikant aus. Korrigieren Sie dafür (Bonferroni, FDR).
• Über eine Handvoll Tests hinaus braucht es eine Plattform für Feature Flags, Assignment Logging und Analyse. Kaufen Sie sie (Optimizely, VWO, Statsig, Eppo oder das Open-Source-Tool GrowthBook), statt selbst zu bauen, es sei denn, Sie haben einen starken Grund.
• Multi-armed bandits senken die Kosten der Experimentation, indem sie Traffic zu den Gewinnern verschieben, schaden aber, wenn Session-Konsistenz zählt.

Quizfragen

1. Warum ist Randomisierung in einem A/B-Test essenziell?

A) Sie beschleunigt die Durchführung des Tests

B) Sie stellt sicher, dass Test- und Kontrollgruppe vergleichbar sind, und eliminiert Selektionsverzerrungen, die die Ergebnisse ungültig machen würden

C) Sie senkt die Kosten des Tests

D) Sie erhöht automatisch die Stichprobengröße

Antwort: B

1. Was ist das „multiple comparison problem“ in der Experimentation?

A) Schwierigkeit, zwei unterschiedliche Produkte zu vergleichen

B) Der Umstand, dass 20 gleichzeitig gefahrene Tests statistisch garantieren, dass etwa 1 zufällig als signifikant erscheint, was eine statistische Korrektur erfordert

C) Technisches Problem im Zusammenhang mit mehreren Datenbanken

D) Unmöglichkeit, mehr als 2 Varianten gleichzeitig zu testen

Antwort: B

1. Was ist der wesentliche Unterschied zwischen einem klassischen A/B-Test und einem multi-armed-bandit-Algorithmus?

A) Der Multi-armed bandit ist statistisch präziser

B) Der Multi-armed bandit passt die Traffic-Verteilung während des Tests kontinuierlich zur besten Variante hin an und senkt so die Kosten der Experimentation

C) Der klassische A/B-Test ist automatisch schneller

D) Der Multi-armed bandit benötigt mehr Daten

Antwort: B