Experimentation at scale: A/B-Tests, Kausalität & Plattformen

Experimentation ist die wissenschaftliche Methode, angewandt auf das Geschäft. Sie ist der einzige verlässliche Weg, Kausalität nachzuweisen: also nicht nur zu wissen, dass zwei Dinge korrelieren, sondern dass eines das andere verursacht.

Organisationen, die rigorose Experimente fahren, treffen bessere Entscheidungen und bauen ihr Wissen über die Zeit auf. Wer nicht experimentiert, entscheidet auf Basis von Intuition, Korrelation und Hoffnung.

Warum Kausalität zählt

2011 schaffte Ron Johnson, CEO von JCPenney, Promo-Preise ab, überzeugt (durch Intuition und einige Datenkorrelationen), dass Kunden dauerhaft niedrige „fair and square“-Preise bevorzugen. Der Umsatz brach in einem Jahr um 25 % ein. Das Unternehmen hat sich nie erholt.

Die Daten lagen vor. Das Versagen lag in der kausalen Inferenz: ErErDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → verwechselte Kundenverhalten unter Promo-Preisen mit Kundenpräferenz. Hätte JCPenney ein kontrolliertes Experiment gefahren (Test von „everyday low prices“ in 100 Filialen, Beibehaltung der Promo-Preise in 100 vergleichbaren Filialen), wäre das Ergebnis vor dem unternehmensweiten Rollout klar gewesen.

Das ist der Preis dafür, Experimentation zu überspringen.

Grundlagen des Experimentdesigns

Hypothese zuerst: Definieren Sie, was Sie testen und was Sie erwarten, bevor Sie auf die Ergebnisse schauen. „Wir glauben, dass die Änderung des CTACTAEin Button, Link oder eine Botschaft, die Nutzer zu einer bestimmten Handlung auffordert: registrieren, kaufen, herunterladen oder mehr erfahren.Vollständige Definition ansehen → von ‚Sign Up‘ zu ‚Start Free Trial‘ die Conversion bei Erstbesuchern um 15 % steigert.“ Eine Hypothese erzwingt Klarheit über den Mechanismus, nicht nur über das Ergebnis.

Randomisierung: Test- und Kontrollgruppe müssen zufällig zugewiesen werden. Selbstselektion (Nutzer wählen selbst, welche Variante sie sehen) macht das Experiment ungültig, die Gruppen unterscheiden sich dann systematisch.

Statistische Power: Berechnen Sie vor dem Experiment die minimale Stichprobengröße, die nötig ist, um den Effekt zu erkennen, der Sie interessiert. Ein Test mit 100 Nutzern zur Erkennung einer Conversion-Verbesserung von 1 % ist statistisch unmöglich, Sie werden nie genug Power haben, um sicher zu sein.

Multiple Comparison Problem: Fahren Sie 20 Tests, und einer wird zufällig statistisch signifikant erscheinen. Nutzen Sie Bonferroni-Korrektur oder FDR-Kontrolle (False Discovery Rate), wenn Sie viele Tests gleichzeitig fahren.

Entscheidungsschwellen: Legen Sie vor dem Experiment fest, welches statistische Konfidenzniveau (typischerweise 95 %) und welche praktische Signifikanz (minimal erkennbarer Effekt) nötig sind, bevor Sie ausrollen. Ändern Sie diese nicht, nachdem Sie die Ergebnisse gesehen haben, das ist p-Hacking.

Die Experimentation-Plattform

Gelegentliche A/B-Tests manuell zu fahren, ist in Ordnung. Für hunderte gleichzeitige Experimente braucht es eine Plattform:

Feature Flagging: Infrastruktur, um verschiedenen Nutzern verschiedene Varianten zu zeigen, ohne Code-Deployments. Tools: LaunchDarkly, Unleash (Open Source), Split.

Assignment Logging: Erfassen, welche Variante jeder Nutzer gesehen hat, mit Zeitstempel. Für die Analyse erforderlich.

Statistische Analyse-PipelinePipelineAlle aktiven Verkaufschancen über die Phasen des Vertriebsprozesses hinweg, zusammen mit ihrem gesamten potenziellen Wert und ihrer Abschlusswahrscheinlichkeit.Vollständige Definition ansehen →: Automatisierte Berechnung von p-Werten, Konfidenzintervallen und Effektstärken. Reduziert menschliche Fehler in der Analyse.

Decision Workflow: Strukturierter Prozess, um Ergebnisse zu prüfen und Ship/Don't-Ship-Entscheidungen zu treffen.

Airbnb, Netflix und Uber haben interne Experimentation-Plattformen gebaut, bevor es diese Produktkategorie gab. Heute kaufen die meisten Organisationen, statt zu bauen: kommerzielle Optionen wie Optimizely, VWO, Statsig und Eppo machen Experimentation ohne eigene Plattform-Engineering-Ressourcen zugänglich. Es gibt einige Open-Source-Projekte (GrowthBook wird aktiv gepflegt), während ältere Ansätze wie Intuits Wasabi aufgegeben wurden und für neue Arbeiten nicht genutzt werden sollten.

Multi-Armed Bandit: jenseits von A/B-Tests

Klassische A/B-Tests haben eine feste Laufzeit. Während des Tests schicken Sie Traffic auf eine potenziell schlechtere Variante und tragen damit die Kosten des Experiments.

Multi-Armed-Bandit-Algorithmen adressieren das: Sie passen die Traffic-Verteilung laufend an und schicken mehr Traffic auf die besser performende Variante, während sie weiter Alternativen erkunden. Mit zunehmender Evidenz bekommt die gewinnende Variante fortschreitend mehr Traffic.

Use Cases: Content-Empfehlungen, Optimierung von Ad Creatives, Preisexperimente. Nicht geeignet für: Experimente, bei denen eine konsistente User Experience zählt (mitten in der Session zwischen Varianten zu wechseln, verwirrt).

Key Takeaways

• Experimentation ist der Weg, Kausalität zu belegen, statt sie aus Korrelation zu erraten. JCPenney verlor 25 % Umsatz, weil es auf eine Korrelation reagierte, die es nie getestet hatte.
• Design vor Durchführung: Hypothese, Randomisierung, Stichprobengröße und Entscheidungsschwellen vorab festlegen. Schwellen nach Sicht der Ergebnisse zu ändern, ist p-Hacking.
• Achten Sie auf das Multiple Comparison Problem: Fahren Sie genug Tests, und irgendetwas sieht rein zufällig signifikant aus. Korrigieren Sie dafür (Bonferroni, FDR).
• Über eine Handvoll Tests hinaus braucht es eine Plattform für Feature Flags, Assignment Logging und Analyse. Kaufen Sie sie (Optimizely, VWO, Statsig, Eppo oder Open Source GrowthBook), statt selbst zu bauen, es sei denn, Sie haben einen starken Grund.
• Multi-Armed Bandits senken die Kosten der Experimentation, indem sie Traffic auf die Gewinner verschieben, schaden aber dort, wo Konsistenz innerhalb der Session zählt.

Quizfragen

1. Warum ist Randomisierung in einem A/B-Test essenziell?

A) Sie beschleunigt die Durchführung des Tests

B) Sie stellt sicher, dass Test- und Kontrollgruppe vergleichbar sind, und eliminiert Selektionsverzerrungen, die die Ergebnisse ungültig machen würden

C) Sie senkt die Kosten des Tests

D) Sie erhöht automatisch die Stichprobengröße

Antwort: B

2. Was ist das „Multiple Comparison Problem“ in der Experimentation?

A) Die Schwierigkeit, zwei unterschiedliche Produkte zu vergleichen

B) Dass 20 gleichzeitig gefahrene Tests statistisch garantieren, dass etwa einer zufällig als signifikant erscheint, was eine statistische Korrektur erfordert

C) Ein technisches Problem im Zusammenhang mit mehreren Datenbanken

D) Die Unmöglichkeit, mehr als 2 Varianten gleichzeitig zu testen

Antwort: B

3. Was ist der wesentliche Unterschied zwischen einem klassischen A/B-Test und einem Multi-Armed-Bandit-Algorithmus?

A) Der Multi-Armed Bandit ist statistisch präziser

B) Der Multi-Armed Bandit passt die Traffic-Verteilung während des Tests laufend zur besseren Variante hin an und senkt so die Kosten des Experiments

C) Der klassische A/B-Test ist automatisch schneller

D) Der Multi-Armed Bandit benötigt mehr Daten

Antwort: B