A/B Testing
Aussi : Split Testing, A/B Test, Online Controlled Experiment
L'A/B testing est une expérimentation contrôlée qui compare deux versions d'un même élément (A et B) en répartissant le trafic de façon aléatoire, pour savoir laquelle performe le mieux sur une métrique choisie.
De quoi il s'agit
L'A/B testing (aussi appelé split testing) est une expérimentation en ligne contrôlée dans laquelle deux variantes ou plus sont présentées simultanément à des groupes d'utilisateurs constitués aléatoirement. Un groupe voit le contrôle (version A, en général l'expérience actuelle), l'autre voit la variante (version B, le changement proposé). En comparant une métrique définie à l'avance entre les groupes, vous pouvez attribuer les différences de comportement au changement lui-même, et non au hasard ou à des facteurs externes.
L'affectation aléatoire est le point clé. Comme les utilisateurs sont répartis au hasard, les deux groupes sont statistiquement similaires sur tous les autres aspects : toute différence significative de résultat peut donc être rattachée à la variante.
Pourquoi c'est important
- Preuve causale : contrairement aux comparaisons avant/après, l'A/B testing isole la cause et l'effet, ce qui réduit le risque d'agir sur une corrélation ou un bruit saisonnier.
- Moins de risque : les changements sont validés sur une fraction du trafic avant un déploiement complet.
- Langage commun : il donne aux équipes marketing, produit et data une base objective de décision, à la place de l'opinion ou de la hiérarchie.
- Gains cumulatifs : une cadence régulière de petites victoires validées fait souvent mieux que des refontes massives occasionnelles.
Comment on l'utilise en pratique
1. Formuler une hypothèse : énoncez l'effet attendu, par exemple « un formulaire de checkout plus court augmentera le taux de complétion ».
2. Choisir une métrique principale : retenez une seule métrique de décision (taux de conversion, revenu par visiteur, click-through) plus des métriques garde-fous.
3. Calculer la taille d'échantillon : utilisez le taux de base, l'effet minimal détectable et un seuil de significativité pour déterminer la durée du test.
4. Randomiser et lancer : répartissez le trafic, laissez tourner jusqu'à atteindre l'échantillon prévu et évitez d'arrêter tôt simplement parce que les résultats sont bons.
5. Analyser : vérifiez la significativité statistique et l'intervalle de confiance, puis décidez de déployer, d'itérer ou d'abandonner.
Exemple concret
Un CMO e-commerce teste un bouton vert « Acheter maintenant » (B) contre le bouton bleu actuel (A). Le trafic est réparti 50/50 sur 40 000 visiteurs. La version A convertit à 4,0 pour cent, la version B à 4,6 pour cent. Avec une p-value inférieure à 0,05, l'équipe conclut que le gain n'est probablement pas dû au hasard et déploie le bouton vert pour tous les utilisateurs.
Pièges fréquents
- Le peeking : regarder les résultats et arrêter tôt gonfle les faux positifs.
- Trop de métriques augmentent la probabilité d'un « gagnant » fictif.
- Les tests sous-dimensionnés, trop courts, ne peuvent pas détecter les effets réels.
Voir aussi
Questions fréquentes
Qu'est-ce que l'A/B testing ?
L'A/B testing, ou split testing, est une expérience contrôlée en ligne : deux versions ou plus d'une page, d'un email ou d'une fonctionnalité sont exposées simultanément à des groupes d'utilisateurs tirés au hasard. Un groupe voit le contrôle (version A, l'expérience actuelle), l'autre voit la variante (version B). Comme l'affectation est aléatoire, les deux groupes sont comparables sur tout le reste, ce qui permet d'attribuer l'écart de performance à la modification testée.
Quelle différence entre un A/B test et une comparaison avant/après ?
Une comparaison avant/après mesure la même audience à deux moments différents : la saisonnalité, le lancement d'une campagne ou l'actualité peuvent expliquer l'écart à la place de votre modification. Un A/B test fait tourner les deux versions en même temps sur un trafic réparti aléatoirement, ce qui neutralise ces facteurs externes. C'est pour cela que l'A/B testing produit une preuve causale, là où l'avant/après ne donne qu'une corrélation.
Qui utilise concrètement l'A/B testing dans une entreprise ?
Les équipes marketing, produit et data, ainsi que les dirigeants qui arbitrent entre elles. Pour un CMO, il valide une landing page, un affichage de prix ou un objet d'email avant un déploiement complet ; pour un responsable data, c'est la méthode de référence pour produire une preuve causale. Son intérêt organisationnel principal : donner à ces équipes une base objective de décision, à la place de l'opinion ou de la hiérarchie.
Comment décider de la durée d'un A/B test ?
On calcule la taille d'échantillon nécessaire avant de lancer, à partir de trois éléments : le taux de conversion de départ, l'effet minimal que l'on souhaite détecter et le seuil de significativité. Le test tourne ensuite jusqu'à atteindre cet échantillon, quels que soient les résultats intermédiaires. Fixer la durée après coup, en regardant l'évolution des courbes, transforme l'expérience en pari.
Pourquoi est-ce un problème d'arrêter un test dès que les résultats sont bons ?
Parce que consulter les résultats en continu et s'arrêter au premier moment favorable gonfle les faux positifs : c'est le peeking. Les métriques fluctuent naturellement pendant un test, donc n'importe quelle variante finira par franchir le seuil de significativité par pur hasard. Deux erreurs voisines produisent le même effet : suivre trop de métriques, ce qui multiplie les chances de désigner un faux gagnant, et lancer des tests trop courts pour détecter un effet réel.