A/B test

Expérimentation comparant deux variantes pour isoler l'effet d'un changement sur une métrique ; forme simplifiée d'essai contrôlé randomisé appliqué au produit ou au marketing.

ExempleNetflix teste deux vignettes pour le même film auprès de deux groupes de 500 K utilisateurs : la vignette B génère un taux de clic 12 % supérieur et est déployée à l'ensemble du catalogue.

En clairMontrer deux versions à deux groupes tirés au hasard et comparer. C'est la seule méthode simple qui établisse vraiment une cause. Deux erreurs la ruinent : arrêter le test dès que la courbe est favorable, et le lancer sur trop peu de visiteurs pour que l'écart observé veuille dire quoi que ce soit.