Significativité statistique

Probabilité qu'un écart observé entre deux variantes ne soit pas dû au hasard ; exprimée en p-value, elle ne dit rien de la taille de l'effet ni de son importance pratique.

ExempleUn A/B test montre une hausse de 3 % du taux de clic avec une p-valeur de 0,03 : la probabilité que cet écart soit dû au hasard est inférieure à 5 % ; résultat statistiquement significatif au seuil usuel.

En clairUn résultat déclaré significatif n'est pas un résultat important : cela signifie seulement qu'il est peu probable qu'il vienne du pur hasard. Sur de très gros volumes, un écart minuscule devient significatif sans avoir le moindre intérêt commercial. Et tester beaucoup d'idées finit mécaniquement par en faire ressortir une, même quand aucune ne marche.