Significativité statistique

Probabilité qu'un écart observé entre deux variantes ne soit pas dû au hasard ; exprimée en p-value, elle ne dit rien de la taille de l'effet ni de son importance pratique.

ExempleUn A/B test montre une hausse de 3 % du taux de clic avec une p-valeur de 0,03 : la probabilité que cet écart soit dû au hasard est inférieure à 5 % ; résultat statistiquement significatif au seuil usuel.