ISP · Échelle ISP-M
Échelle de preuve : marketing
Sur cet axe, 100 ne signifie pas « preuve absolue » : il désigne le meilleur dispositif que ce champ sache produire aujourd'hui. Un ISP-M et un ISP d'un autre domaine mesurent donc la même chose, une distance à ce qui est atteignable, et restent lisibles côte à côte. Les trois autres axes de l'indice (convergence 30 %, réplication 20 %, puissance 10 %) sont communs à tous les domaines.
Ce que ce champ peut établir
La contrainte probatoire du marketing n’est pas la difficulté de randomiser. Randomiser y est techniquement trivial : des millions d’assignations aléatoires tournent chaque jour dans les régies publicitaires et les outils d’A/B testing. La contrainte est double. D’abord la puissance : Lewis et Rao ont montré que la variance des dépenses individuelles est telle qu’il faut souvent des millions d’observations pour distinguer un retour publicitaire de zéro, ce qui rend la plupart des tests réellement conduits sous-dimensionnés pour la question qu’ils prétendent trancher. Ensuite la propriété : l’infrastructure d’expérimentation appartient presque toujours à la partie qui vend l’exposition mesurée. Le marketing produit donc énormément d’expériences et très peu de preuves opposables.
L’échelle générique le classe mal pour deux raisons. Elle met la méta-analyse au sommet, alors qu’ici elle agrège des effets de laboratoire hétérogènes, exposés au biais de publication, et qu’elle ne vaut jamais mieux que ses primaires. Et elle n’a aucune case pour la loi empirique de panel, réplication descriptive massive qui est l’une des rares choses solides que ce champ sache produire : faute de barreau, elle tombe en « étude de cas ».
Le meilleur disponible ici, c’est l’expérimentation randomisée à grande échelle sur comportement d’achat réel, dont l’analyse échappe au vendeur.
Les sept barreaux
| id | score | nom | ce qui qualifie | ce qui ne qualifie pas |
|---|---|---|---|---|
essai-randomise-replique | 100 | Programme d’essais randomisés à grande échelle, analyse indépendante, répliqué | Assignation aléatoire à l’exposition, mesurée sur du comportement d’achat ou d’usage réel (pas déclaré) ; groupe témoin réellement maintenu, y compris par exposition placebo ou par la technique dite des ghost ads qui identifie les non-exposés que le ciblage aurait sélectionnés ; taille d’échantillon dimensionnée pour l’effet attendu, pas pour le budget ; protocole et analyse sous le contrôle d’une équipe qui ne vend ni l’exposition ni la méthode ; résultat reproduit sur plusieurs annonceurs, campagnes ou marchés indépendants. | Un essai randomisé unique, si grand soit-il, reste au barreau du dessous. Un test dont le témoin est « les gens qui n’ont pas cliqué » n’est pas un témoin mais un groupe sélectionné par le résultat. Un programme d’essais analysé par la plateforme qui vend l’inventaire, ou par l’agence qui a acheté le média, ne qualifie pas ici quel que soit le nombre de campagnes. |
essai-randomise-unique | 85 | Essai randomisé de terrain unique sur comportement réel | Une seule expérimentation, mais avec assignation aléatoire véritable (individus, cellules, zones géographiques), critère de jugement observé sur des transactions ou des usages, groupe témoin non exposé conservé jusqu’au bout, et puissance déclarée. Une expérience commanditée par une partie prenante qualifie ici si le protocole, les données et le code sont ouverts à un tiers qui peut refaire le calcul. | Un « test A/B » sur un taux de clic, un taux d’ouverture ou un score de mémorisation : le critère de jugement n’est pas le comportement d’achat. Un brand lift dont la mesure d’exposition et la mesure d’effet viennent du même acteur sans accès externe aux données. Un test arrêté quand la courbe est favorable, ou dont on ne connaît pas la règle d’arrêt. |
loi-de-panel-repliquee | 70 | Régularité de panel d’achat, formalisée et répliquée hors échantillon | Une régularité mesurée sur des panels d’achat réels, exprimée sous une forme suffisamment précise pour être fausse (un modèle qui prédit une valeur, pas une tendance), reproduite sur de nombreuses catégories, plusieurs pays et plusieurs décennies, et vérifiée sur des données qui n’ont pas servi à la calibrer. Double pénalité, modèle NBD-Dirichlet, lois de duplication d’achat. | Une régularité observée dans un seul corpus, une seule catégorie ou une seule fenêtre. Une corrélation présentée comme une loi parce qu’elle a un nom. Et surtout : une régularité dont toutes les réplications sont signées par l’école qui l’a produite. Ce barreau décrit ce que les acheteurs font, jamais l’effet d’une action marketing : une affirmation causale adossée à une loi de panel ne qualifie pas ici. |
meta-analyse-marketing | 50 | Agrégation méta-analytique d’effets marketing publiés | Une agrégation formelle de tailles d’effet issues d’études primaires, avec périmètre déclaré, critères d’inclusion explicites, test d’hétérogénéité et examen du biais de publication. Utile pour cartographier ce qu’une littérature dit et pour situer un ordre de grandeur. Ce barreau est le médian : c’est le plafond de la règle de partie prenante décrite plus bas. | Une méta-analyse ne dépasse pas la qualité de ce qu’elle agrège : en marketing, ses primaires sont majoritairement des expériences de laboratoire sur échantillons étudiants et des mesures déclaratives, ce qui interdit de lire son résultat comme un effet de terrain. Ne qualifient pas non plus : une revue de littérature narrative, un « ce que dit la recherche » sans liste d’études, et une méta-analyse citée sans que son périmètre exact soit vérifié (l’erreur type consiste à agréger deux méta-analyses qui ne portent pas sur le même objet). |
quasi-experience-de-marche | 35 | Quasi-expérience ou test naturel sur données de marché | Différences de différences, régression sur discontinuité, variable instrumentale, ou comparaison avant/après adossée à un choc exogène (réforme, panne, retrait de produit, changement d’algorithme daté), avec critère de jugement observé sur le marché réel. Le groupe de contrôle et l’hypothèse d’identification sont nommés et discutés. | Une comparaison avant/après sans groupe témoin et sans choc exogène clairement daté : c’est une chronologie, pas une quasi-expérience. Un modèle d’attribution ou de marketing mix modeling dont les paramètres sont estimés sur les mêmes données que celles qu’il explique. Une identification annoncée mais dont l’hypothèse de tendances parallèles n’est ni testée ni discutée. |
mesure-declarative-ou-labo | 20 | Mesure déclarative, attitudinale, ou expérience de laboratoire | Enquête consommateur sur échantillon décrit, échelle attitudinale validée, baromètre de marque standardisé, expérience en laboratoire avec manipulation contrôlée. Ce barreau reconnaît un instrument de mesure réel : il est bas parce que l’écart entre intention déclarée et comportement observé est lui-même un résultat documenté du champ, pas parce que l’instrument serait mal construit. | Un sondage sans taille d’échantillon, sans date de terrain ni périmètre de population. Une expérience de laboratoire dont le résultat est présenté comme un effet de marché. Un score déclaratif (intention d’achat, recommandation, considération) traité comme une mesure de comportement. Une échelle attitudinale invoquée pour qualifier un comportement qu’on n’a pas mesuré avec elle. |
cas-interne-non-audite | 8 | Cas unique, relevé propriétaire non auditable, ou modèle non confronté | Un ou quelques cas documentés, un relevé issu d’un outil propriétaire, une étude de cas d’agence ou d’annonceur, un modèle calibré dont on présente la sortie. Qualifie ici même quand les données brutes viennent d’une source tierce fiable, dès lors que le découpage des groupes, le périmètre et l’interprétation restent internes et qu’aucun lecteur externe ne peut refaire le calcul. | Rien ne descend plus bas : ce barreau est le plancher du champ. Il ne s’agit pas de dire que ces matériaux sont faux, mais qu’ils n’établissent rien à eux seuls. Un article qui les mobilise comme illustration d’une preuve située plus haut n’est pas plafonné ici ; un article dont ils portent la thèse centrale, si. |
Plafond de partie prenante
Le marketing est le domaine où cette règle mord le plus fort, parce que l’écrasante majorité de ses dispositifs probatoires sont produits par quelqu’un qui a un intérêt au résultat. Sont de tier P par défaut, sauf démonstration contraire :
- les mesures d’efficacité publicitaire produites par les régies (brand lift, incrémentalité, conversions modélisées) : la plateforme mesure l’effet de la publicité qu’elle vend, et détient à la fois la définition de l’exposition et celle de la conversion ;
- les méthodes de mesure elles-mêmes quand elles sont publiées par une régie (les protocoles d’expérimentation géographique de référence sont des documents d’éditeurs de plateformes) ;
- les A/B tests, geo-tests et marketing mix models internes d’un annonceur ou de son agence, dont le résultat arbitre un budget que la même équipe demande ;
- les études de cas et « résultats clients » d’agences, de consultants et de prestataires SEO ou CRM ;
- les baromètres, benchmarks et rapports « state of » d’éditeurs de logiciels marketing, dont la fonction commerciale est la génération de leads ;
- les notes de cabinets de conseil qui vendent des missions sur le sujet qu’elles documentent ;
- les enquêtes consommateurs commanditées par une marque sur sa propre catégorie ;
- les instituts de recherche marketing financés par abonnement d’annonceurs, lorsqu’ils commentent la loi ou le modèle qu’ils ont eux-mêmes produit : une réplication cosignée par l’auteur de la régularité répliquée relève du second volet du tier P (producteur du travail commenté), même quand l’institut est par ailleurs universitaire.
Conséquence : quand la preuve centrale d’un article repose sur une source de tier P, l’article plafonne au barreau médian, celui de l’agrégation méta-analytique, score 50. Le plafond porte sur la preuve centrale, pas sur les illustrations : un article peut citer un cas d’agence ou un chiffre de régie en périphérie sans être plafonné, à condition que sa thèse tienne debout si on retire cette source. Le plafond se lève si, et seulement si, le protocole, les données et le calcul sont ouverts à un tiers capable de refaire le travail, ou si un dispositif indépendant du même ordre reproduit le résultat.
Ce sur quoi cette échelle s’appuie
Le marketing n’a pas d’équivalent de GRADE ni de la pyramide de l’Oxford Centre for Evidence-Based Medicine. Faute de hiérarchie instituée, chaque cran doit dire d’où il tient sa place. De haut en bas :
Programme d’essais randomisés à grande échelle, analyse indépendante, répliqué (100). Ce cran est au sommet parce qu’il est le seul à répondre en même temps aux deux obstacles propres au champ. Le premier est la puissance : Lewis et Rao (« The Unfavorable Economics of Measuring the Returns to Advertising », Quarterly Journal of Economics, 2015) montrent que la variance des dépenses individuelles est telle qu’un test doit souvent compter des millions d’observations avant de pouvoir distinguer un retour publicitaire de zéro. Le second est le témoin : Johnson, Lewis et Nubbemeyer (« Ghost Ads », Journal of Marketing Research, 2017) décrivent la technique qui identifie, parmi les non-exposés, ceux que le ciblage aurait retenus, seule façon de construire un groupe de comparaison qui ne soit pas sélectionné par le résultat. Tenir les deux, et le refaire sur plusieurs annonceurs sous une analyse extérieure au vendeur, définit ce que ce champ sait produire de mieux.
Essai randomisé de terrain unique (85). Même exigence causale, un seul terrain. L’archétype est Blake, Nosko et Tadelis (« Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment », Econometrica, 2015) : une expérience randomisée par zones géographiques chez eBay, sur des transactions réelles, qui conclut à un retour quasi nul du référencement payant de marque. La démonstration est solide chez cet annonceur, et rien n’établit qu’elle vaudra chez le suivant. C’est exactement ce qui sépare ce cran du précédent.
Régularité de panel répliquée (70). Ce barreau n’existe pas dans l’échelle générique, et c’est pourtant l’un des rares endroits où le marketing produit des résultats stables sur des décennies. La double pénalité (Ehrenberg, Goodhardt et Barwise, « Double Jeopardy Revisited », Journal of Marketing, 1990) et le modèle Dirichlet (Goodhardt, Ehrenberg et Chatfield, « The Dirichlet: A Comprehensive Model of Buying Behaviour », Journal of the Royal Statistical Society, Series A, 1984) prédisent des valeurs, pas des tendances, et se vérifient sur des données qui n’ont pas servi à les calibrer. Ce qui les maintient sous les deux crans expérimentaux : elles décrivent ce que les acheteurs font, jamais l’effet d’une action.
Méta-analyse (50). L’échelle générique la place au sommet ; ici elle est au milieu, et ce déplacement est le principal écart avec l’épidémiologie. Une méta-analyse ne vaut pas mieux que ses primaires, et en marketing ces primaires sont largement des expériences de laboratoire issues de la psychologie expérimentale, dont l’Open Science Collaboration (« Estimating the Reproducibility of Psychological Science », Science, 2015) a mesuré le taux de reproduction. Agréger proprement des effets fragiles donne une cartographie fiable d’une littérature, pas une preuve de terrain.
Quasi-expérience de marché (35). L’écart avec l’essai randomisé a été mesuré : Gordon, Zettelmeyer, Bhargava et Chapsky (« A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook », Marketing Science, 2019) ont comparé, sur les mêmes campagnes, les résultats d’essais randomisés de grande taille et ceux des méthodes observationnelles employées d’ordinaire pour les remplacer. Les secondes s’écartent des premières, parfois assez pour renverser la décision qui en dépend. Une identification bien posée reste informative, elle ne remplace pas l’assignation aléatoire.
Mesure déclarative ou de laboratoire (20). Ce cran est bas à cause d’un résultat du champ lui-même : l’écart entre ce qu’un répondant déclare et ce qu’il fait. Sheeran (« Intention-Behavior Relations: A Conceptual and Empirical Review », European Review of Social Psychology, 2002) en donne la revue, et Chandon, Morwitz et Reinartz (« Do Intentions Really Predict Behavior? Self-Generated Validity Effects in Survey Research », Journal of Marketing, 2005) montrent en outre que le fait d’interroger quelqu’un sur son intention déplace son comportement ultérieur. L’instrument mesure quelque chose de réel, mais pas la grandeur sur laquelle porte une décision marketing.
Cas interne non auditable (8). Le plancher ne dit pas que ces matériaux sont faux. Il dit qu’ils n’établissent rien seuls : quand le découpage des groupes, le périmètre et l’interprétation restent à l’intérieur de l’organisation qui a intérêt au résultat, aucun lecteur ne peut refaire le calcul, et un résultat que personne ne peut contredire n’est pas une preuve. C’est le point de rencontre entre ce barreau et la règle de partie prenante énoncée plus haut.