Échelle de preuve Économie (ISP-ECO)

Ce que ce champ peut établir

L’économie ne peut presque jamais randomiser ce qui l’intéresse vraiment : une politique monétaire, un régime de change, une réforme fiscale nationale. Elle observe un seul monde, une seule fois, et des institutions qui diffèrent assez d’un pays à l’autre pour que deux estimations du même paramètre ne mesurent pas tout à fait la même chose. Sa contrainte probatoire n’est donc pas la rareté des données, il y en a désormais beaucoup, mais l’identification : établir qu’un effet mesuré vient bien de la cause étudiée, dans un contexte donné, et pas d’autre chose.

S’y ajoute une seconde contrainte, propre à la discipline : la sélection des résultats publiés. La littérature sur le biais de publication et le p-hacking en économie est abondante et convergente. Elle interdit de traiter un empilement d’estimations publiées comme un cumul de preuves.

Le meilleur disponible ici est donc le dispositif qui répond aux deux à la fois : une prédiction déposée avant l’accès aux données, ce qui neutralise la sélection en aval, et un résultat refait par une équipe indépendante sur les données originales, ce qui neutralise l’erreur de traitement. Ce dispositif existe, il est rare, il coûte cher. Il vaut 100.

Les huit barreaux

id	score	nom	ce qui qualifie	ce qui ne qualifie pas
`preenregistre-replique`	100	Préenregistré et répliqué sur données originales	Un dispositif expérimental ou quasi-expérimental dont le plan de préanalyse a été déposé publiquement (registre AEA RCT, OSF) avant l’accès aux données, et dont le résultat a été refait par une équipe indépendante sur les données originales, avec rapport publié (type Institute for Replication). Les écarts au plan sont documentés en journal de déviation.	Un package de réplication qui ne fait que relancer le code des auteurs : c’est de la reproductibilité, pas une réplication indépendante. Un plan déposé après consultation des données. Un préenregistrement dont l’article publié s’écarte sans le dire. Des tests de robustesse faits par les auteurs eux-mêmes. Preuve centrale de tier P : plafond 50.
`quasi-experience-identifiee`	85	Expérience naturelle bien identifiée	Une variation exogène crédible (RDD, DiD, IV, contrôle synthétique) sur données administratives ou exhaustives, dont l’hypothèse d’identification est testée et pas seulement affirmée : tendances pré-traitement montrées, densité vérifiée au seuil, premier stade publié, restriction d’exclusion argumentée. Code et données de réplication publics. Résultat retrouvé sur au moins un autre contexte ou une autre période.	L’absence de plan de préanalyse déposé, ou l’absence de réplication indépendante publiée, empêche d’atteindre 100 : ce sont les deux seules choses qui séparent ce barreau du sommet. Une expérience de laboratoire sur étudiants, seule, ne monte pas ici. Preuve centrale de tier P : plafond 50.
`synthese-corrigee-du-biais`	70	Synthèse quantitative corrigée du biais de publication	Une méta-analyse ou méta-régression qui applique une correction explicite de la sélection des publications (funnel asymmetry, PET-PEESE, p-curve, modèle de sélection sur seuils), restreint son échantillon à des estimations dont l’identification est comparable, et traite l’hétérogénéité institutionnelle comme un paramètre à estimer plutôt qu’à moyenner.	Une méta-analyse qui empile des estimations sans tester la sélection, ou qui moyenne des contextes institutionnels non comparables, ne qualifie pas ici et redescend à 35. Montrer un funnel plot sans appliquer de correction ne suffit pas. Une revue de littérature narrative n’est pas une synthèse quantitative. Preuve centrale de tier P : plafond 50.
`modele-structurel-estime`	50	Modèle structurel estimé	Un modèle dont les paramètres profonds sont estimés sur données (maximum de vraisemblance, méthode des moments, estimation bayésienne), qui publie son ajustement à des moments non ciblés par l’estimation ou un test hors échantillon, dont les hypothèses d’identification sont discutées, et dont le code est disponible. Barreau médian : c’est aussi le plafond des articles dont la preuve centrale vient d’une partie prenante (tier P).	Un modèle calibré sur des moments choisis, sans estimation ni ajustement hors cible, redescend à 20. Un modèle estimé sur un pays et transposé à un autre sans réestimation reste ici au mieux, et l’affirmation de transposition relève de l’interprétation, pas du résultat.
`modele-estime-non-valide-hors-cible`	40	Modèle estimé, sans validation hors cible	Un modèle dont les paramètres profonds sont réellement estimés sur données (maximum de vraisemblance, méthode des moments, estimation bayésienne) et dont les hypothèses d’identification sont discutées, mais qui ne publie ni ajustement à des moments non ciblés par l’estimation, ni test hors échantillon. L’estimation a eu lieu, sa validation externe manque.	Un modèle seulement calibré sur des moments choisis, sans estimation : il redescend au barreau 7. Un modèle estimé dont les hypothèses d’identification ne sont pas discutées : il relève du barreau 6, où la grandeur existe et sa cause reste ouverte. Publier un ajustement hors cible ou un test hors échantillon fait monter au barreau 4, et l’absence de ce test ne se compense par aucun raffinement de l’estimation elle-même.
`donnees-observees-non-identifiees`	35	Comportement observé, identification non établie	Une mesure portant sur des comportements réellement observés : données administratives, exhaustives, panel, séries longues, contrefactuel estimé par SVAR ou projection locale, quasi-expérience dont l’identification est plausible mais non testée, méta-analyse sans correction de sélection. La grandeur mesurée existe, ce qui reste ouvert est sa cause.	Ne pas confondre avec 50 : ici, aucun paramètre structurel n’est estimé, ou bien l’hypothèse d’identification est affirmée sans preuve (pas de tendances pré-traitement, pas de premier stade, pas d’argument d’exclusion). Un contrefactuel produit par un modèle sans test hors échantillon reste ici.
`declaratif-calibre-ou-projete`	20	Chiffre non comportemental	Un chiffre qui ne provient d’aucun comportement observé : préférence déclarée (consentement à payer ou à recevoir, enquête de sentiment, intention), modèle calibré sur des moments choisis, projection conditionnelle ou scénario d’institution (FMI, OCDE, Banque mondiale, prévisionniste privé). Qualifie si la méthode, les paramètres et le contrefactuel sont publiés.	Ne pas confondre avec 35 : une enquête représentative reste ici tant qu’elle mesure une déclaration et non un acte. Une projection n’est pas une mesure de l’année qu’elle décrit. Une calibration n’est pas une estimation. Un scénario adverse n’est pas une prévision centrale.
`raisonnement-theorique-seul`	8	Raisonnement théorique seul	Un modèle analytique sans confrontation aux données, une tribune, un raisonnement d’équilibre, un cas isolé décrit sans série. Utile pour organiser une lecture, insuffisant pour établir une grandeur.	Un modèle théorique dont les paramètres sont calibrés sur données publiées monte à 20 ; estimé, il monte à 50. La solidité analytique d’un cadre canonique ne remplace pas sa confrontation empirique : un mécanisme démontré n’est pas un effet mesuré.

Méta-analyse ou expérience naturelle : l’arbitrage

En économie, l’expérience naturelle bien identifiée (85) passe devant la méta-analyse (70), et le sommet n’est ni l’une ni l’autre. C’est le point où cette échelle s’écarte le plus de la hiérarchie des preuves que le grand public connaît.

Cette hiérarchie familière, qui met la méta-analyse tout en haut, vient de l’épidémiologie, où elle a un sens précis : on y agrège des essais randomisés portant sur la même molécule, le même critère de jugement, des populations biologiquement comparables, et l’agrégation gagne en puissance ce que chaque essai perd en taille. Aucune de ces trois conditions n’est acquise en économie.

Premièrement, l’unité agrégée n’est pas la même. Deux estimations de l’effet d’une hausse du salaire minimum sur l’emploi, l’une dans un pays à forte couverture conventionnelle, l’autre dans un marché du travail déréglementé, ne mesurent pas le même paramètre : leur moyenne n’est le paramètre de personne. Moyenner des contextes institutionnels hétérogènes produit un nombre, pas une preuve. Ce n’est pas une objection de principe à la synthèse quantitative, c’est une objection à la synthèse qui traite l’hétérogénéité comme du bruit : le travail de Meager sur les essais de microcrédit montre qu’une hiérarchie bayésienne qui modélise explicitement la variation entre contextes reste informative là où une moyenne simple ne l’est pas.

Deuxièmement, la sélection des estimations agrégées est documentée et massive. Ioannidis, Stanley et Doucouliagos concluent à une puissance statistique médiane faible et à des effets publiés exagérés dans une large part de la littérature économique. Brodeur et ses coauteurs montrent une distribution de statistiques de test creusée juste en dessous du seuil de significativité, et surtout que l’intensité du p-hacking dépend de la méthode : les devis instrumentaux et en différences de différences sont plus affectés que les essais randomisés et les régressions sur discontinuité. Une méta-analyse non corrigée hérite de cette sélection et la certifie. C’est pourquoi la correction du biais de publication n’est pas un raffinement optionnel ici : elle est la condition d’entrée au barreau 70. Card et Krueger avaient établi ce point sur la littérature du salaire minimum dès 1995, et il n’a pas été démenti depuis.

Troisièmement, ce que l’économie sait produire de mieux depuis la révolution de la crédibilité décrite par Angrist et Pischke est précisément un devis dont l’identification se défend pièce par pièce, pas un cumul. Une expérience naturelle bien identifiée établit un effet dans un contexte nommé, avec une hypothèse testable et un package de réplication vérifiable. Une méta-analyse d’estimations mal identifiées agrège des inconnues. Entre les deux, la première est plus proche de ce que le champ peut établir.

Mais l’expérience naturelle n’est pas le sommet non plus. Ce qu’elle ne fournit pas, c’est la garantie que l’analyse n’a pas été choisie après avoir vu les données, ni la garantie que le résultat survit à un traitement indépendant. Le plan de préanalyse enregistré et la réplication publiée sur données originales sont précisément les deux dispositifs qui ferment ces deux brèches. L’économie a construit cette infrastructure : registre d’essais de l’AEA, politique de disponibilité des données et du code avec vérification de reproductibilité avant publication, Institute for Replication depuis 2022. Elle est disponible, elle est peu utilisée, elle coûte cher. C’est ce qui fait du barreau 100 un sommet que presque aucune analyse publiée n’atteint.

Une réserve, que le lecteur doit avoir en tête : Olken a montré que le plan de préanalyse n’est pas gratuit, il rigidifie l’analyse et peut interdire une découverte non prévue. Ce coût est le prix du barreau, pas une objection à sa place.

Le modèle théorique calibré

Classer tout ce qui est théorique tout en bas de l’échelle serait trop sévère, parce que cela confondrait trois objets distincts.

Une tribune raisonnée mérite 8. Un modèle calibré, dont les paramètres sont fixés sur des moments observés et dont la méthode est publiée, produit un contrefactuel quantifié et réfutable : c’est autre chose, et cela vaut 20. Un modèle structurel estimé, dont les paramètres profonds sont extraits des données par une procédure statistique et qui rend compte de moments qu’il n’a pas ciblés, vaut 50. Traiter les trois de la même manière reviendrait à dire que la macroéconomie ne produit pas de preuve, ce qui est faux.

En macro, la contrainte est même inverse de celle de la micro appliquée : les expériences naturelles y sont rares, l’unité d’observation est le pays-trimestre, et le modèle structurel est souvent le seul instrument disponible pour répondre à une question de politique publique. Nakamura et Steinsson posent le problème dans ces termes. Refuser tout crédit au modèle structurel reviendrait à décréter qu’aucune question macroéconomique n’est traitable.

Les conditions de montée sont donc explicites, et cumulatives. Pour passer de 8 à 20 : paramètres calibrés sur des grandeurs observées et sourcées, contrefactuel publié, sensibilité aux paramètres clés montrée. Pour passer de 20 à 50 : paramètres estimés et non plus posés, ajustement à des moments non ciblés par l’estimation ou test hors échantillon, hypothèses d’identification discutées, code disponible. Le débat entre Kydland et Prescott, qui défendent l’expérience computationnelle, et Hansen et Heckman, qui lui opposent l’exigence de fondements empiriques estimés, est exactement la frontière entre ces deux barreaux. Je la tranche du côté de l’estimation : ce qui distingue 50 de 20, c’est que les données ont eu le droit de contredire le modèle.

La conséquence pratique est simple. Un article dont le cœur est un cadre canonique, la théorie des options réelles ou un modèle d’équilibre appliqué à un cas, n’est pas noté comme une opinion. Il est noté selon le degré de confrontation empirique de son modèle, et ce degré doit être lisible dans le texte.

Plafond de partie prenante

Quand la preuve centrale d’un article vient d’une source de tier P, l’article est plafonné à 50, le barreau médian, quel que soit le devis employé. Une source est de tier P quand elle a un intérêt propre au sujet qu’elle commente : intérêt commercial, ou intérêt à ce que le travail qu’elle a elle-même produit soit validé.

Le cas économique sensible n’est pas commercial, et c’est ce qui le rend facile à manquer. Une banque centrale qui publie une évaluation de la politique monétaire évalue sa propre doctrine. La BRI qui apprécie les stablecoins au regard des propriétés de la monnaie de banque centrale arbitre une controverse portant sur son objet institutionnel. Le FMI qui chiffre les effets d’une consolidation budgétaire évalue des programmes qu’il recommande : Blanchard et Leigh ont montré que les erreurs de prévision de croissance du Fonds étaient corrélées à l’ampleur de la consolidation annoncée, autrement dit que la projection incorporait un multiplicateur budgétaire sous-estimé, ce que le Fonds a lui-même reconnu. C’est le meilleur exemple public de ce que ce plafond protège : ces institutions publient de la méthode, souvent excellente, et sont malgré tout juges de leur propre doctrine.

Le plafond n’est donc pas une accusation de malhonnêteté, et il ne dit rien de la qualité technique du travail. Il dit une seule chose : la vérification indépendante manque, et la vérification indépendante fait partie du dispositif probatoire. Un rapport commandé par une organisation qui défend la thèse qu’il conclut tombe sous la même règle, y compris quand le producteur est un prévisionniste réputé et que sa méthode est publique.

Deux précisions d’application. Le plafond porte sur la preuve centrale, celle qui soutient l’affirmation principale du texte, pas sur toute source de tier P citée en passant : un article peut citer une banque centrale pour une série de taux sans être plafonné, parce qu’une série n’est pas une thèse. Et le plafond se lève quand un travail indépendant a retrouvé le même résultat sur les mêmes données : ce n’est plus alors la partie prenante qui porte la preuve.

Ce sur quoi cette échelle s’appuie

Barreau par barreau, du sommet au plancher, voici ce qui justifie la position de chaque cran et d’où vient cette justification.

100, préenregistré et répliqué sur données originales. Ce barreau est au sommet parce qu’il ferme les deux brèches que rien d’autre ne ferme : le choix de l’analyse après coup, et l’erreur de traitement non détectée. L’infrastructure qui le rend possible est publique et datée : le registre des essais randomisés de l’American Economic Association, ouvert en 2013, la politique de disponibilité des données et du code de l’AEA, qui fait vérifier la reproductibilité avant publication par un éditeur de données dédié, et l’Institute for Replication, créé en 2022, qui publie des rapports de reproduction et de réplication de travaux parus dans les grandes revues. Sur ce que la transparence change à la crédibilité d’un résultat, Christensen et Miguel, Journal of Economic Literature, 2018. Sur les limites du préenregistrement, Olken, Journal of Economic Perspectives, 2015. Sur le fait que la réplication ne va pas de soi même en laboratoire, Camerer et ses coauteurs, Science, 2016.

85, expérience naturelle bien identifiée. Sa position juste sous le sommet vient de ce que l’économie a appris depuis les années 1990 : la crédibilité d’un résultat tient d’abord au devis, pas au raffinement de l’estimateur. C’est la thèse d’Angrist et Pischke, Journal of Economic Perspectives, 2010. L’exigence que l’hypothèse d’identification soit testée et non seulement affirmée n’est pas un excès de zèle : Brodeur, Cook et Heyes, American Economic Review, 2020, montrent que l’intensité du p-hacking dépend de la méthode employée, les devis instrumentaux et en différences de différences étant plus exposés que les régressions sur discontinuité et les essais randomisés.

70, synthèse quantitative corrigée du biais de publication. Ce barreau est sous l’expérience naturelle, et non au-dessus comme dans les échelles calquées sur la médecine, à cause de deux résultats. D’abord la sélection : Ioannidis, Stanley et Doucouliagos, The Economic Journal, 2017, sur la faiblesse de la puissance médiane et l’exagération des effets publiés, et Brodeur, Lé, Sangnier et Zylberberg, American Economic Journal: Applied Economics, 2016, sur la distribution creusée des statistiques de test juste sous le seuil de significativité. Card et Krueger, American Economic Review, 1995, avaient déjà établi cette sélection sur la littérature du salaire minimum. Ensuite l’hétérogénéité : Meager, American Economic Journal: Applied Economics, 2019, montre sur les essais de microcrédit qu’une synthèse reste informative à condition de modéliser la variation entre contextes plutôt que de la moyenner.

50, modèle structurel estimé. Sa place au milieu vient de ce qu’il répond à des questions que rien d’autre n’atteint, sans offrir la variation exogène qui fonde les deux barreaux du haut. Nakamura et Steinsson, Journal of Economic Perspectives, 2018, posent ce problème pour la macroéconomie, où les expériences naturelles sont rares. La frontière entre ce barreau et celui du calibré vient du débat entre Kydland et Prescott et entre Hansen et Heckman, publié dans le même numéro du Journal of Economic Perspectives en 1996 : la question y est de savoir si des paramètres posés valent des paramètres estimés. Cette échelle tranche du côté de l’estimation.

35, comportement observé sans identification établie. Ce barreau existe parce qu’il fallait un cran pour la très grande masse des travaux qui mesurent bien une grandeur réelle sans établir sa cause. Il se justifie en creux, par les mêmes travaux que le barreau 85 : si le devis fait la crédibilité, alors une mesure dont l’hypothèse d’identification est affirmée mais non testée ne peut pas être notée comme une mesure dont elle l’est. La grandeur reste vraie, l’attribution causale reste ouverte.

20, chiffre non comportemental. Trois objets sont réunis ici parce qu’ils partagent un même défaut : le nombre ne provient d’aucun acte observé. Sur les préférences déclarées, l’écart systématique entre consentement à recevoir et consentement à payer pour un même bien est documenté de longue date, notamment par la revue de Horowitz et McConnell, Journal of Environmental Economics and Management, 2002 : un chiffre déclaré n’est pas un prix de marché. Sur les projections d’institution, Blanchard et Leigh, American Economic Review, 2013, montrent que les erreurs de prévision de croissance du FMI étaient corrélées à l’ampleur des consolidations budgétaires annoncées, c’est-à-dire qu’une projection transporte les hypothèses de son producteur. Sur les modèles calibrés, la critique adressée par Hansen et Heckman à l’expérience computationnelle s’applique directement.

8, raisonnement théorique seul. Le plancher se définit par exclusion : aucun paramètre confronté aux données, aucun contrefactuel réfutable, aucune grandeur mesurée. Un cadre analytique peut être parfaitement solide et rester à ce barreau, parce que l’échelle note la distance au meilleur dispositif probatoire du champ, pas l’élégance du raisonnement. Un mécanisme démontré n’est pas un effet mesuré.