Échelle de preuve Finance (ISP-F)

Ce que ce champ peut établir

La finance n’a qu’une réalisation de son histoire et aucun moyen de la rejouer. On ne randomise ni un cycle de taux ni une crise de liquidité, et la précision d’une prime de risque estimée dépend de la longueur de la période observée, pas de la finesse de l’échantillonnage (Merton, 1980) : allonger la série n’aide pas quand le régime change entre-temps. S’y ajoutent deux contraintes propres au champ. Le résultat publié se détruit lui-même, puisqu’une régularité connue est arbitrée (McLean et Pontiff, 2016). Et la donnée est très souvent produite par quelqu’un qui vend quelque chose.

L’échelle générique classe mal ces dispositifs parce qu’elle est ordonnée sur la capacité à randomiser un traitement individuel. Elle met au sommet la méta-analyse, qui en finance agrège un corpus déjà filtré par le biais de publication, et elle jette dans « étude de cas » aussi bien un backtest publicitaire qu’une mesure exhaustive sur données de supervision.

Ici, 100 ne désigne pas l’essai clinique, mais le dispositif le plus coûteux que ce champ sache produire : une affectation tirée au sort par un régulateur sur des actifs réels, avec groupe de contrôle constitué avant l’intervention.

Les huit barreaux

id	score	nom	ce qui qualifie	ce qui ne qualifie pas
`essai-randomise-de-marche`	100	Essai randomisé de marché	L’affectation au traitement est tirée au sort par un tiers qui n’a pas d’intérêt au résultat (régulateur, opérateur d’infrastructure), sur une population réelle d’actifs, d’intermédiaires ou d’investisseurs, avec groupe de contrôle et périmètre publiés avant l’intervention. Cas réels : le Reg SHO Pilot de la SEC (un tiers du Russell 3000 tiré au sort et exempté de la règle de prix sur la vente à découvert), le Tick Size Pilot 2016-2018, les essais randomisés de courriers d’information aux investisseurs conduits par un superviseur.	Une expérience naturelle où l’affectation suit un seuil ou une décision d’entreprise, même parfaitement exogène : personne n’a tiré au sort, elle relève du barreau 3. Une expérience de laboratoire sur étudiants : la randomisation est réelle, la population ne porte aucun risque. Une preuve centrale de tier P ne monte jamais ici (plafond au barreau 4).
`replication-hors-echantillon`	85	Réplication hors échantillon par un tiers	Un résultat déjà publié est re-testé par une équipe qui ne l’a pas produit, sur des données que cette équipe ne pouvait pas exploiter au moment de la formulation (période postérieure, autre marché, autre juridiction), avec le nombre de spécifications essayées déclaré, une correction pour tests multiples, et du code re-exécutable. Cas réels : McLean et Pontiff (2016) sur 97 anomalies, Hou, Xue et Zhang (2020) sur 452, le protocole multi-équipes de Menkveld et al. (2024).	Une re-estimation sur la même fenêtre avec une autre spécification : c’est un test de robustesse, pas une réplication, et elle retombe au barreau 4. Une méta-analyse de résultats publiés sans re-estimation sur données brutes : elle hérite du biais de publication du corpus qu’elle agrège. Un test hors échantillon conduit par l’auteur du résultat initial sur des données qu’il détenait déjà. Preuve centrale de tier P : plafond au barreau 4.
`quasi-experience-institutionnelle`	70	Quasi-expérience institutionnelle	L’identification vient d’un événement institutionnel daté et non anticipé qui touche un groupe d’actifs ou d’agents et pas un autre : franchissement d’un seuil de rang lors d’une reconstitution d’indice, création ou fermeture de fonds utilisée comme instrument, changement de règle, décision de banque centrale isolée dans une fenêtre intra-journalière étroite. Exige un groupe de contrôle, un test de placebo ou de tendances parallèles, et la discussion de ce qui bouge en même temps que l’événement.	Un modèle à séries temporelles (VAR, BVAR à restrictions de signe, ordre de Cholesky, modèle factoriel) dont l’identification repose sur des restrictions imposées par l’analyste et non sur un événement observé : il retombe au barreau 4, même quand ses auteurs le présentent comme structurel. Une étude d’événement dont la fenêtre est assez large pour absorber d’autres nouvelles. Preuve centrale de tier P : plafond au barreau 4.
`mesure-exhaustive-de-marche`	50	Mesure sur données de marché exhaustives	Une mesure calculée sur la population complète des actifs ou des transactions concernés (tous les constituants d’un indice, toutes les transactions déclarées à TRACE, un panel de fonds incluant les fonds disparus), reproductible à partir de données que le lecteur peut se procurer. Inclut les modèles économétriques estimés sur ces données sans source de variation exogène. Barreau médian : plafond de toute preuve centrale de tier P.	La même mesure calculée sur un échantillon sélectionné après coup : indices de hedge funds à déclaration volontaire, palmarès de fonds survivants, historiques d’indice rétro-calculés. Un rendement espéré présenté comme précis parce que l’échantillonnage est fin, alors que la précision d’une moyenne ne dépend que de la longueur de la période (Merton, 1980).
`estimation-grand-echantillon-de-marche`	40	Estimation sur grand échantillon de marché non exhaustif	Une estimation conduite sur un grand nombre de transactions, d’actifs ou d’agents réels, tirés d’une base de marché dont le périmètre est déclaré avant l’analyse : exclusions de segment, de notation ou de taille annoncées comme bornes du champ étudié, jamais comme tri sur le résultat. L’effectif est publié, et la base est identifiée. Sans source de variation exogène. Cas réels : une régression sur les prêts syndiqués américains d’une base commerciale hors segment intermédiaire, une estimation sur un extrait sectoriel de comptes d’entreprises cotées.	Un échantillon dont les exclusions portent sur la variable expliquée ou sur l’issue observée (fonds survivants, émetteurs restés notés, contrats non résiliés) : c’est une sélection après coup, elle retombe au barreau 7. Un effectif non publié, ou une base non nommée. Une base présentée comme exhaustive sans que sa couverture soit déclarée : si elle l’est réellement, l’article le montre et monte au barreau 4. Deux échantillons de périmètres différents dont les coefficients sont comparés terme à terme.
`agregat-institutionnel`	35	Agrégat institutionnel ou de supervision	Un agrégat mesuré et publié par une institution qui a accès à des remontées réglementaires que personne d’autre ne peut reconstituer (BRI, FSB, BCE, ESMA, AMF, FINRA), utilisé pour ce qu’il mesure et rien de plus. C’est souvent la seule mesure existante d’un marché opaque, et c’est une mesure, pas une identification.	Le mécanisme causal que le même rapport propose autour de son agrégat : il n’est pas testé, il relève du barreau 8. Un agrégat dont l’institution reconnaît elle-même que la donnée sous-jacente est mal divulguée, sans que l’article le dise. Deux agrégats de deux institutions sur des périmètres différents, comparés ou additionnés terme à terme.
`simulation-ou-episode`	20	Simulation historique ou épisode unique	Backtest, simulation historique, calcul de sensibilité (duration, convexité, choc de taux parallèle), reconstitution d’un épisode unique, comparaison d’un couple de produits réels. Reproductible et utile, mais sans population de contrôle ni validation hors échantillon.	Présenter un calcul sur un ou deux cas comme une mesure de population : un couple de fonds ne mesure pas un marché, et cette confusion est le glissement le plus fréquent vers le barreau 4. Présenter la sortie d’une simulation comme un fait observé. Un backtest dont le nombre d’essais n’est pas déclaré.
`mecanisme-raisonne`	8	Mécanisme raisonné, analogie ou lecture documentaire	Modèle théorique sans estimation, analogie historique, transposition d’un cadre venu d’un autre domaine, indicateur proposé mais jamais calculé sur données réelles, scénario ou projection. Y qualifie aussi la lecture d’un document : établir ce qu’une institution écrit, et le rang qu’elle pose entre ses propres énoncés, en ayant lu la pièce entière, en déclarant les chaînes recherchées et en publiant leur décompte, zéros compris.	Faire passer l’analogie pour l’épisode : citer 2008 ou la bulle internet ne prouve rien du mécanisme actuel, et l’épisode invoqué ne fait pas monter l’article au barreau 7 s’il n’a pas été reconstitué sur données. Un chiffre d’illustration explicitement construit pour l’exemple, cité ensuite comme une mesure. Tirer d’une lecture documentaire une affirmation sur le marché : ce que la BRI ou le FSB écrit d’un risque n’est pas une mesure de ce risque, et le barreau ne monte pas parce que l’auteur du document est prestigieux.

Règle de plafond (tier P). Quand la preuve centrale d’un article repose sur une source de tier P, c’est-à-dire une partie prenante ayant un intérêt propre au sujet qu’elle commente, commercial ou parce qu’elle a produit le travail commenté, l’article ne peut pas dépasser le barreau 4, mesure sur données de marché exhaustives, à 50 points, quel que soit le raffinement apparent du dispositif.

Règle de classement. Le barreau retenu est celui du dispositif qui établit l’affirmation portant l’information nouvelle de l’article, pas celui de la source la plus prestigieuse citée ni celui de l’affirmation la plus visible. En pratique, c’est l’affirmation que reprend la réponse de la fiche de décision.

Le cas de la lecture documentaire

Une pièce qui lit un rapport et rend compte de ce qu’il écrit tombe au dernier barreau, à 8 points, et ce n’est pas une sévérité de principe. Un tel travail peut être irréprochable : le document lu en entier, les chaînes de recherche déclarées, leur décompte publié, les affirmations d’absence exposées à la contradiction de quiconque rouvre la source. Il établit alors avec certitude ce qu’une institution écrit. Mais ce qu’une institution écrit d’un marché n’est pas une mesure de ce marché, et l’axe du type de preuve note la distance au meilleur dispositif que la finance sache produire sur son objet, pas la qualité de l’exécution.

Le score de 8 dit donc une chose précise : la question posée est documentaire, et aucun dispositif de ce champ ne s’y applique. La rigueur de la lecture se lit ailleurs, sur les axes de convergence, de réplication et de puissance, et dans le relevé versé au dossier.

Le cas du backtest

Un backtest tombe par défaut au barreau 7, simulation historique ou épisode unique, à 20 points. Ce n’est pas une sévérité de principe : un backtest est un ajustement à un échantillon, et le nombre d’essais qui a précédé le résultat montré est presque toujours inconnu du lecteur. La littérature sur le sur-ajustement de backtest (Bailey, Borwein, López de Prado et Zhu, 2014, et le Sharpe dégonflé qui en découle) montre qu’avec assez d’essais, un ratio de Sharpe flatteur est obtenu sur des données aléatoires. Le score de 20 est le prix de cet inconnu, pas un jugement sur l’auteur.

Il monte au barreau 4 (50) si les cinq conditions sont réunies et vérifiables : univers incluant les titres et fonds radiés (pas de biais du survivant) ; coûts de transaction, impact de marché, frais et coût d’emprunt des titres modélisés explicitement ; un seul jeu de paramètres, fixé avant l’exécution ; nombre total de spécifications essayées déclaré ; code et données re-exécutables par un tiers.

Il monte au barreau 2 (85) dans un seul cas : le test est refait par une équipe qui n’a pas conçu la stratégie, sur une période postérieure à la publication de la règle, avec correction pour tests multiples. C’est exactement ce que fait la littérature de réplication d’anomalies, et c’est aussi ce qui explique pourquoi tant de stratégies publiées cessent de fonctionner une fois connues.

Il ne monte jamais au-dessus de 50 quand il est produit par l’émetteur du produit qu’il justifie, même si les cinq conditions ci-dessus sont cochées : le plafond de tier P s’applique avant tout le reste. Un historique d’indice rétro-calculé avant la date de lancement de l’indice est un backtest, quelle que soit la présentation retenue.

Plafond de partie prenante

En finance, la partie prenante n’est pas l’exception, c’est le mode de production dominant de la donnée. Sont presque toujours de tier P :

les backtests et historiques rétro-calculés publiés par l’émetteur d’un produit, d’un indice ou d’une stratégie qu’il commercialise ;
les fournisseurs d’indices et de comparatifs qui tirent des revenus de la licence de leurs propres indices, y compris quand la méthodologie est publique et de bonne qualité, comme les palmarès de gestion active contre gestion passive publiés par un fournisseur d’indices ;
les notes de recherche vendeur des courtiers et banques d’investissement, dont l’économie dépend du flux d’ordres ou d’une relation d’émission ;
les rapports et lettres de gérants sur leurs propres fonds, et toute performance auto-déclarée ;
les bases de hedge funds alimentées par déclaration volontaire, avec biais du survivant et remplissage rétroactif documentés ;
les publications d’associations professionnelles et de plateformes de praticiens, qui représentent les intérêts d’un secteur : c’est souvent la seule source chiffrée sur un marché privé, et c’est aussi celle qui a intérêt à l’afficher plus large et plus mature ;
les gérants qui publient une étude sur le coût d’un dispositif dont ils vendent par ailleurs la couverture ;
les notations d’agences payées par l’émetteur noté ;
et le cas le moins évident, le plus fréquent en stabilité financière : une institution publique qui documente un problème et promeut sa propre solution dans le même rapport. L’intérêt n’y est pas commercial, il tient à ce que l’auteur du diagnostic a produit le remède qu’il recommande.

Conséquence opérationnelle : dès que l’affirmation centrale d’un article ne tient plus si l’on retire une de ces sources, l’article plafonne à 50, même quand la source est méthodologiquement irréprochable. Le plafond ne sanctionne pas une malhonnêteté supposée, il sanctionne l’absence de contre-mesure indépendante. Il se lève par une seule chose : une mesure du même objet par une source qui n’a rien à gagner à son résultat.

Ce sur quoi cette échelle s’appuie

La finance n’a pas de hiérarchie officielle des preuves, rien qui ressemble à GRADE ou à la pyramide de la médecine fondée sur les faits. C’est d’ailleurs pour cela qu’on lui applique par défaut celle d’un autre champ. L’ordre retenu ici combine quatre critères que la littérature financière traite comme discriminants : l’origine de la variation observée, la validation hors de l’échantillon d’origine, l’exhaustivité des données, et l’indépendance de celui qui les produit. Barreau par barreau, du sommet au plancher :

1. Essai randomisé de marché (100). Il occupe le sommet parce que c’est le seul dispositif où l’appartenance au groupe traité ne peut pas s’expliquer par une caractéristique des actifs eux-mêmes. La finance en produit très peu, et toujours par la main d’un régulateur : le Regulation SHO Pilot de la SEC (2004-2007), qui a tiré au sort un tiers des titres du Russell 3000 pour les exempter de la règle de prix sur la vente à découvert, puis le Tick Size Pilot de la SEC (2016-2018). Ce que ce tirage permet d’établir, et qu’aucune autre configuration ne permet, est visible dans son exploitation académique : Diether, Lee et Werner, « It’s SHO Time! », Review of Financial Studies, 2009.

2. Réplication hors échantillon par un tiers (85). Juste en dessous, parce qu’en finance un résultat survit rarement à sa propre publication. McLean et Pontiff (« Does Academic Research Destroy Stock Return Predictability? », Journal of Finance, 2016) documentent l’érosion des anomalies une fois qu’elles sont connues du marché ; Hou, Xue et Zhang (« Replicating Anomalies », Review of Financial Studies, 2020) montrent qu’une large part d’entre elles ne résiste pas à une re-estimation soigneuse. Harvey, Liu et Zhu (Review of Financial Studies, 2016) en tirent la règle pratique : dans un champ où des milliers de signaux ont été testés sur les mêmes séries, le seuil de significativité usuel ne protège de rien, et il faut le relever. Menkveld et al. (« Nonstandard Errors », Journal of Finance, 2024) ajoutent la dernière brique en faisant traiter la même question par un grand nombre d’équipes indépendantes : les résultats se dispersent par le seul effet des choix de spécification.

3. Quasi-expérience institutionnelle (70). C’est le meilleur dispositif que la finance produise couramment, et le premier cran où la variation n’est plus tirée au sort mais reste extérieure à l’analyste. Deux traditions le fondent. Celle des reconstitutions d’indice, ouverte par Shleifer (« Do Demand Curves for Stocks Slope Down? », Journal of Finance, 1986) et reprise notamment par Ben-David, Franzoni et Moussawi (« Do ETFs Increase Volatility? », Journal of Finance, 2018), où le franchissement d’un seuil de rang joue le rôle de l’affectation. Celle des surprises de politique monétaire mesurées en fenêtre étroite, de Kuttner (Journal of Monetary Economics, 2001) à Gürkaynak, Sack et Swanson (2005). Le cran ne monte pas plus haut parce que cette identification reste fragile : Nakamura et Steinsson (Quarterly Journal of Economics, 2018) montrent qu’une décision de banque centrale transporte aussi de l’information sur l’économie, ce qui brouille l’interprétation du choc.

4. Mesure sur données de marché exhaustives (50). Position médiane, et elle est méritée dans les deux sens. Vers le haut, ce type de mesure est solide : elle porte sur la population complète et se recalcule. Vers le bas, elle ne fournit aucun contrefactuel, et elle bute sur une limite structurelle démontrée par Merton (« On Estimating the Expected Return on the Market », Journal of Financial Economics, 1980) : la précision d’un rendement espéré dépend de la longueur de la période, pas de la finesse de l’échantillonnage. Roll (Journal of Financial Economics, 1977) avait déjà établi que le portefeuille de marché lui-même n’est pas observable. L’exigence d’univers complet, elle, vient des travaux sur le biais du survivant, notamment Brown, Goetzmann, Ibbotson et Ross (« Survivorship Bias in Performance Studies », Review of Financial Studies, 1992). L’exigence de code et de données re-exécutables suit les politiques de disponibilité adoptées par les grandes revues d’économie et de finance, dont celle de l’American Economic Association.

5. Estimation sur grand échantillon de marché non exhaustif (40). Ajouté le 16 septembre 2026, et longtemps absent de cette section : entre la mesure exhaustive et l’agrégat de supervision, il manquait le cas le plus courant de la recherche appliquée, une estimation sur un grand nombre de transactions ou d’agents réels tirés d’une base dont le périmètre est déclaré avant l’analyse. Ce qui le sépare du barreau 4 est la couverture : la base est identifiée et l’effectif publié, mais elle ne prétend pas au marché entier. Ce qui le sépare du barreau 6 est le grain : on observe des unités, pas un agrégat remonté par des autorités. Et ce qui le fait tomber au barreau 7 est une exclusion qui porte sur l’issue observée, fonds survivants ou contrats non résiliés, parce qu’une sélection après coup ne s’estime plus, elle se raconte.

6. Agrégat institutionnel ou de supervision (35). Placé sous la mesure exhaustive, mais nettement au-dessus d’une étude de cas, parce qu’il repose sur des collectes réglementaires qu’aucun acteur privé ne peut reconstituer : TRACE pour les transactions obligataires américaines, les déclarations EMIR pour les dérivés européens, le Consolidated Audit Trail pour les ordres sur les marchés américains. Ce sont de vraies mesures, souvent les seules disponibles sur un marché opaque. Elles ne portent aucune identification : un encours mesuré ne dit rien du mécanisme qui le fait bouger.

7. Simulation historique ou épisode unique (20). Bas dans l’échelle pour une raison précise et démontrée : le nombre d’essais qui a précédé le résultat montré est presque toujours invisible au lecteur. Bailey, Borwein, López de Prado et Zhu (« Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance », Notices of the American Mathematical Society, 2014) montrent qu’avec assez d’essais, une performance simulée flatteuse s’obtient même sur des données sans aucun signal. Le barreau ne juge pas l’auteur, il tarife cet angle mort.

8. Mécanisme raisonné ou analogie (8). Au plancher parce que le raisonnement seul ne dit rien de la période où il vaut. Lo (« The Adaptive Markets Hypothesis », Journal of Portfolio Management, 2004) formule la raison : les régularités financières se déforment avec l’environnement et le comportement des participants. Un mécanisme cohérent y reste une hypothèse tant qu’il n’a pas été confronté à des données, et une analogie historique n’est pas une confrontation.