Échelle de preuve Intelligence artificielle (ISP-IA)

Ce que ce champ peut établir

La contrainte propre à ce champ n’est pas la taille des échantillons, c’est l’impossibilité de garantir qu’un modèle n’a pas déjà vu l’épreuve. Un jeu de test publié entre dans le corpus d’entraînement suivant, et un score cesse alors de mesurer une capacité pour mesurer une mémoire. S’y ajoute une asymétrie de production : l’essentiel des chiffres de performance est publié par celui qui vend le modèle, sur un banc qu’il a choisi, contre des références qu’il a choisies.

L’échelle générique classe mal ce champ parce qu’elle a été taillée pour l’épidémiologie. Elle n’a aucun barreau pour un banc d’essai reproductible, qui n’est ni une méta-analyse ni une étude de cas, et le fait donc tomber à 20 points, dans le même barreau qu’une démonstration commerciale.

Le meilleur disponible ici n’est pas la méta-analyse. C’est le dispositif qui neutralise les deux failles à la fois : une épreuve que le modèle ne pouvait pas connaître, administrée par quelqu’un qui n’a rien à gagner au résultat, et mesurée sur une tâche réelle plutôt que sur un banc. Ce dispositif existe, il est rare, et il coûte cher.

Les sept barreaux

id	score	nom	ce qui qualifie	ce qui ne qualifie pas
`essai-terrain-randomise`	100	Essai de terrain randomisé et préenregistré	Affectation aléatoire d’utilisateurs réels à un système d’IA ou à sa version sans IA, critère principal et plan d’analyse déposés avant la collecte, exécution ou audit par une équipe sans intérêt dans le système, résultat publié avec le protocole. La tâche mesurée est le travail réel, pas un banc.	Une expérimentation randomisée sur un banc d’essai plutôt que sur des utilisateurs. Un pilote terrain dont le critère de succès a été choisi après avoir vu les données. Un test A/B interne rapporté par le fournisseur : ce sont des dispositifs du barreau 4 ou 5, l’aléatoire seul ne fait pas monter d’un cran.
`evaluation-tierce-jeu-cache`	85	Évaluation tierce sur jeu de test jamais publié	L’évaluateur détient un jeu de test qui n’a jamais été rendu public, exécute lui-même les soumissions sous protocole et budget de calcul figés, rapporte plusieurs graines et un intervalle. Le candidat ne voit ni les items, ni les réponses.	Un banc public administré par un tiers respectable : le jeu ayant circulé, la contamination n’est plus exclue. Un classement où le participant exécute lui-même l’évaluation et déclare son score. Une évaluation tierce à exécution unique, sans graines ni intervalle.
`replication-independante`	70	Réplication ou ablation indépendante à partir des artefacts	Une équipe sans lien avec les auteurs ré-exécute le résultat de bout en bout à partir des artefacts publiés (code, poids, données, graines), ou isole par ablation la part réellement attribuable au mécanisme revendiqué. Cas équivalent en force : une évaluation construite pour être hors entraînement par le temps (données strictement postérieures à la date de coupure), conduite par une équipe sans intérêt dans le modèle.	Un travail de suivi qui cite, étend ou commente le résultat sans le ré-exécuter. Une ablation qui explique un score sans le reproduire : elle qualifie pour la thèse du mécanisme, pas pour celle du score. Une coupure de connaissances déclarée par le fournisseur et jamais vérifiable de l’extérieur, seule, ne monte pas au barreau 2.
`faisceau-primaire-convergent`	50	Faisceau de sources primaires convergentes	Plusieurs sources primaires indépendantes entre elles se recoupent sur le fait allégué : texte officiel publié, documentation technique versionnée et datée, fiche de modèle, dépôt public, déploiement commercial vérifiable. Chaque élément est retrouvable à sa source par un lecteur. Barreau médian : plafond de tout article dont la preuve centrale vient d’une source de tier P.	Une convergence entre commentaires secondaires qui remontent tous à la même source primaire : c’est un écho, pas une convergence. Un fait établi par la seule communication du fournisseur. Un faisceau de sources primaires ne devient jamais une réplication : il établit qu’une chose existe et à quelle date, jamais qu’elle produit l’effet annoncé.
`resultat-outille-non-replique`	35	Résultat outillé, jamais ré-exécuté	Un résultat empirique publié avec de quoi le contester : protocole complet, code ou données, graines multiples, intervalles, banc identifié et daté. Personne ne l’a encore ré-exécuté, y compris quand l’auteur du modèle le publie lui-même.	Le fait que les artefacts soient publiés ne vaut pas réplication, même quand plusieurs équipes bâtissent dessus. Un résultat outillé mais mesuré sur un banc dont le jeu de test précède l’entraînement du modèle reste ici, il ne monte pas au barreau 3 tant que la décontamination n’est pas documentée.
`demonstration-ou-analogie`	20	Démonstration isolée, cas unique ou transposition analogique	Une exécution unique sans graines ni intervalle, une démonstration produit, un cas client, un préprint isolé, un incident documenté par la presse. Également ici : une transposition appuyée sur des dispositifs réels et documentés à leur source, mais jamais assemblés ni testés sur la question posée.	Ce barreau ne monte pas au barreau 5 tant que les artefacts manquent : un chiffre impressionnant sans protocole reste une démonstration, quel que soit le lieu de publication. Une analogie ne monte pas non plus parce que ses briques sont solides séparément : c’est l’assemblage qui est en cause.
`argument-de-conception`	8	Argument de conception ou de conviction	Raisonnement d’architecture, extrapolation d’une trajectoire, feuille de route annoncée, montant levé, adhésion d’acteurs réputés. Aucun dispositif empirique n’est mobilisé sur la question posée.	Un capital engagé n’est pas une mesure : il exprime la conviction d’investisseurs. Une architecture cohérente n’est pas un résultat. Dès qu’une seule mesure documentée existe sur la question posée, l’article relève du barreau 6, pas d’ici.

Les pièges propres au champ

Contamination du jeu de test. Un score obtenu sur un banc public dont le jeu de test est antérieur à l’entraînement du modèle plafonne au barreau 5, et tombe au barreau 6 si l’article ne dit rien de la date de coupure ni d’une procédure de décontamination.
Évaluation par l’auteur du modèle. Elle plafonne au barreau 4 par la règle de plafond ci-dessous, et au barreau 6 quand les artefacts ne permettent pas à un tiers de la contester.
Banc d’essai saturé. Quand les meilleurs scores d’un banc tiennent dans quelques points, ou dans la marge d’erreur d’annotation du jeu lui-même, l’écart mesuré ne discrimine plus : le résultat perd un barreau, parce que le dispositif ne mesure plus ce que l’article lui fait dire.
Absence de graines et d’intervalles. Un chiffre issu d’une exécution unique, sans graines multiples ni intervalle, ne dépasse pas le barreau 6, quel que soit le prestige du lieu de publication.

Les sujets d’adoption et de réglementation

Ces articles ne se mesurent pas au même dispositif, et le nier serait la manière la plus sûre de les mal classer : aucun banc d’essai n’établit ce que dit l’AI Act. Ils se rangent par la règle suivante.

Ce que dit une norme (texte en vigueur, date d’application, périmètre, plafond de sanction) : barreau 3 quand la preuve centrale est le texte primaire publié, complet et en vigueur, recoupé avec les lignes directrices officielles de l’autorité qui l’applique. Barreau 3 est le plafond de cette famille : un texte primaire prouve parfaitement une norme et ne prouve jamais un effet. Descendre au barreau 4 dès que la preuve centrale passe par des commentaires de cabinets, même convergents, ou au barreau 6 quand la question posée est l’interprétation d’une notion qu’aucune décision d’application n’a encore tranchée. Descendre au barreau 4 également quand la preuve centrale est le texte primaire seul, publié et en vigueur, mais sans les lignes directrices officielles qui permettraient le recoupement : le texte établit parfaitement ce qu’il prescrit, il ne dit pas comment l’autorité qui l’applique l’entend. Ce cas atteint le même barreau qu’un faisceau de commentaires de cabinets, et pour la raison inverse : ce qui manque n’est pas l’autorité de la source, c’est le second regard.
Ce que produit une norme, ou la diffusion réelle d’un usage (qui se met en conformité, qui porte le sujet en interne, quelle fonction adopte quoi) : ce sont des affirmations d’effet, elles se rangent sur l’échelle ordinaire des barreaux 1 à 7. Une enquête déclarative auprès de décideurs, commanditée par un acteur qui vend du conseil sur le sujet mesuré, relève du barreau 6 : elle mesure des déclarations, pas des comportements, et son commanditaire a intérêt au résultat.

Plafond de partie prenante

Quand la preuve centrale d’un article repose sur une source de tier P, c’est-à-dire une partie prenante ayant un intérêt propre au sujet qu’elle commente (elle le vend, ou elle a produit le travail qu’elle commente), l’article ne peut pas dépasser le barreau 4, à 50 points, quel que soit le soin de la démonstration.

C’est le point le plus sensible de ce domaine, et de loin. En IA, la quasi-totalité de l’évaluation de performance est publiée par celui qui vend le modèle : le fournisseur choisit le banc, choisit les modèles de comparaison, choisit le moment de publier, et dispose seul de l’information sur ce qui est entré dans l’entraînement. La contrainte ne vient pas d’une suspicion de mauvaise foi, elle vient de la structure : personne d’autre n’a les moyens de calcul pour évaluer un modèle de frontière, et personne d’extérieur ne peut vérifier une date de coupure déclarée. Un article d’IA qui ne cite que des sources fournisseur peut être exact, utile et bien écrit : il reste à 50 au maximum sur cet axe, parce qu’aucun lecteur ne peut le contredire avec les mêmes armes. Le plafond mord ici bien plus souvent que dans les autres domaines, et c’est voulu : il rend visible une dépendance que le reste de la couverture du secteur traite comme un détail.

Une conséquence pratique : la seule façon de repasser au-dessus de 50 sur un sujet de performance est d’aller chercher un dispositif tiers (réplication indépendante, ablation externe, évaluation hors entraînement par le temps), pas d’accumuler davantage de communications fournisseur.

Ce sur quoi cette échelle s’appuie

Chaque cran de l’échelle repose sur un critère que le champ s’est lui-même donné pour séparer un résultat solide d’un résultat fragile. Voici l’échelle relue de haut en bas, barreau par barreau.

1. Essai de terrain randomisé et préenregistré (100). Il est au sommet parce qu’il est le seul dispositif à couper les deux racines du doute en même temps : l’affectation aléatoire élimine la sélection des cas favorables, et la mesure sur une tâche réelle rend la mémorisation d’un jeu de test sans objet. Ce que doit déclarer un tel essai est fixé par les extensions CONSORT-AI et SPIRIT-AI (2020) pour les essais cliniques d’interventions fondées sur l’IA, et par TRIPOD+AI (2024) pour les modèles prédictifs. Le dispositif existe bel et bien : l’essai randomisé MASAI sur la lecture de mammographies assistée par IA (Lång et al., Lancet Oncology, 2023), l’expérience randomisée de Noy et Zhang sur des tâches d’écriture (Science, 2023), l’expérience de terrain de Dell’Acqua et al. (2023) conduite avec des consultants du BCG.

2. Évaluation tierce sur jeu de test jamais publié (85). Elle vient juste en dessous parce qu’elle neutralise la contamination et l’auto-déclaration, mais mesure une tâche de substitution et non le travail réel. Trois dispositifs de ce type sont publics : l’ARC Prize, qui conserve un jeu d’évaluation privé et exécute lui-même les soumissions ; MLPerf (MLCommons), dont les soumissions passent par des règles de division fermée et une revue par les autres soumissionnaires ; HELM (Stanford CRFM, Liang et al., 2022), qui ré-exécute les modèles sous un harnais standardisé au lieu de reprendre les scores déclarés. La limite qui l’empêche de valoir 100 est documentée : Bowman et Dahl (2021) et Raji et al. (2021) montrent qu’un banc, même bien tenu, ne mesure jamais tout à fait ce qu’on lui fait dire.

3. Réplication ou ablation indépendante (70). Un résultat qu’une autre équipe a ré-exécuté, ou dont elle a isolé le mécanisme réel, a survécu à l’épreuve que le champ considère comme décisive. C’est l’objet de la checklist de reproductibilité de NeurIPS et du ML Reproducibility Challenge, qui organise ces ré-exécutions. L’évaluation hors entraînement par le temps est logée au même cran : lorsque les données de test sont strictement postérieures à la date de coupure du modèle, la mémorisation est écartée sans jeu caché. Elle ne monte pas plus haut parce que la coupure reste déclarée par le fournisseur, un point que Lopez-Lira, Tang et Zhu (2025) établissent en montrant le rappel quasi parfait des valeurs antérieures à cette date.

4. Faisceau de sources primaires convergentes (50). Ce cran est celui du fait vérifiable : plusieurs documents primaires indépendants entre eux, retrouvables à leur source, se recoupent. La pratique de documentation du champ le rend possible, avec les fiches de modèle (Mitchell et al., 2019) et les fiches de jeu de données (Gebru et al., 2018), qui font d’une documentation technique un artefact citable. Il est au milieu et pas plus haut pour une raison de nature : un document primaire établit qu’une chose existe et à quelle date, jamais qu’elle produit l’effet annoncé.

5. Résultat outillé, jamais ré-exécuté (35). Ce qui distingue ce cran du suivant est la contestabilité : protocole, code, graines multiples, intervalles. Henderson et al. (2018) ont montré sur l’apprentissage par renforcement l’ampleur de la dispersion entre graines, et Dodge et al. (2019) ont établi qu’un résultat n’est interprétable qu’accompagné du budget de recherche qui l’a produit. Un résultat qui livre tout cela peut être attaqué par un tiers. Tant que personne ne l’a fait, il reste en dessous du barreau 3.

6. Démonstration isolée, cas unique ou transposition analogique (20). Un chiffre unique, sans artefacts, ne se distingue pas d’une mémorisation ni d’un coup de chance. La littérature sur la contamination le documente précisément : la section dédiée du papier GPT-3 (Brown et al., 2020), la présence de jeux de test dans le corpus C4 (Dodge et al., 2021), la contamination par reformulation (Yang et al., 2023), et le jeu GSM1K construit de zéro pour mesurer le surajustement à GSM8K (Zhang et al., 2024). La transposition analogique est logée ici pour une raison voisine : ses briques sont documentées, son assemblage n’a jamais été mesuré.

7. Argument de conception ou de conviction (8). Ce cran ne s’appuie sur aucune référence méthodologique, et c’est précisément sa définition : aucun dispositif n’a été mobilisé sur la question posée. Sa position est fixée par exclusion, en bas.

Un dernier repère traverse toute l’échelle : le AI Index de Stanford HAI documente année après année la part très majoritaire de l’industrie dans la production des modèles notables. C’est ce déséquilibre qui rend le plafond de partie prenante aussi structurant en IA que la contamination.