Comment je travaille

Méthodologie

Probans n’a pas vocation à donner des avis, mais à restituer l’état des preuves. Chaque analyse suit une démarche explicite, vérifiable et révisable. Pour le choix des sujets, la classification des sources et le rôle de l'assistance IA, voir lacharte éditoriale.

Mes principes

01

Priorité aux preuves

Une affirmation vaut ce que valent les données qui la soutiennent, ni plus ni moins.

02

Distinguer corrélation et causalité

Un lien statistique n’est pas une explication. Je nomme ce que les données permettent réellement de conclure.

03

Transparence des sources

Chaque conclusion renvoie à des données et à des études identifiables.

04

Revue critique

Les études sont jugées sur leur méthode, jamais sur la notoriété de leurs auteurs.

05

Humilité et mise à jour

Une analyse est révisée dès que les preuves changent. L’incertitude est exposée, pas dissimulée.

06

Réserves systématiques

Chaque analyse se termine par ce qu’elle ne prouve pas : limites de méthode, conflits d’intérêt des sources mobilisées, part d’extrapolation. Cette section existe sur toutes les analyses, pas seulement les plus fragiles.

La hiérarchie des preuves

Toutes les sources ne se valent pas. Je pondère chaque résultat selon la solidité de la méthode qui le produit.

Méta-analyses & revues systématiques
Preuve la plus forte
Essais randomisés contrôlés
Études observationnelles
Études de cas & données descriptives
Avis d’expert & raisonnement théorique
Preuve la plus faible

L'ISP : Indice de Solidité des Preuves

Chaque analyse Probans affiche un score ISP (0 – 100 %) qui résume la robustesse de la base empirique mobilisée, accompagné de son palier qualitatif et de la date à laquelle il a été établi : une révision ultérieure se lit ainsi comme une réévaluation datée, pas comme une correction discrète. Il résulte d'un calcul déterministe sur quatre critères pondérés ; l'IA propose une première évaluation de ces critères pour chaque analyse, que l'auteur valide ou corrige avant publication (voir lacharte éditoriale).

L'ISP n'est pas une note de l'article ni un jugement de valeur sur le sujet traité. C'est une mesure de la solidité des preuves disponibles à ce jour. Une analyse sur un sujet émergent peut afficher un ISP faible et rester intellectuellement précieuse : c'est précisément cette honnêteté que l'indice cherche à rendre visible plutôt qu'à dissimuler.

Les quatre critères

Type de preuve40 %

Du raisonnement théorique (5 pts) aux méta-analyses (100 pts) en passant par les RCT, quasi-expérimentaux et études longitudinales.

Convergence30 %

Les résultats entre études pointent-ils dans la même direction ? Une forte convergence indépendante score 100 pts ; la divergence, 5 pts.

Réplication20 %

Les conclusions ont-elles été reproduites indépendamment ? Une réplication confirmée vaut 100 pts ; absence de réplication connue, 10 pts.

Puissance (taille)10 %

Nombre d'observations sous-jacentes. Large (> 10 000) : 100 pts. Très petite (< 100) : 10 pts.

Interprétation des scores

76 – 100
Preuves solides

Multiple études convergentes, méthode solide, réplication indépendante.

56 – 75
Preuves modérées

Base empirique réelle, limites identifiées, prudence sur la généralisation.

31 – 55
Preuves limitées

Quelques données disponibles, mais méthode faible ou divergence notable.

0 – 30
Preuves très limitées

Essentiellement théorique ou descriptif, sans réplication indépendante.

La grille de notation complète

Chaque valeur ci-dessous est directement celle utilisée par le calcul, pas un résumé approximatif : cette page ne peut pas diverger du code réel du site.

Type de preuve40 %
Méta-analyse / revue systématique100 pts
Essai contrôlé randomisé80 pts
Quasi-expérimental (DiD, IV…)65 pts
Étude longitudinale45 pts
Étude transversale / sondage30 pts
Étude de cas / données descriptives15 pts
Raisonnement théorique5 pts
Convergence30 %
Forte convergence entre études100 pts
Convergence modérée60 pts
Résultats mixtes25 pts
Divergence entre études5 pts
Réplication20 %
Répliquée indépendamment100 pts
Répliquée une fois60 pts
Récente, non encore répliquée30 pts
Pas de réplication connue10 pts
Puissance (taille)10 %
Large (> 10 000 obs.)100 pts
Modérée (1 000 – 10 000)70 pts
Petite (100 – 1 000)35 pts
Très petite (< 100)10 pts
ISP

Pourquoi cet indice est propre à Probans

La plupart des médias et des publications académiques signalent un niveau de preuve de façon qualitative et implicite. L'ISP rend ce jugement explicite, quantifié et comparable d'un article à l'autre. Il est calculé sur les mêmes critères pour toutes les analyses du site, et publié systématiquement dès que les preuves disponibles le permettent.

L'objectif n'est pas de flatter les sujets bien dotés en données, mais de donner au lecteur le moyen de calibrer sa propre confiance dans les conclusions présentées, y compris quand elles restent modérées.

ESP — Évaluation Standard Probans

Avant et après publication, un contrôle qualité interne, mené indépendamment de la rédaction, vérifie que le texte atteint un niveau d'exigence précis. Le résultat s'affiche sous forme de badge, sans note chiffrée. Un badge « Validé » ne garantit pas l'absence d'erreur : il signifie qu'aucun défaut bloquant n'a été identifié lors de la dernière revue. Lorsqu'une erreur substantielle est identifiée après publication, le contenu peut repasser en « En révision » jusqu'à nouvelle validation.

ESP — Validé

Le texte a passé le protocole de contrôle qualité interne, mené indépendamment de sa rédaction : aucun défaut bloquant identifié lors de la dernière revue.

ESP — En révision

Le texte n'a pas encore atteint ce niveau d'exigence. Le sujet reste intéressant, une nouvelle revue est prévue.

Une analyse sans badge n'a pas encore été soumise à ce contrôle : son déploiement est en cours sur l'ensemble du site.

Mon processus

1

Question

Formuler une question précise et réfutable, et vérifier qu’elle mérite d’être creusée avant d’engager la rédaction.

2

Collecte

Rassembler les études et les données pertinentes.

3

Évaluation

Juger la qualité méthodologique de chaque source.

4

Synthèse

Pondérer les résultats selon leur robustesse.

5

Publication

Exposer la conclusion et, surtout, ses limites.

6

Mise à jour

Réviser à mesure que de nouvelles preuves émergent.

Ce que je ne fais pas

Reprendre une étude sans en examiner la méthode.
Confondre l’ampleur d’un effet avec sa significativité statistique.
Présenter une opinion comme un résultat établi.
Masquer l’incertitude pour gagner en impact.

Transparence & corrections

Les sources sont indiquées et les données rendues identifiables. Lorsqu’une erreur est constatée, l’article est corrigé et la modification signalée. Une analyse n’est jamais définitive : elle évolue avec les preuves.

Un sujet à passer au crible ?

Un chiffre, une étude ou une décision que vous aimeriez voir traité avec cette méthode : proposez-le.

Proposer un sujet

Newsletter

Recevoir les prochaines analyses

Choisissez les catégories qui vous intéressent.

Catégories