Ce qui explique vraiment la performance du HRM (et donc du TRM)

Le HRM (Hierarchical Reasoning Model) est le prédécesseur direct du TRM : deux réseaux qui se recursent à des fréquences différentes, présentés à l’origine comme une architecture inspirée du fonctionnement hiérarchique du cerveau. C’est ce récit qui a circulé. Une analyse indépendante de l’ARC Prize Foundation a voulu vérifier s’il tenait, en démontant l’architecture pièce par pièce plutôt qu’en prenant l’affirmation pour acquise. Le résultat déplace l’explication vers un endroit beaucoup moins spectaculaire — et la méthode utilisée pour l’établir mérite d’être comprise pour elle-même.

Deux réseaux, deux fréquences, un récit cérébral

Ce que les données établissent. Le HRM combine deux réseaux récurrents : un module qui met à jour son état à haute fréquence, un autre qui ne se met à jour qu’après plusieurs cycles du premier. Cette structure à deux vitesses a été présentée comme reproduisant, à un niveau grossier, la façon dont différentes boucles corticales opèrent à des échelles de temps distinctes dans le cerveau humain. Sur Sudoku-Extreme, ce modèle atteint 55,0 % de précision, largement au-dessus des LLM testés sur la même tâche, qui plafonnent à 0 %. C’est ce résultat, et le récit qui l’accompagnait, que le TRM a ensuite dépassé en simplifiant l’architecture à un seul petit réseau récursif.

Une affirmation qui mélangeait plusieurs ingrédients

Mon interprétation. Le problème méthodologique ne tient pas au résultat du HRM, réel et reproductible, mais à ce qu’on lui attribuait. Le papier original entraînait un modèle qui combinait à la fois une architecture à deux fréquences hiérarchiques et une technique d’entraînement particulière, la supervision profonde. Présenter ces deux ingrédients ensemble ne permet pas de savoir lequel des deux, ou dans quelle proportion chacun, produit le gain de précision observé. Un lecteur pressé retient l’histoire la plus vendable, celle de l’architecture cérébrale. Rien dans le résultat brut ne permet de trancher si c’est elle qui travaille, ou si elle n’est qu’un habillage autour d’un mécanisme d’entraînement plus banal.

L’étude d’ablation : démonter l’architecture pièce par pièce

Ce que les données établissent. Pour trancher, l’ARC Prize Foundation a appliqué une étude d’ablation : retirer un composant à la fois, réentraîner, et mesurer ce que sa disparition change dans le résultat final. C’est la méthode standard en recherche en IA pour distinguer un mécanisme réellement causal d’un simple corrélat de la performance — l’équivalent, pour un modèle, d’un essai qui isole une variable en la neutralisant plutôt que de constater une simple association. Deux composants du HRM ont été testés séparément : la supervision profonde d’un côté (une technique d’entraînement qui consiste à réviser une réponse à travers plusieurs étapes de supervision successives, plutôt que de la juger sur une seule passe finale), la récursion hiérarchique de l’autre (l’architecture à deux fréquences elle-même, indépendamment de la façon dont elle est entraînée).

Le verdict chiffré

Ce que les données établissent. La supervision profonde, à elle seule, explique un gain de 19 % à 39 % de précision selon les configurations testées. Ajouter la récursion hiérarchique par-dessus cette même supervision profonde ne porte le résultat qu’à 35,7 % à 39,0 % — un intervalle qui recoupe presque entièrement celui obtenu par la supervision profonde seule. L’apport propre de l’architecture à deux fréquences, une fois la technique d’entraînement isolée, est donc marginal comparé à l’effet de la supervision profonde.

Mon interprétation. C’est l’inverse de ce que le récit médiatique laissait entendre. L’ingrédient qui portait presque tout le gain n’était pas la pièce présentée comme inspirée du cerveau, mais une technique d’entraînement banale dans le reste de la recherche en apprentissage profond. La récursion hiérarchique n’est pas invalidée comme composant inutile — elle reste dans l’architecture finale — mais elle cesse d’être l’explication du succès une fois qu’on l’a testée isolément plutôt que mélangée à autre chose.

Pourquoi ce protocole est la norme, pas une exception

Mon interprétation. Une étude d’ablation n’est pas une procédure exotique réservée à ce cas : c’est la façon standard, en recherche en IA, de vérifier qu’un composant contribue réellement à un résultat plutôt que de coexister avec lui sans y participer. Un papier qui annonce un gain de précision sans avoir isolé chaque composant testé livre une corrélation, pas une preuve de mécanisme. C’est exactement le même type d’exercice qui a ensuite été refait directement sur le TRM par une note technique distincte, avec une conclusion du même ordre : le succès du modèle tient surtout à l’efficience de son architecture, à un conditionnement fort par identifiant de tâche et à un usage massif de calcul au moment de répondre — pas à un raisonnement interne profond (voir la fiche dédiée au TRM). Le HRM et le TRM ont donc chacun vu leur récit d’origine affaibli par le même type de vérification, à quelques mois d’intervalle.

Ce que ça change pour lire n’importe quelle annonce IA

Mon interprétation. La leçon dépasse le cas du HRM. Face à un résultat attribué à un mécanisme séduisant — un raisonnement qui imiterait le cerveau, une intuition architecturale élégante — la question à poser n’est pas « est-ce plausible », mais « ce composant a-t-il été testé isolément des autres ». En l’absence d’une étude d’ablation publiée, l’attribution causale reste une hypothèse de communication, pas un résultat établi. C’est un réflexe transposable au-delà de la recherche en IA : toute affirmation « X explique la performance » gagne à être confrontée à la question de savoir si X a été retiré, séparément, pour vérifier ce qui reste sans lui.

Le HRM gagnait bien sur ARC-AGI. Ce qui gagnait à l’intérieur du HRM, en revanche, n’était pas ce que le récit d’origine mettait en avant.

Mes réserves

• L’analyse de l’ARC Prize Foundation n’a, à ce jour, pas été revue par les pairs dans un cadre académique classique — c’est une organisation indépendante, mais avec son propre intérêt à la visibilité de son propre benchmark ARC-AGI.
• Les chiffres cités (19 % à 39 %, puis 35,7 % à 39,0 %) sont des plages issues de plusieurs configurations testées, pas un résultat unique et net : cette variabilité doit être lue comme un signal de robustesse partielle, pas comme une imprécision à ignorer.
• Cette ablation porte sur ARC-AGI. Rien ne garantit que le même partage entre supervision profonde et récursion hiérarchique se reproduirait à l’identique sur Sudoku-Extreme ou sur d’autres bancs d’essai où HRM et TRM ont aussi été testés.

Concrètement, ce résultat ne change rien à ce que le HRM ou le TRM savent faire : les scores publiés restent ce qu’ils sont. Ce qu’il change, c’est le crédit à accorder au récit qui les accompagnait — et le réflexe à garder la prochaine fois qu’un résultat impressionnant s’accompagne d’une explication qui n’a pas été testée séparément.

Retour au dossier Comprendre les modèles post-LLM. Voir aussi Qu’est-ce que le TRM (Tiny Recursive Model) ?.