HRM sur ARC-AGI : 20 points pour la supervision profonde, 3,3 pour la récursion
Axel Morel · Fondateur & analyste, ProbansL'essentiel
Le préprint qui présente le TRM avance que retirer la supervision profonde fait perdre au HRM l'essentiel de sa précision sur ARC-AGI, alors que retirer la récursion hiérarchique n'en fait perdre qu'une petite part, et il crédite ces chiffres à l'ARC Prize Foundation, dont le billet porte un tout autre découpage. La méthode compte autant que le résultat.
- Deux réseaux à deux fréquences, présentés comme inspirés du cerveau. Le HRM combine un module qui met à jour son état à haute fréquence et un autre qui ne se met à jour qu'après plusieurs cycles du premier ; sur Sudoku-Extreme, il atteint 55,0 % quand les quatre modèles de référence testés plafonnent tous à 0 %.
- Le préprint du TRM avance quatre chiffres d'ablation sur ARC-AGI. Retirer la supervision profonde fait chuter la précision de 39 % à 19 %, retirer la récursion hiérarchique la fait chuter de 39,0 % à 35,7 % : 20 points contre 3,3.
- Le billet auquel ces chiffres sont crédités porte un autre découpage. L'ARC Prize Foundation y publie un écart d'environ 5 points entre le HRM et un transformeur classique, et un gain de 13 points au premier tour de raffinement, sans détailler la procédure du partage que le préprint lui attribue.
Le HRM (Hierarchical Reasoning Model) est le prédécesseur direct du TRM : deux réseaux qui se recursent à des fréquences différentes, présentés à l’origine comme une architecture inspirée du fonctionnement hiérarchique du cerveau. C’est ce récit qui a circulé. Une analyse indépendante de l’ARC Prize Foundation a voulu vérifier s’il tenait, en démontant l’architecture pièce par pièce plutôt qu’en prenant l’affirmation pour acquise. Le résultat déplace l’explication vers un endroit beaucoup moins spectaculaire, et la méthode utilisée pour l’établir mérite d’être comprise pour elle-même.
Deux réseaux, deux fréquences, un récit cérébral
Ce que les données établissent. Le HRM combine deux réseaux récurrents : un module qui met à jour son état à haute fréquence, un autre qui ne se met à jour qu’après plusieurs cycles du premier. Cette structure à deux vitesses a été présentée comme reproduisant, à un niveau grossier, la façon dont différentes boucles corticales opèrent à des échelles de temps distinctes dans le cerveau humain. Sur Sudoku-Extreme, ce modèle atteint 55,0 % de précision, largement au-dessus des quatre modèles de référence testés sur la même tâche (dont trois LLM : o3-mini-high, Claude 3.7, Deepseek R1), qui plafonnent tous à 0 %. C’est ce résultat, et le récit qui l’accompagnait, que le TRM a ensuite dépassé en simplifiant l’architecture à un seul petit réseau récursif.
Ce récit cérébral n’a rien d’anecdotique : à la sortie du papier en juin 2025, il a circulé tel quel dans au moins une partie de la couverture qui en a été faite. TechTalks, par exemple, titrait en août 2025 sur un “nouveau modèle d’IA inspiré du cerveau” ouvrant “une voie plus efficace vers le raisonnement”, sans mentionner, dans cet article, la supervision profonde comme candidate alternative à l’explication du gain de précision.
Une affirmation qui mélangeait plusieurs ingrédients
Ce que la méthode interprète. Le problème méthodologique ne tient pas au résultat du HRM, réel et reproductible, mais à ce qu’on lui attribuait. Le papier original entraînait un modèle qui combinait à la fois une architecture à deux fréquences hiérarchiques et une technique d’entraînement particulière, la supervision profonde. Présenter ces deux ingrédients ensemble ne permet pas de savoir lequel des deux, ou dans quelle proportion chacun, produit le gain de précision observé. Un lecteur pressé retient l’histoire la plus vendable, celle de l’architecture cérébrale. Rien dans le résultat brut ne permet de trancher si c’est elle qui travaille, ou si elle n’est qu’un habillage autour d’un mécanisme d’entraînement plus banal.
L’étude d’ablation : démonter l’architecture pièce par pièce
Ce qu’une analyse rapporte. Pour trancher, l’ARC Prize Foundation a démonté le HRM par une étude d’ablation : retirer un composant à la fois et mesurer ce que sa disparition change dans le résultat final. C’est le principe standard, en recherche en IA, pour évaluer la contribution d’un composant à un résultat. Son billet publie deux comparaisons. La première oppose l’architecture hiérarchique à un transformeur classique : verbatim, « a regular transformer comes within ~5pp of the HRM model without any hyperparameter optimization ». La seconde porte sur la boucle de raffinement externe : verbatim, « from no refinement (1 loop) to just 1 refinement, performance jumps by +13pp. From 1 to 8 refinement loops, the Public Evaluation set performance doubles ». C’est cette boucle de raffinement, et non la hiérarchie à deux réseaux, que ce billet désigne comme le principal moteur du gain.
Un autre découpage circule à partir de là, celui du préprint qui présente le TRM. Il oppose deux composants du HRM pris séparément : la supervision profonde d’un côté (une technique d’entraînement qui consiste à réviser une réponse à travers plusieurs étapes de supervision successives, plutôt que de la juger sur une seule passe finale), la récursion hiérarchique de l’autre (l’architecture à deux fréquences elle-même, indépendamment de la façon dont elle est entraînée). Ce second découpage, et les quatre chiffres qui l’accompagnent, sont ceux de ce préprint, qui les crédite au billet ci-dessus ; celui-ci porte les deux comparaisons citées à l’instant, et ne détaille pas la procédure suivie pour ce partage-là, notamment un éventuel réentraînement après chaque retrait.
Le verdict chiffré
Ce qu’un préprint avance. Sur ARC-AGI, cette fois (les chiffres de 55,0 % et 0 % cités plus haut portaient sur Sudoku-Extreme, un banc d’essai distinct), le préprint qui présente le TRM avance que retirer la supervision profonde (revenir à une supervision à une seule étape) fait chuter la précision de 39 % à 19 %, un net doublement quand elle est rétablie, et que retirer la récursion hiérarchique (revenir à un modèle à passe unique) la fait chuter de 39,0 % à 35,7 %, une amélioration nettement plus faible quand elle est rétablie. Ces quatre valeurs sont celles de ce préprint, qui les crédite à l’ARC Prize Foundation ; le billet de la fondation, lui, publie les deux autres comparaisons rappelées plus haut, l’écart d’environ 5 points avec un transformeur classique et le gain de 13 points au premier tour de raffinement. Les deux ablations du préprint convergent vers un score plafond quasi identique, autour de 39 %, vraisemblablement celui du modèle complet atteint par deux chemins différents : ce n’est pas la précision de la supervision profonde seule, sans récursion.
Ce que la méthode interprète. Si ce partage tient, c’est l’inverse de ce que le récit médiatique laissait entendre. Selon ces chiffres, retirer la supervision profonde coûte 20 points de précision ; retirer la récursion hiérarchique n’en coûte que 3,3. L’ingrédient qui porte l’essentiel du gain n’est donc pas la pièce présentée comme inspirée du cerveau, mais une technique d’entraînement banale dans le reste de la recherche en apprentissage profond. La récursion hiérarchique n’est pas invalidée comme composant inutile (elle reste dans l’architecture finale, et son retrait coûte tout de même 3,3 points), mais son rôle dans le résultat final est nettement plus modeste que celui de la supervision profonde.
Ce partage a un nom : dans une étude d’ablation, un composant est soit le moteur du résultat (le retirer fait chuter la performance de façon marquée), soit son décor (le retirer ne change presque rien). Ici, retirer la supervision profonde coûte 20 points : elle est le moteur. Retirer la récursion hiérarchique n’en coûte que 3,3 : par cette mesure, elle est bien plus proche du décor que du moteur, sans que son apport tombe tout à fait à zéro.
Pourquoi ce protocole est la norme, pas une exception
Ce que la méthode interprète. Une étude d’ablation n’est pas une procédure exotique réservée à ce cas : c’est la façon standard, en recherche en IA, de vérifier qu’un composant contribue réellement à un résultat plutôt que de coexister avec lui sans y participer. Un papier qui annonce un gain de précision sans avoir isolé chaque composant testé livre une corrélation, pas une preuve de mécanisme. C’est exactement le même type d’exercice qui a ensuite été repris, dans une analyse publiée sur ce même site et non contre-vérifiée par une source tierce, directement sur le TRM, avec une conclusion du même ordre : le succès du modèle tiendrait surtout à l’efficience de son architecture, à un conditionnement fort par identifiant de tâche et à un usage massif de calcul au moment de répondre, plutôt qu’à un raisonnement interne profond (voir la fiche dédiée au TRM, à lire avec cette réserve). Le HRM et le TRM ont donc chacun vu leur récit d’origine affaibli par le même type de vérification, à quelques mois d’intervalle.
Le test moteur/décor ne se limite pas à ce couple de modèles. Bien avant le HRM, une étude d’ablation menée sur les Transformers avait déjà livré un verdict comparable, sur un composant différent : l’attention multi-têtes. Le récit d’origine des Transformers présentait chaque tête d’attention comme apprenant à capter un type de relation distinct dans le texte, justifiant leur multiplication. Une ablation systématique, retirant les têtes une à une plutôt que de les garder toutes, a montré qu’une large majorité pouvait être supprimée au moment de l’inférence sans dégrader significativement la performance : quelques têtes faisaient l’essentiel du travail, le reste n’était que redondance. Le test n’est pas identique (ici, un élagage de têtes déjà entraînées, sans réentraînement, qui mesure une redondance à l’inférence, alors que l’ablation du HRM réentraîne le modèle pour mesurer la nécessité d’un composant à l’apprentissage), mais le verdict est de même nature méthodologique : un composant présenté comme central se révèle, une fois isolé, moins déterminant que prévu.
Ce que ça change pour lire n’importe quelle annonce IA
Ce que la méthode interprète. La leçon dépasse le cas du HRM. Face à un résultat attribué à un mécanisme séduisant (un raisonnement qui imiterait le cerveau, une intuition architecturale élégante), la question à poser n’est pas « est-ce plausible », mais « ce composant a-t-il été testé isolément des autres ». En l’absence d’une étude d’ablation publiée, l’attribution causale reste une hypothèse de communication, pas un résultat établi. C’est un réflexe transposable au-delà de la recherche en IA, un test moteur/décor : pour toute affirmation « X explique la performance », isoler chaque composant candidat, mesurer ce qui reste sans lui, puis demander lequel est le moteur et lequel n’est que le décor.
Le HRM gagnait bien sur ARC-AGI. Ce qui gagnait à l’intérieur du HRM, en revanche, n’était pas ce que le récit d’origine mettait en avant.
Mes réserves
- L’analyse de l’ARC Prize Foundation n’a, à ce jour, pas été revue par les pairs dans un cadre académique classique : c’est une organisation indépendante des auteurs du HRM, mais avec son propre intérêt à la visibilité de son propre benchmark ARC-AGI.
- Le préprint qui porte les quatre chiffres n’a pas non plus été revu par les pairs, et son autrice a un intérêt propre sur le sujet : elle y présente le TRM, une architecture concurrente qu’elle a conçue et qu’elle compare au HRM sur ses propres mesures, sans réplication tierce.
- Les deux chiffres de chute de précision (-20 points pour la supervision profonde, -3,3 pour la récursion hiérarchique) reposent sur ce seul préprint, qui les donne sans protocole détaillé, sans marge d’erreur et sans test de significativité. Le billet de l’ARC Prize Foundation auquel il les crédite publie, lui, les deux autres comparaisons rappelées plus haut. Tant que ce partage-là n’a pas été publié ailleurs avec sa procédure, il reste une affirmation de ce préprint, pas un résultat de la fondation.
- Cette ablation porte sur ARC-AGI. Rien ne garantit que le même partage entre supervision profonde et récursion hiérarchique se reproduirait à l’identique sur Sudoku-Extreme ou sur d’autres bancs d’essai où HRM et TRM ont aussi été testés.
Concrètement, ce résultat ne change rien à ce que le HRM ou le TRM savent faire : les scores publiés restent ce qu’ils sont. Ce qu’il change, c’est le crédit à accorder au récit qui les accompagnait, et le réflexe à garder la prochaine fois qu’un résultat impressionnant s’accompagne d’une explication qui n’a pas été testée séparément.
Retour au dossier Comprendre les modèles post-LLM. Voir aussi Qu’est-ce que le TRM (Tiny Recursive Model) ?.
I source primaire indépendante · S secondaire spécialisée · P partie prenante ayant un intérêt commercial sur le sujet traité.
Modification apportée · mis à jour le 4 septembre 2026
Une première correction avait resserré le titre à ARC-AGI et qualifié la source, mais avait transformé à tort deux comparaisons avant/après (retrait d'un composant à la fois) en une soustraction entre deux plages non comparables, présentée comme l'apport isolé de la récursion hiérarchique. Une relecture sur le texte intégral de la source citée (Jolicoeur-Martineau, 2025) a recalé cette lecture : la source rapporte deux chutes de précision distinctes, chacune propre à son composant retiré (supervision profonde : -20 points ; récursion hiérarchique : -3,3 points), pas une fourchette. J'ai réécrit la section chiffrée et la figure sur cette base, requalifié cette même source en partie prenante (l'autrice y compare sa propre architecture concurrente, le TRM, au HRM) plutôt qu'indépendante, et corrigé une généralisation : un des quatre modèles de référence à 0 % sur Sudoku-Extreme n'est pas un LLM. Une seconde relecture a corrigé une erreur introduite par cette réécriture même (le sous-titre disait « double la baisse » de précision, une transformation numérique que les chiffres ne permettent pas), a ramené sous un intitulé prudent une phrase sur la méthode de l'ARC Prize Foundation dont le détail exact (un réentraînement après chaque retrait) n'est pas confirmé par la source consultable, et a retrouvé et lu en entier le papier original du HRM (Wang et al., 2025), jusque-là cité sans avoir été ouvert : il confirme les chiffres de Sudoku-Extreme et le cadrage inspiré du cerveau, et il est ajouté à la bibliographie en partie prenante, l'entreprise qui a conçu le HRM y publiant ses propres mesures. Une troisième relecture a relevé deux entrées jusque-là citées sans relevé, TechTalks et Michel, Levy & Neubig (2019) : la première confirme, verbatim, le cadrage cérébral repris par cet article de presse spécialisée et l'absence totale de toute mention de la supervision profonde dans son texte, ce qui a permis de resserrer une phrase qui généralisait cet unique exemple à « la presse spécialisée » dans son ensemble ; la seconde confirme, verbatim, qu'une large majorité des têtes d'attention des Transformers est supprimable à l'inférence sans dégrader significativement la performance. La mention d'indépendance de l'ARC Prize Foundation en bibliographie est précisée : jugée par rapport aux auteurs du HRM, pas comme absence d'intérêt propre au benchmark ARC-AGI qu'elle gère, point déjà discuté dans les réserves ci-dessous. J'ai ajouté deux encadrés de vulgarisation, l'un sur les deux réseaux qui avancent à des rythmes différents, l'autre sur le principe du retrait d'un composant à la fois. Une quatrième relecture a lu en entier le billet de l'ARC Prize Foundation lui-même : il publie deux comparaisons, un transformeur classique qui arrive à environ 5 points du HRM sans optimisation d'hyperparamètres, et un gain de 13 points au passage de l'absence de raffinement à un seul tour de raffinement, la boucle de raffinement externe étant ce que ce billet désigne comme le principal moteur du gain. Le partage chiffré entre supervision profonde (19 % à 39 %) et récursion hiérarchique (35,7 % à 39,0 %) est celui du préprint de Jolicoeur-Martineau (2025), qui le crédite à ce billet. Les quatre chiffres sont conservés, mais réattribués à ce préprint dans le sous-titre, le résumé, le corps, la légende de la figure, la figure elle-même et la bibliographie ; les deux comparaisons que la fondation publie réellement sont ajoutées au corps et à la bibliographie ; et la réserve sur l'absence de marge d'erreur est réécrite, son ancienne formulation supposant que le billet portait ces quatre valeurs.
Développe une méthode d'analyse destinée à distinguer ce que les preuves établissent, ce qu'elles suggèrent et ce qu'elles ne permettent pas de conclure, puis à traduire cette distinction en décisions professionnelles.
Choix du sujet, direction de la rédaction, validation ou modification des sources, validation et retravail du texte et des illustrations : Axel Morel. Rédaction, choix des sources initiales et plan de rédaction initial : assistance IA.
Responsabilité éditoriale : Axel Morel. Recherche et rédaction assistées par IA selon la méthodologie Probans, sources vérifiées avant publication. Charte éditoriale.
En savoir plus