Après les LLM : le TRM, Mamba et JEPA font-ils déjà mieux que les grands modèles de langage ?

Trois noms reviennent quand on cherche ce qui viendra après les LLM, les grands modèles de langage : le TRM, Mamba et JEPA. Un LLM écrit sa réponse un jeton à la fois, le jeton étant l’unité dans laquelle on découpe le texte [1][13]. Le TRM, lui, est un petit modèle qui améliore sa réponse par étapes [13]. Mamba est une architecture dont le coût de calcul croît en ligne droite avec la longueur du texte [4]. JEPA apprend à prédire l’essentiel d’une scène en ignorant ses détails imprévisibles [7].

Nous avons voulu vérifier ce que disent, pour chacune, les documents d’origine : les articles de recherche, la vérification d’un organisme indépendant, la presse sur les levées de fonds. Car la réponse oriente une décision concrète : acheter, investir ou attendre.

La réponse courte

Les trois pistes ont livré des démonstrations sur un terrain étroit, et leurs auteurs disent eux-mêmes ce qu’il leur reste à démontrer [1][4][7]. Le TRM résout des puzzles [1]. Mamba génère du texte plus vite qu’un Transformer de taille voisine dans la configuration de mesure de ses auteurs [4], mais il est moins efficace que des Transformers optimisés en reclassement de documents [6]. JEPA fait manipuler des objets à des robots [7]. Quant à l’énergie, que l’autrice du TRM met en avant, aucun des treize documents réunis ne la mesure pour ces trois pistes [13].

Trois façons de répondre

Le TRM (Tiny Recursive Model, « petit modèle récursif ») fonctionne comme un correcteur obstiné. Il part d’une réponse et tente de l’améliorer jusqu’à seize fois, en mettant à jour un état interne qui garde la trace de son cheminement ; le tout tient dans un seul réseau de deux couches [1]. Son prédécesseur, le HRM (Hierarchical Reasoning Model, « modèle de raisonnement hiérarchique »), utilisait deux réseaux de quatre couches [1].

Mamba suit une autre voie. C’est un modèle à espace d’états, une famille qui combine deux types plus anciens de réseaux, récurrents et convolutifs, et se calcule à coût linéaire, ou presque, en fonction de la longueur de la séquence [4]. Le Transformer, l’architecture sur laquelle reposaient presque tous les grands modèles en 2024, selon les auteurs de Mamba, repose sur l’attention, qui fait circuler l’information partout dans une fenêtre de contexte, au prix d’un coût qui grandit comme le carré de la longueur de cette fenêtre [4].

JEPA (joint-embedding predictive architecture, « architecture prédictive à plongement joint ») prédit dans un espace de représentation appris plutôt que dans l’image elle-même : elle s’attache à ce qui est prévisible, comme la trajectoire d’un objet en mouvement, et laisse de côté les détails imprévisibles que cherchent à reproduire les modèles génératifs [7]. Yann LeCun l’a proposée en 2022 [8]. Sa version vidéo, V-JEPA 2, est elle-même bâtie sur des transformeurs de vision [7].

Le TRM face aux géants

Le résultat central du papier tient dans un tableau de scores. Il porte sur ARC-AGI, deux jeux de puzzles géométriques dont chaque puzzle est conçu pour être facile pour un humain et difficile pour les IA actuelles [1]. Avec 7 millions de paramètres (sa taille), le TRM y réussit, en deux essais, 44,6 % des puzzles du premier jeu et 7,8 % du second [1].

Tableau 1. Réussite sur ARC-AGI, deux essais par puzzle. Les chiffres de Deepseek R1, d’o3-mini-high et du HRM sont repris d’un autre papier (Wang et al., 2025), pas mesurés par l’autrice. Source : [1].

Sur les sudokus extrêmement difficiles (Sudoku-Extreme) et les labyrinthes de 30 cases sur 30 (Maze-Hard), l’écart est plus net encore [1]. Les LLM testés, Deepseek R1, Claude 3.7 8K et o3-mini-high, obtiennent 0 % (chiffres que le papier reprend de Wang et al., 2025) ; le HRM, 55,0 % et 74,5 % ; le TRM à 7 millions de paramètres, 74,7 % et 85,3 % [1]. Le 87,4 % que le papier annonce en introduction pour les sudokus vient de la variante sans attention, à 5 millions de paramètres sur les sudokus ; dans sa configuration à 19 millions, elle tombe à 0 % sur les labyrinthes [1]. Et pour les sudokus, le modèle n’a appris que sur 1 000 grilles, avant d’être testé sur 423 000 [1].

Le périmètre reste étroit, et le papier le reconnaît. Le TRM apprend sous supervision, ne donne qu’une réponse unique et déterministe, et n’est pas un modèle génératif [1]. Le papier n’explique pas pourquoi la récursion fait mieux qu’un réseau plus profond : l’autrice soupçonne un lien avec le surapprentissage, c’est-à-dire le fait de coller trop aux données d’entraînement, sans théorie à l’appui [1]. Les lois d’échelle manquent, et davantage de récursions n’a pas été testé, faute de ressources [1].

Un score, deux regards extérieurs

Deux examens extérieurs nuancent ce tableau. Le premier porte sur le prédécesseur du TRM, le second sur le TRM lui-même.

Le HRM a été publié par Sapient, un laboratoire d’IA de Singapour ; il utilise deux petits réseaux qui bouclent à des fréquences différentes [1][2]. L’ARC Prize Foundation, dont les jeux réservés servent à vérifier les scores annoncés, l’a testé : 32 % sur ARC-AGI-1, contre 41 % annoncés sur le jeu public, et 2 % sur ARC-AGI-2 [2]. Elle juge le 32 % impressionnant pour un si petit modèle, sans en faire l’état de l’art, et ne voit pas dans les 2 % un progrès significatif [2]. Elle situe les 9 points perdus depuis ces 41 % dans le haut de la variation normale, et note que l’effondrement attendu quand un modèle colle trop au jeu public n’a pas été observé [2]. Le tableau du papier du TRM, lui, donne au HRM 40,3 % sur ce même jeu public, un chiffre qu’il reprend d’un autre papier (Wang et al., 2025) [1].

En retirant ou en modifiant des pièces du modèle, la fondation observe que l’architecture « hiérarchique » pèse peu : un Transformer de même taille arrive à environ 5 points du HRM, sans réglage particulier [2]. La boucle externe de raffinement a pesé lourd : 13 points gagnés entre aucun raffinement et un seul [2]. Entraîné sur les seules tâches d’évaluation, le HRM atteint 31 %, contre les 41 % annoncés : l’essentiel de sa performance viendrait de l’entraînement sur les tâches vues à l’évaluation [2]. Ces mesures concernent le HRM, pas le TRM [2].

Le papier du TRM porte lui aussi un regard critique sur son prédécesseur : il le juge compliqué et trop appuyé sur des arguments biologiques incertains [1].

Le second regard porte sur le TRM. Des chercheurs de Western University et de la société Varonova Tech ont étudié le point de contrôle publié pour la vérification de l’ARC Prize, c’est-à-dire un exemplaire du modèle déjà entraîné, sur les 400 tâches du jeu public d’ARC-AGI-1 [3]. Leurs conclusions ne valent que pour cet exemplaire, entraîné à quatre cycles de récursion au lieu de six pour le meilleur modèle du papier, et pour ARC-AGI-1 seulement, ni Sudoku-Extreme, ni Maze-Hard, ni ARC-AGI-2 [3].

Sur cet exemplaire, la réussite atteint 40,00 % quand le modèle répond à mille variantes de chaque grille (couleurs permutées, translations et autres transformations) et retient la réponse la plus fréquente, contre 29,25 % avec une seule variante : 10,75 points viennent du vote [3]. La précision tombe à zéro quand on efface l’identifiant du puzzle ou qu’on le tire au hasard [3]. Le modèle atteint 38,25 % dès la première étape de récursion ; prolonger la récursion au-delà de la profondeur d’entraînement ne change rien [3].

La conclusion des auteurs : le succès du TRM sur ARC-AGI-1 s’explique au mieux par l’interaction d’une architecture très efficace, d’un fort conditionnement par tâche et d’un calcul massif au moment de répondre (retenir par exemple la réponse la plus fréquente parmi plusieurs), plutôt que par un raisonnement interne arbitrairement profond [1][3].

Petit, rapide, sobre ?

Dans un entretien au Grand Continent, l’autrice du TRM avance un modèle 10 000 fois plus petit qu’un LLM classique et 1000 fois plus rapide, en reconnaissant que ces chiffres sont difficiles à estimer [13]. Elle le dit « indirectement plus éco-responsable », parce qu’il s’entraîne avec beaucoup moins de ressources [13]. Ailleurs dans l’entretien, elle chiffre cet entraînement à moins de 500 dollars et le dit assez petit pour tourner sur un téléphone [13].

Le papier, lui, donne le matériel : une carte graphique (GPU) de type L40S pendant moins de 36 heures pour les sudokus, quatre pendant moins de 24 heures pour les labyrinthes, quatre H100 pendant environ trois jours pour ARC-AGI [1]. Il ne chiffre ni énergie, ni émissions, ni latence [1].

La seule mesure du dossier vient d’une autre équipe. Sur une carte H100, le TRM utilise 2,4 Go de mémoire vidéo et traite 31,3 échantillons par seconde, soit 31,9 millisecondes chacun [3]. Un Llama 3 8B affiné de façon simple en utilise 6,1 Go, traite 0,24 échantillon par seconde, soit 4 170 millisecondes chacun, et réussit environ 2,15 % d’ARC-AGI-1 [3]. Les auteurs précisent que ce Llama ne représente pas l’état de l’art des systèmes ARC fondés sur des LLM, et que ces chiffres dépendent du matériel et se lisent en relatif [3].

Le « cinq fois » de Mamba

Mamba est né de l’article de deux chercheurs, Albert Gu (Carnegie Mellon University) et Tri Dao (Princeton University) [4]. Ses auteurs annoncent un débit d’inférence cinq fois supérieur à celui des Transformers au résumé, quatre à cinq fois dans le corps de l’article, parce que Mamba se passe du cache clé-valeur et peut traiter des lots plus grands [4]. Ce cache est la mémoire où un Transformer garde ce qu’il a déjà lu, et sa taille devient le facteur limitant sur les longs contextes [5].

Mamba-3B fait mieux que des Transformers de même taille et égale des Transformers deux fois plus gros ; code et poids sont publiés [4]. Les auteurs concluent que Mamba est un candidat sérieux pour servir de base générale aux modèles de séquence [4].

Ces mesures comparent Mamba à l’implémentation standard de la bibliothèque Huggingface, sur une carte A100 de 80 Go, avec un texte de départ de 2 048 jetons et 128 jetons générés, en moyenne de trois répétitions [4].

Tableau 2. Débit d’inférence, en jetons par seconde, selon le nombre de séquences traitées ensemble. Source : [4].

Côté mémoire d’entraînement, Mamba ne fait pas mieux : sur des modèles de 125 millions de paramètres, il demande 4,8 Go contre 4,6 pour un Transformer optimisé avec une séquence à la fois, et 38,2 Go contre 34,5 avec 32 séquences, ce que les auteurs jugent comparable [4]. Par notre calcul, l’écart va de 4,3 % à 11,6 % selon la taille de lot [4].

Jusqu’où va l’avantage ?

Il y a d’abord la taille. Les lois d’échelle de l’article portent sur des modèles de 125 millions à 1,3 milliard de paramètres, et le plus grand modèle de langue évalué en compte 2,8 milliards, comparé à des modèles ouverts allant jusqu’à 7,4 milliards [4]. Leur évaluation reste, reconnaissent-ils, sous le seuil de la plupart des grands modèles ouverts, et il faut encore vérifier que Mamba garde l’avantage à plus grande taille [4]. L’extrapolation à un million de jetons, elle, est obtenue sur une tâche synthétique, avec un modèle à deux couches [4].

Il y a ensuite le terrain. Une équipe de l’université d’Utah a testé Mamba sur le reclassement de documents, la seconde étape d’un système de recherche, après la récupération [6]. Mamba y offre une qualité comparable à celle de Transformers de taille voisine, mais il est moins efficace, à l’entraînement comme à l’inférence, que des Transformers optimisés (FlashAttention) ; Mamba-2 fait mieux que Mamba-1 [6]. À l’inférence, les auteurs l’expliquent ainsi : le reclassement ne demande qu’un passage avant, alors que l’avantage de Mamba se réalise en génération autorégressive, c’est-à-dire jeton après jeton [6]. Faute de matériel et de budget, ils n’ont pas pu comparer à pré-entraînement identique [6].

Jamba, l’hybride prudent

Le plus proche d’un produit est un hybride. Jamba, du laboratoire AI21, entrelace des couches Transformer et des couches Mamba, à raison d’une couche d’attention pour sept couches Mamba, et y ajoute des couches de mélange d’experts [5]. Ce mélange d’experts augmente le nombre total de paramètres sans augmenter le calcul, car seule une partie d’entre eux, dits actifs, travaille à chaque étape ; Jamba en active 12 milliards sur 52 milliards disponibles [5]. Le modèle tient sur un seul GPU de 80 Go, accepte jusqu’à 256 000 jetons de contexte, et ses poids sont publiés sous licence Apache 2.0 [5].

Côté mémoire et débit, les chiffres sont nets. À 256 000 jetons de contexte, le cache clé-valeur de Jamba occupe 4 Go, contre 32 Go pour Mistral et Mixtral et 128 Go pour Llama-2 ; son débit atteint trois fois celui de Mixtral à 128 000 jetons, alors qu’à contexte court tous les modèles se valent [5]. Les auteurs invitent à lire ces débits en relatif, sans optimisations possibles [5].

Le Mamba pur, lui, reste à la traîne. À 1,3 milliard de paramètres, il fait nettement moins bien que l’attention pure sur trois tests : 48,8 contre 84,1 sur IMDB, 20,2 contre 27,9 sur QuAC, 27,7 contre 45,8 sur NarrativeQA [5]. L’hybride, lui, fait comme l’attention, avec une seule couche d’attention sur huit [5].

Reste la question de la production. Ses auteurs le présentent comme le premier hybride attention-SSM (modèle à espace d’états) « de qualité production » [5]. Mais le modèle publié est un modèle de base, sans alignement, sans réglage sur consignes et sans modération, et leur notice demande de ne pas l’utiliser en production ni auprès d’utilisateurs finaux sans adaptation [5]. Ni l’article de Mamba ni celui de Jamba ne rapportent de déploiement chez un client [4][5].

V-JEPA 2 : un robot en laboratoire

V-JEPA 2 est un encodeur vidéo, jusqu’à 1 milliard de paramètres, préentraîné sans action sur plus d’un million d’heures de vidéo prises sur internet [7]. Il obtient 77,3 de précision au premier choix (top-1) sur la compréhension du mouvement (Something-Something v2) et 39,7 de rappel à cinq (recall-at-5) sur l’anticipation d’actions (Epic-Kitchens-100) [7]. Aligné avec un grand modèle de langage, il atteint l’état de l’art de plusieurs tâches de question-réponse sur vidéo à l’échelle de 8 milliards de paramètres [7].

La partie la plus parlante est robotique. Après un entraînement complémentaire sur moins de 62 heures de vidéos de robot non étiquetées, la version V-JEPA 2-AC est déployée sur des bras robotisés Franka dans deux laboratoires, pour saisir et déplacer des objets à partir d’images-buts, sans données collectées sur ces robots ni récompense propre à la tâche [7]. Le modèle de comparaison, Octo, est un modèle vidéo-langage-action [7].

Tableau 3. Taux de réussite sur 10 essais par cas et par laboratoire, en moyenne des deux laboratoires. Source : [7].

Les auteurs déclarent eux-mêmes les limites : le modèle est sensible à la position de la caméra, qu’ils ont réglée à la main après essais ; les erreurs s’accumulent et l’espace de recherche explose sur les longs horizons ; il faut des images-buts ; les prédictions ne dépassent pas environ 16 secondes ; les modèles restent à une taille qu’ils jugent modeste, 1 milliard de paramètres [7].

Sur une carte RTX 4090, V-JEPA 2-AC planifie en 16 secondes par action, contre 4 minutes pour Cosmos, un modèle de génération vidéo conditionné par l’action, avec dix fois plus d’échantillons à chaque étape d’affinage [7]. Entraîner directement le plus gros modèle à pleine résolution aurait demandé environ 60 années-GPU ; l’entraînement progressif réduit le temps GPU d’un facteur 8,4 [7].

AMI Labs : un milliard avant le produit

AMI Labs, la société cofondée par Yann LeCun après son départ de Meta, a levé 1,03 milliard de dollars, quelque 890 millions d’euros, sur une valorisation de 3,5 milliards avant l’opération, pour travailler sur des « modèles du monde », une IA qui apprend de la réalité et pas seulement du langage [8]. Parmi ses soutiens figurent Nvidia, Samsung, Sea, Temasek et Toyota Ventures [8].

L’article qui rapporte la levée prévient qu’il faudra du temps pour offrir une alternative viable fondée sur JEPA, que passer de la théorie aux applications commerciales pourrait prendre des années, et que l’entreprise n’a pas de plan de revenu pour l’instant [8]. Nabla, une startup de santé numérique que préside le directeur général d’AMI Labs, Alexandre LeBrun, est le premier partenaire déclaré et s’attend à accéder aux premiers modèles [8]. LeBrun lui-même lance, en souriant, que dans six mois toutes les entreprises se diront « world model » pour lever des fonds [8].

Le même terrain attire d’autres capitaux. World Labs, la startup de Fei-Fei Li, a levé 1 milliard de dollars, dont 200 millions d’Autodesk, et sa valorisation n’a pas été divulguée ; elle a lancé Marble, que l’entreprise décrit comme un modèle capable de créer des mondes en 3D [9]. Bloomberg décrit ces « modèles du monde » comme destinés à naviguer et à prendre des décisions dans le monde en trois dimensions [9].

Combien ça consomme ?

Dans nos documents, les chiffres d’énergie portent sur les LLM, pas sur leurs successeurs supposés. Pour un LLM de plus de 200 milliards de paramètres sur des cartes H100, une simulation de 10 000 configurations donne 0,31 Wh par requête en médiane, et 3,91 Wh pour une requête 15 fois plus longue, du type de celles des modèles de raisonnement [10]. Une estimation fondée sur des données publiques d’API donne 0,42 Wh pour une requête courte à GPT-4o, et plus de 29 Wh pour une requête longue sur les modèles les plus gourmands, soit plus de 65 fois les plus efficaces [11].

Tableau 4. Les chiffres d’énergie du dossier. Sources : [10][11][12].

Ces chiffres sont des modélisations, non des relevés de compteur, et chaque étude se compare aux chiffres des autres, et ces rapprochements ne valent pas confirmation indépendante : l’étude de Microsoft reprend elle-même le 0,42 Wh de l’autre équipe, et cite un 0,34 Wh attribué à Sam Altman [10][11]. Tous les auteurs de l’étude de Microsoft sont salariés de Microsoft ; ils estiment possible de diviser par 8 à 20 l’énergie par requête dans la prochaine génération de matériel ou de modèles, tout en notant que les gains d’efficacité ne garantissent pas une baisse de la consommation absolue [10]. Et le modèle ne fait pas tout : les mêmes modèles DeepSeek consomment plus de 70 % d’énergie en moins sur Azure que sur les serveurs de DeepSeek, un écart que les auteurs attribuent au matériel et au centre de données plus qu’à la conception du modèle [11].

Quant aux successeurs, ni l’énergie, ni les émissions, ni le coût en dollars n’apparaissent dans l’article de Mamba [4]. Pour le TRM, le papier donne des heures de GPU [1] ; pour V-JEPA 2, des années-GPU [7]. Aucun des treize documents ne mesure l’énergie d’un Mamba, d’un TRM ou d’un modèle JEPA.

La taille affichée d’un modèle peut induire en erreur sur la mémoire utilisée [5]. Côté énergie, pour leur entraînement, deux réseaux immenses activés de façon éparse ont demandé 24 MWh pour GShard-600B (0,25 % du modèle activé par jeton) et 179 MWh pour Switch Transformer (1 500 milliards de paramètres, 0,1 % activé), contre 1 287 MWh pour GPT-3 ; GShard-600B et Switch Transformer ont tourné en 2020 [12]. Par notre calcul, c’est environ 53 fois moins d’énergie que GPT-3 pour GShard-600B, et environ 7 fois moins pour Switch Transformer ; selon les auteurs, des modèles épars peuvent consommer moins d’un dixième de l’énergie de modèles denses, et l’écart de 53 fois mêle aussi puces, centres de données et volume de calcul [12].

Démontré, livré, financé

Tableau 5. Ce que les sources rapportent, publient et laissent ouvert. Sources : [1][3][4][5][6][7][8].

Ce qu’un lecteur qui doit décider peut en faire

Avant de choisir, séparez ce qui est démontré, ce qui est livré et ce qui est seulement financé. Selon votre place, la lecture change :

Tableau 6. Lecture par profil. Sources : [1][2][3][4][5][7][8][9][10][11][13].

Mes réserves

• Un papier sans relecture mentionnée. Le papier du TRM est un dépôt sur arXiv qui ne mentionne aucune relecture par des pairs, signé d’une seule autrice affiliée à Samsung SAIL Montréal [1]. L’entretien rapporte une hausse de 10 % de la capitalisation de Samsung après sa publication, que seul cet entretien porte dans nos documents [13].
• Des comparaisons en partie reprises. Les scores de Deepseek R1, d’o3-mini-high et de Claude 3.7 8K que cite le papier du TRM sont repris d’un autre papier (Wang et al., 2025), non mesurés par l’autrice ; la note qui le précise ne nomme ni Gemini 2.5 Pro, ni Claude 3.7 16K, ni les deux versions de Grok-4 [1] ; la comparaison de vitesse porte sur un seul Llama volontairement simple [3].
• Des scores sans dispersion. Le papier du TRM ne rapporte ni graines aléatoires multiples ni barre d’erreur [1].
• Un regard sur un seul exemplaire. L’analyse du TRM porte sur un exemplaire à quatre cycles de récursion, sur ARC-AGI-1 seulement ; ce n’est pas une reproduction du papier [3]. D’autres rapports techniques ont examiné le TRM depuis [3] ; ils ne sont pas relevés ici.
• Un HRM qui n’est pas le TRM. Les vérifications de l’ARC Prize Foundation concernent le HRM ; aucun score du TRM sur un jeu réservé ne figure dans les documents réunis [2].
• Des mesures de petite échelle. Les lois d’échelle de Mamba s’arrêtent à 1,3 milliard de paramètres, son plus grand modèle de langue à 2,8 milliards, et ni l’article de Mamba ni celui de Jamba ne rapportent de déploiement chez un client [4][5].
• Des débits relatifs. Les débits de Jamba sont à lire en relatif, sans optimisations possibles, et à contexte court tous les modèles ont un débit semblable [5].
• Des énergies estimées. Les chiffres par requête sont des simulations ou des estimations, celles de Microsoft écrites par des salariés de Microsoft, et les trois valeurs les plus proches, 0,31, 0,42 et 0,34 Wh, se comparent entre elles sans valoir confirmation indépendante [10][11].
• Une expérience de laboratoire. V-JEPA 2-AC a été testé par ses auteurs, sur 10 essais par cas, avec une caméra réglée à la main [7].
• Un milliard répété. Le milliard de World Labs repose sur deux articles de presse : Bloomberg [9] rapporte le montant et attribue la liste des investisseurs à un billet de la société ; TechCrunch [8] ne cite pas de source.