JEPA prédit une représentation, et ne planifie que sur quelques pas
Axel Morel · Fondateur & analyste, ProbansL'essentiel
Une architecture pensée pour comprendre et anticiper le monde physique plutôt que générer du texte : avant d'y engager un cas d'usage, l'horizon de planification que le modèle tient sans réamorcer à chaque pas pèse au moins autant que le financement, un critère à lire comme une grille d'analyse plutôt qu'un standard établi par les auteurs de JEPA.
- Le modèle devine une représentation, pas des pixels. Un premier bloc, l'encodeur, transforme ce qui est observé, une image ou une séquence vidéo, en une représentation abstraite qu'on appelle un embedding. Un second bloc, le prédicteur, essaie ensuite de deviner l'embedding de l'état futur, dans ce même espace abstrait, sans jamais chercher à reconstituer les pixels exacts de ce qui va suivre.
- 62 heures de données robot, 65 % de réussite sur une tasse. Après ce pré-entraînement massif sur de la vidéo générale, moins de 62 heures de données robot ont suffi pour la phase de contrôle. Le papier rapporte un taux de réussite moyen de 65 % pour la saisie d'une tasse (70 % et 60 % selon le laboratoire), contre seulement 25 % pour une boîte.
- La planification reste courte et réamorcée à chaque geste. Les tâches robotiques démontrées dans le papier restent courtes : une saisie d'objet décomposée en trois phases de 4, 10 puis 4 pas de temps. Le système ne planifie pas une longue séquence d'un bloc : il exécute une seule action, puis réamorce entièrement sa planification avant la suivante.
JEPA n’est ni un chatbot, ni un générateur d’images. C’est un cadre de conception de modèles, proposé par Yann LeCun et ses coauteurs, qui part d’un pari différent de celui des grands modèles de langage (LLM) : plutôt que de prédire le mot suivant ou le pixel suivant, un modèle devrait apprendre à prédire une représentation abstraite de ce qui va se passer, en ignorant volontairement les détails qui ne comptent pas. Le financement de ce pari et sa place dans la course plus large aux « world models » sont traités en détail dans une autre fiche de ce dossier, « La course aux world models : qui lève quoi ». Celle-ci répond à une question plus étroite et plus opérationnelle, que le communiqué de financement ne pose jamais : jusqu’où, concrètement, le modèle sait-il planifier avant que l’erreur ne s’accumule ? C’est cette limite-là, documentée dans le papier de recherche lui-même, qui pèse le plus dans l’appréciation d’un cas d’usage donné, davantage que le montant levé par ses promoteurs.
Ce que JEPA change par rapport à un LLM
Ce que les données établissent. Un LLM génère du texte token par token. Un modèle génératif d’image cherche, lui, à reconstituer les pixels de l’image observée, que ce soit d’un bloc (GAN, VAE) ou par débruitage itératif (diffusion), rarement de façon strictement séquentielle pixel par pixel. JEPA (Joint Embedding Predictive Architecture, ou « architecture prédictive à embarquement conjoint ») fait autre chose : un premier bloc, l’encodeur, transforme ce qui est observé, une image ou une séquence vidéo, en une représentation abstraite qu’on appelle un embedding. Un second bloc, le prédicteur, essaie ensuite de deviner l’embedding de l’état futur, dans ce même espace abstrait, sans jamais chercher à reconstituer les pixels exacts de ce qui va suivre. L’idée sous-jacente : une bonne partie du monde est prévisible dans ses grandes lignes (un objet qui tombe, une porte qui s’ouvre) mais imprévisible dans ses détails exacts (la texture précise de chaque pixel), et un modèle qui s’épargne cette prédiction pixel par pixel devrait apprendre plus vite ce qui compte réellement.
I-JEPA, V-JEPA 2 : ce qui a été publié
Ce que les données établissent. Cette idée a d’abord été testée sur des images fixes avec I-JEPA (2023), puis étendue à la vidéo avec V-JEPA 2 (2025), publié par l’équipe Meta FAIR à laquelle appartenait alors Yann LeCun, avant que celui-ci ne quitte Meta pour fonder AMI Labs. V-JEPA 2 compte jusqu’à 1 milliard de paramètres, entraîné sur plus d’un million d’heures de vidéo. Le résultat le plus concret mis en avant par les auteurs porte sur la robotique : après ce pré-entraînement massif sur de la vidéo générale, moins de 62 heures de données robot ont suffi pour la phase de contrôle. Le modèle qui en résulte, V-JEPA 2-AC, permet à un bras robotisé de planifier la saisie d’un objet nouveau, dans un environnement absent des 62 heures de données robot utilisées pour la phase de contrôle, en anticipant dans l’espace latent ce que différents mouvements produiraient plutôt qu’en générant une image de chaque scénario possible ; le papier rapporte un taux de réussite moyen de 65 % pour la saisie d’une tasse (70 % et 60 % selon le laboratoire), contre seulement 25 % pour une boîte, un objet que ce taux plus bas suggère plus difficile à saisir. L’analyse de fond du dossier détaille ces chiffres poste par poste, y compris le gain d’entraînement de 8,4x revendiqué par les auteurs : « Après les LLM : ce que TRM, Mamba et JEPA prouvent vraiment ».
Jusqu’où le modèle planifie-t-il vraiment ?
Ce que les données établissent. Le papier V-JEPA 2 lui-même est explicite sur un point que la démonstration de robotique, prise seule, ne montre pas : la prédiction autorégressive souffre d’une accumulation d’erreur, et la précision des prédictions dans l’espace latent se dégrade à mesure que l’horizon de rollout s’allonge. Les auteurs ajoutent qu’un horizon de planification plus long fait croître l’espace de recherche de façon exponentielle, pour une hausse seulement linéaire de l’horizon. Concrètement, les tâches robotiques démontrées dans le papier restent courtes : une saisie d’objet décomposée en trois phases de 4, 10 puis 4 pas de temps. Le système ne planifie pas une longue séquence d’un bloc : il exécute une seule action, puis réamorce entièrement sa planification avant la suivante, une méthode que les auteurs eux-mêmes nomment le contrôle à horizon glissant (receding horizon control).
Ce que la méthode interprète. C’est la limite la plus concrète de JEPA aujourd’hui, et elle est documentée par ses propres auteurs plutôt que par une critique extérieure : le modèle ne tient pas encore, seul, une planification longue et autonome à plusieurs étapes. Il tient une planification courte, réamorcée à chaque pas, ce qui revient à demander au modèle une nouvelle prédiction avant chaque geste plutôt qu’un plan d’ensemble qu’il exécuterait tel quel. Ce n’est pas un détail d’implémentation isolé : au moins un article de suivi (FF-JEPA, arXiv:2606.09311) s’attaque spécifiquement à ce problème d’horizon dans les world models à embedding, ce qui suggère qu’il ne s’agit pas d’une lecture isolée de ma part, sans qu’une seule référence permette de parler d’un courant de recherche constitué ou d’un verrou reconnu par le champ. La saisie d’un objet inconnu, mise en avant dans la communication, est réelle et déjà notable ; une tâche qui enchaînerait plusieurs gestes indépendants sans réamorçage intermédiaire, comme assembler deux pièces, reste un horizon que le papier ne démontre pas.
La matrice horizon-réamorçage : situer un cas d’usage plutôt que juger l’architecture en bloc
Ce que la méthode interprète. La limite documentée plus haut se lit à travers deux variables, pas une seule : la longueur de l’horizon que la tâche exige, et la fréquence à laquelle le modèle reçoit une observation fraîche pour recaler sa prédiction (le réamorçage). Croiser ces deux axes donne une grille de lecture qui, testée ici sur JEPA, paraît transposable à d’autres world models à embedding : la matrice horizon-réamorçage.
| Réamorçage fréquent | Réamorçage rare | |
|---|---|---|
| Horizon court (tâche décomposable en quelques pas) | Zone confort : viable aujourd’hui | Zone tolérée : dérive bornée par la brièveté de l’horizon |
| Horizon long (trajectoire continue, non découpée) | Zone à instrumenter : viable si l’humain découpe la tâche en sous-objectifs réamorcés | Zone à risque : l’accumulation d’erreur documentée par les auteurs s’exprime pleinement |
Ce que les données établissent. Les auteurs ont découpé la tâche de saisie d’objet en trois segments courts et réamorcés (4, 10, puis 4 pas), plutôt qu’une planification jointe des 18 pas.
Ce que la méthode interprète. Ce découpage illustre la grille plutôt qu’il ne la contredit : le résultat retenu par les ingénieurs correspond, a posteriori, à la zone confort de la matrice, pas à la zone à risque, ce qui explique aussi pourquoi il tient.
Ce qui manque encore, et la question à poser avant d’évaluer un cas d’usage
Ce que les données établissent. Au-delà de la limite de planification, je n’ai identifié, à la date de rédaction, aucun produit commercial à grande échelle démontrant publiquement la promesse initiale de JEPA. Le partenariat annoncé avec l’acteur de santé Nabla n’est pas encore documenté par un résultat opérationnel public ; la robotique reste, pour l’instant, un cas d’usage cité plutôt qu’un déploiement mesuré.
Ce que la méthode interprète. Ce double constat, financement en avance sur la preuve produit et planification en avance sur la preuve d’horizon long, donne une grille de lecture opérationnelle plutôt qu’un simple constat d’attente. Avant d’évaluer une démonstration ou un pitch construit sur JEPA ou V-JEPA 2 pour un cas d’usage propre, trois questions permettent de le placer sur la matrice horizon-réamorçage plutôt que de rester dans l’abstrait : sur combien de pas d’action successifs la planification a-t-elle été démontrée sans réamorçage intermédiaire (l’axe horizon), la démonstration fonctionne-t-elle en boucle fermée avec replanification à chaque étape ou en boucle ouverte sur la séquence complète (l’axe réamorçage), que se passe-t-il quand l’horizon de la tâche s’allonge (la confirmation de zone), et le code et les poids du modèle sont-ils accessibles, sous quelle licence, pour ce cas d’usage. Un cas d’usage qui atterrit en zone à risque n’est pas nécessairement impossible : il signale seulement qu’il faut réduire l’horizon requis ou ajouter du réamorçage avant de s’y engager, pas abandonner l’idée.
Mes réserves
- La limite de planification à long horizon décrite plus haut est confirmée par le papier V-JEPA 2 lui-même, une source primaire plutôt qu’une critique extérieure ; les auteurs ne quantifient toutefois pas précisément à partir de combien de pas la dégradation devient prohibitive pour un cas d’usage donné, seulement que l’erreur s’accumule et que l’espace de recherche croît de façon exponentielle avec l’horizon.
- Le financement précède la preuve : plus d’un milliard de dollars levés par AMI Labs selon TechCrunch et Sifted, et je n’ai trouvé aucune annonce de déploiement à grande échelle à ce jour, ce qui invite à distinguer une conviction d’investisseurs d’un résultat vérifié. Le détail du financement et des acteurs concurrents est traité dans la fiche sœur sur la course aux world models.
- Je n’ai trouvé aucune donnée de consommation énergétique publique sur JEPA équivalente aux études indépendantes qui existent sur les LLM. Le gain d’efficacité d’entraînement de 8,4x annoncé par les auteurs de V-JEPA 2 porte sur un ratio, pas sur une valeur absolue : impossible d’en déduire un coût énergétique réel.
Retour au dossier « Comprendre les modèles post-LLM ». Voir aussi les fiches sœurs : Qu’est-ce que le TRM ? et Qu’est-ce que Mamba ?.
→ Voir l’analyse complète : après les LLM, ce que TRM, Mamba et JEPA prouvent vraiment
I source primaire indépendante · S secondaire spécialisée · P partie prenante ayant un intérêt commercial sur le sujet traité.
Lexique
- LLM· Grand modèle de langage↗
- Modèle d'intelligence artificielle entraîné sur de vastes corpus de texte pour prédire et générer du langage, capable de tâches d'analyse, de synthèse et de génération de texte en langage naturel sans avoir été explicitement programmé pour la tâche demandée.
Modification apportée · mis à jour le 4 septembre 2026
En revérifiant chaque chiffre contre le papier V-JEPA 2 lui-même, j'ai trouvé et corrigé une vraie erreur : le modèle compte jusqu'à 1 milliard de paramètres, pas 1,2 milliard comme je l'avais écrit. J'ai aussi resserré des formulations qui dépassaient ce que mes sources établissent : « un courant de recherche entier reconnu par le champ » n'est en réalité adossé qu'à un seul article de suivi, l'attribution du papier à AMI Labs (c'est son auteur qui a rejoint AMI Labs après coup, pas le papier qui a changé de bannière) était imprécise, et deux constats d'absence (produit commercial, déploiement à grande échelle) sont maintenant présentés comme ce que j'ai personnellement constaté, pas comme un fait universel. J'ai retiré une mention de « vision industrielle » et un détail de découpage temporel (« un seul pas ») que je ne pouvais pas retrouver dans mes sources. J'ai précisé la démonstration de préhension V-JEPA 2 avec les taux de réussite publiés (65 % pour une tasse, 25 % pour une boîte) et le périmètre exact de la nouveauté de l'objet, corrigé le contraste avec les modèles génératifs d'image (GAN, VAE, diffusion, pas seulement du pixel par pixel), sourcé le milliard de dollars levé, et ajouté une question sur la licence du code et des poids à la checklist finale. J'ai ajouté deux encadrés « En clair » : l'un sur la façon dont l'architecture prédit une représentation abstraite plutôt que des pixels, l'autre sur l'accumulation d'erreur qui impose de replanifier à chaque geste.
Développe une méthode d'analyse destinée à distinguer ce que les preuves établissent, ce qu'elles suggèrent et ce qu'elles ne permettent pas de conclure, puis à traduire cette distinction en décisions professionnelles.
Choix du sujet, direction de la rédaction, validation ou modification des sources, validation et retravail du texte et des illustrations : Axel Morel. Rédaction, choix des sources initiales et plan de rédaction initial : assistance IA.
Responsabilité éditoriale : Axel Morel. Recherche et rédaction assistées par IA selon la méthodologie Probans, sources vérifiées avant publication. Charte éditoriale.
En savoir plus