ARC-AGI, le banc d'essai que les LLM ratent

Une grille de carrés colorés, huit couleurs possibles, quelques exemples résolus à titre d’indice, une grille à compléter en déduisant la règle cachée. Un humain sans entraînement particulier y arrive en général en quelques essais. Un grand modèle de langage, aussi impressionnant soit-il en conversation ou en génération de code, y échoue le plus souvent. Ce contraste n’est pas un détail anecdotique : c’est le banc d’essai qui permet de lire correctement ce que mesurent réellement les scores annoncés par des modèles comme le TRM.

Un banc d’essai pensé à l’envers des benchmarks habituels

Ce que les données établissent. ARC-AGI (Abstraction and Reasoning Corpus) a été conçu par François Chollet, chercheur chez Google et créateur de la bibliothèque Keras, dans un article publié en 2019, « On the Measure of Intelligence » (arXiv:1911.01547). La plupart des bancs d’essai en IA récompensent un modèle capable de reconnaître un motif déjà croisé, en quantité, pendant son entraînement. Chollet construit ARC-AGI dans la direction inverse : chaque tâche s’appuie sur un petit nombre de « priors » proches de l’intuition humaine de base (notion d’objet, de symétrie, de comptage, de contour), pas sur une compétence acquise par exposition massive à des données similaires.

Pourquoi une tâche nouvelle change tout

Ce que les données établissent. Le principe qui rend ce banc d’essai particulier tient en une phrase : chaque grille est une tâche nouvelle, non mémorisable par pré-entraînement. Un modèle ne peut pas s’appuyer sur des milliards d’exemples similaires vus pendant son entraînement, puisque les grilles de test sont conçues pour ne ressembler à aucun corpus existant. L’enjeu n’est donc pas de mesurer une reconnaissance de motif, mais une capacité à généraliser une règle à partir de deux ou trois exemples seulement — ce qu’on appelle l’apprentissage few-shot. C’est ce déplacement d’objectif, de la mémoire vers la généralisation, qui rend ARC-AGI difficile pour des systèmes entraînés essentiellement par imitation statistique de gros volumes de texte.

Un concours public, suivi dans le temps

Ce que les données établissent. L’ARC Prize Foundation organise depuis plusieurs années un concours public sur ce banc d’essai, avec un classement (leaderboard) qui suit dans la durée les scores obtenus par les différents systèmes, des premiers modèles de langage jusqu’aux modèles de raisonnement les plus récents. C’est cette même fondation qui a publié les analyses indépendantes venues nuancer, plus tard, l’explication avancée pour les bons résultats du HRM puis du TRM sur ce même banc d’essai — un point détaillé dans la fiche consacrée au TRM plutôt que repris ici.

Des LLM performants ailleurs, à la peine ici

Ce que les données établissent. Sur son propre classement public, l’ARC Prize Foundation a documenté des scores de référence obtenus par des LLM standard avec un prompting minimal : GPT-4o obtient environ 9 % sur le jeu d’évaluation public et environ 5 % sur le jeu semi-privé utilisé pour la vérification ; Gemini 1.5 obtient environ 8 % et 4,5 % respectivement. Ces mêmes modèles figurent, par ailleurs, parmi les meilleurs de leur génération sur des benchmarks de langage, de connaissances générales ou de code.

Mon interprétation. L’écart entre ces deux familles de résultats est le point central à retenir. Un LLM qui rédige un texte cohérent, résume un document ou génère du code fonctionnel ne dispose pas automatiquement d’une capacité de raisonnement visuel abstrait sur une tâche jamais rencontrée. Les deux compétences ne se recouvrent pas. ARC-AGI rend cet écart visible et mesurable, là où une conversation avec un assistant ne le révèle pas spontanément.

Un LLM qui excelle en langage n’est pas, de ce seul fait, un système qui raisonne sur du nouveau : ARC-AGI est le banc d’essai qui rend cette distinction impossible à ignorer.

Mes réserves

• Les scores cités pour GPT-4o et Gemini 1.5 sont des scores de référence publiés avec un prompting minimal, pas une tentative optimisée par les éditeurs de ces modèles ; un prompting plus travaillé ou l’ajout d’outils externes pourrait faire varier ces chiffres, sans que cela change la conclusion générale sur l’écart entre les deux familles de tâches.
• Le classement de l’ARC Prize Foundation évolue régulièrement à mesure que de nouveaux modèles sont testés ; les chiffres cités ici correspondent à un instant donné du suivi, pas à un état figé.
• Cet article ne détaille volontairement pas les résultats du TRM lui-même sur ARC-AGI-1, ni le débat sur ce qui explique ce résultat : ce point est traité dans la fiche dédiée, en lien ci-dessous, pour éviter toute redite.

Comprendre ce que mesure réellement ARC-AGI — une généralisation à partir de peu d’exemples sur une tâche nouvelle, pas une reconnaissance de motif déjà vu — est la condition pour évaluer correctement ce qu’implique un score élevé obtenu par un modèle comme le TRM sur ce même banc d’essai.

Retour au dossier Comprendre les modèles post-LLM. Voir aussi Qu’est-ce que le TRM (Tiny Recursive Model) ?.