ARC-AGI, le banc d'essai où GPT-4o obtenait environ 9 % en 2024
Axel Morel · Fondateur & analyste, ProbansL'essentiel
Des grilles de couleurs conçues à partir d'a priori proches des a priori humains innés, mais où GPT-4o, Gemini 1.5 et Claude 3.5 Sonnet échouent le plus souvent : comprendre ce banc d'essai est la condition pour lire correctement les scores du TRM.
- Chaque grille est une tâche nouvelle. ARC-AGI, conçu par François Chollet dans un article publié en 2019, oblige le modèle à généraliser une règle à partir de quelques exemples résolus, pas à reconnaître un motif déjà croisé à l'entraînement.
- Les LLM standards y échouent largement. Sur le classement public de l'ARC Prize Foundation, GPT-4o obtenait en 2024 environ 9 % sur le jeu d'évaluation public et 5 % sur le jeu semi-privé, Gemini 1.5 environ 8 % et 4,5 %, Claude 3.5 Sonnet environ 21 % et 14 %.
- Un score y coûte cher à produire. La fondation a calculé environ 26 dollars par tâche pour la version économe d'o3 contre environ 4 560 dollars pour celle qui maximise le score, un facteur de plus de 170, ce qui peut contribuer à expliquer la place que ce banc d'essai occupe dans l'évaluation d'achat en entreprise, place dont je fais l'hypothèse qu'elle est marginale sans qu'aucune donnée d'achat ne vienne l'établir.
Une grille de carrés colorés, quelques exemples résolus à titre d’indice, une grille à compléter en déduisant la règle cachée. Un humain sans entraînement particulier y arrive en général en quelques essais, une observation qualitative, non chiffrée par une étude publiée dans cet article. Un grand modèle de langage standard, aussi impressionnant soit-il en conversation ou en génération de code, y échoue le plus souvent, sur les scores documentés plus bas par l’ARC Prize Foundation. Ce contraste n’est pas un détail anecdotique : c’est le banc d’essai qui permet de lire correctement ce que mesurent réellement les scores annoncés par des modèles comme le TRM.
- ARC-AGI a été conçu pour résister à la mémorisation : chaque tâche est nouvelle, ce qui peut contribuer à expliquer pourquoi des LLM standards, performants ailleurs, y échouent largement (voir les scores ARC Prize Foundation ci-dessous).
- Sa conception anti-triche (jeu de test privé, coût de calcul par tâche pouvant atteindre 4 560 dollars selon les calculs de l’ARC Prize Foundation) peut contribuer à expliquer pourquoi ce banc d’essai reste, si l’on en fait l’hypothèse faute de donnée d’achat publiée, marginal dans l’évaluation d’achat en entreprise, au profit de benchmarks saturés dont le coût de production n’est pas chiffré ici.
- Cette absence peut justifier de traiter un score MMLU ou HumanEval sans score anti-benchmark-maxing comme un signal à interroger explicitement, pas comme un non-sujet.
Un banc d’essai pensé à l’envers, sur des tâches jamais vues
Ce que les données établissent. ARC-AGI (Abstraction and Reasoning Corpus) a été conçu par François Chollet dans un article publié en 2019, « On the Measure of Intelligence » (arXiv:1911.01547). À l’inverse de la plupart des bancs d’essai, qui récompensent la reconnaissance d’un motif déjà croisé à l’entraînement, chaque grille ARC-AGI est une tâche nouvelle, non mémorisable par pré-entraînement : le modèle doit généraliser une règle à partir de deux ou trois exemples seulement, pas reconnaître un motif déjà vu. L’ARC Prize Foundation organise depuis plusieurs années un concours public sur ce banc d’essai, avec un classement qui suit les scores dans la durée ; c’est cette même fondation qui a publié l’analyse venue nuancer, plus tard, l’explication des bons résultats du HRM sur ce banc d’essai, un point traité dans la fiche dédiée au TRM plutôt que repris ici. En mars 2025, la fondation a introduit un second banc d’essai, ARC-AGI-2, plus difficile, et l’a substitué à ARC-AGI-1 dans le cadre de sa compétition ; elle continue par ailleurs de documenter des scores sur ARC-AGI-1, dont celui du TRM huit mois plus tard. Les scores cités dans cet article, GPT-4o, Gemini 1.5, Claude 3.5 Sonnet et o3, portent tous sur ARC-AGI-1. Selon TechCrunch, Chollet a annoncé en novembre 2024 son départ de Google pour cofonder, avec Mike Knoop, le laboratoire Ndea, consacré à l’intelligence artificielle générale.
Des LLM standards à la peine sur ce banc d’essai
Ce que les données établissent. Sur son propre classement public, l’ARC Prize Foundation a documenté des scores de référence obtenus par des LLM standard avec un prompting minimal : GPT-4o obtient environ 9 % sur le jeu d’évaluation public et environ 5 % sur le jeu semi-privé utilisé pour la vérification ; Gemini 1.5 obtient environ 8 % et 4,5 % respectivement ; Claude 3.5 Sonnet, testé dans le même exercice, obtient environ 21 % et 14 %.
Ce que la méthode interprète. Ce déplacement, de la mémoire vers la généralisation, est ce qui rend selon moi l’exercice difficile pour des systèmes entraînés par imitation statistique de gros volumes de texte, sans qu’aucune source de ce dossier ne teste ce lien. Un LLM qui rédige un texte cohérent, résume un document ou génère du code fonctionnel ne dispose pas automatiquement d’une capacité de raisonnement visuel abstrait sur une tâche jamais rencontrée. Les deux compétences ne se recouvrent pas. ARC-AGI rend cet écart visible et mesurable, là où une conversation avec un assistant ne le révèle pas spontanément.
Ce que la méthode interprète : un LLM qui excelle en langage n’est pas, de ce seul fait, un système qui raisonne sur du nouveau. ARC-AGI est le banc d’essai qui rend cette distinction visible.
Pourquoi ce banc d’essai pourrait rester marginal dans l’évaluation commerciale des modèles
Ce que les données établissent. L’ARC Prize Foundation formule sans détour, dans sa politique de test, le principe de conception d’ARC-AGI : « A core design principle of ARC-AGI is that the test taker must not know what the test will be. » Concrètement, une partie des tâches reste privée ou semi-privée, sous accord de confidentialité prévoyant une rétention nulle des données par les éditeurs de modèles. Cet engagement vise précisément à empêcher qu’un laboratoire entraîne son modèle sur les réponses attendues, ce que j’appelle ici du “benchmark maxing”. C’est ce qui rend ARC-AGI difficile à truquer, sans que cette protection soit absolue : la fondation reconnaît elle-même, dans sa politique, un risque de fuite limitée du jeu semi-privé au fil du temps. Une étude systématique récente (arXiv:2602.16763) portant sur 60 benchmarks de langage documente un phénomène de saturation touchant près de la moitié d’entre eux, avec des taux qui augmentent avec l’âge du banc d’essai. MMLU et HumanEval sont pris ici comme illustrations de cette dynamique, plutôt que comme les cas étudiés nommément par cette étude.
Ce que la méthode interprète. L’écart de score documenté plus haut n’est pas qu’une curiosité académique : il pourrait contribuer à expliquer pourquoi ARC-AGI reste, dans les faits, peu mobilisé pour comparer des modèles au moment d’un choix d’achat en entreprise, alors même que sa valeur diagnostique est reconnue. Cette hypothèse n’est pas directement mesurée par une donnée sur les pratiques d’achat réelles en entreprise ; elle s’appuie sur le contraste entre la conception anti-triche du banc d’essai, documentée ci-dessus, et la facilité relative des benchmarks saturés. Cette résistance à la triche a aussi un prix qui peut contribuer, à lui seul, à la faible place d’ARC-AGI dans l’évaluation d’achat : le coût de calcul par tâche explose selon le niveau de performance visé. Sur le jeu semi-privé, l’ARC Prize Foundation a calculé, à partir des volumes de tokens communiqués par OpenAI et de la tarification publique en vigueur fin 2024, un coût d’environ 26 dollars par tâche pour la version économe d’o3, contre environ 4 560 dollars par tâche pour la version qui maximise le score : un facteur de plus de 170 entre les deux configurations pour un même modèle (chiffres non révisés depuis, malgré une mise à jour tarifaire annoncée par la fondation en octobre 2025). Selon les calculs de l’ARC Prize Foundation, ce surcoût achète une vraie différence de résultat, pas seulement un affichage : sur ce même jeu semi-privé, o3 passe de 75,7 % en configuration économe à 87,5 % en configuration maximale, ce qui suggère qu’allouer davantage de calcul au moment de l’inférence (test-time compute) peut encore améliorer le score d’un système à raisonnement, au moins pour ce modèle. o3 dépasse déjà largement les LLM standards cités plus haut dès sa configuration la plus économe. Un score public et vérifiable sur ARC-AGI, obtenu dans des conditions comparables d’un modèle à l’autre, coûte donc bien plus cher à produire et à auditer qu’un chiffre self-reporté sur un benchmark saturé. Pour un service achats qui compare des fournisseurs de LLM sur un tableur, MMLU et HumanEval restent, de ce seul fait, plus commodes à afficher qu’un banc d’essai comme ARC-AGI, conçu pour mesurer la capacité à généraliser sur du jamais-vu plutôt que la mémoire d’un corpus d’entraînement, même si leur propre coût de collecte n’est pas chiffré ici.
Pour un lecteur qui évalue des modèles pour un usage professionnel : face à une fiche commerciale qui affiche un score proche de la saturation sur un banc d’essai grand public, MMLU ou HumanEval par exemple, sans que l’étude de saturation citée plus haut nomme ces deux-là, sans mentionner de score sur un benchmark résistant au benchmark maxing (ARC-AGI ou équivalent), traiter cette absence comme un signal à demander explicitement, pas comme un non-sujet. Un score MMLU élevé ne dit rien sur la capacité du modèle à généraliser sur une tâche métier réellement nouvelle ; un score ARC-AGI documenté, même modeste, le dit.
Mes réserves
- Les scores cités pour GPT-4o et Gemini 1.5 sont des scores de référence publiés avec un prompting minimal, pas une tentative optimisée par les éditeurs de ces modèles ; un prompting plus travaillé ou l’ajout d’outils externes pourrait faire varier ces chiffres, sans que cela change la conclusion générale sur l’écart entre les deux familles de tâches.
- Contre-argument réel à la thèse “ARC-AGI reste marginal” : selon l’ARC Prize Foundation elle-même, les quatre grands laboratoires (OpenAI, xAI, Anthropic, Google DeepMind) ont fait figurer un score ARC-AGI sur leurs fiches modèle au cours de l’année écoulée avant décembre 2025. La marginalité décrite ici concerne l’évaluation d’achat en entreprise, pas la communication des laboratoires eux-mêmes, qui ont un intérêt de prestige à afficher un score sur un banc d’essai réputé difficile à truquer, ce qui ne contredit pas l’argument du coût : ces scores mis en avant sont ponctuels et coûteux à produire pour un lancement, pas une évaluation comparative répétée à l’échelle d’un cycle d’achat.
- L’angle propre de cet article, que ARC-AGI reste marginal dans l’évaluation d’achat en entreprise, ne s’appuie sur aucune donnée de pratique d’achat réelle, ni étude ni sondage : je le déduis de la conception anti-triche du banc d’essai et de son coût de calcul élevé.
- L’explication par le coût est une prédiction falsifiable, pas un fait acquis : si le coût de calcul par tâche venait à baisser dans les prochaines années, l’argument perdrait sa force et ARC-AGI (ou son successeur) pourrait devenir praticable à l’échelle d’une évaluation d’achat classique. Une révision tarifaire annoncée par l’ARC Prize Foundation en octobre 2025 confirme que ce coût est appelé à évoluer, sans que sa direction (hausse ou baisse) soit établie ici.
- Le classement de l’ARC Prize Foundation évolue régulièrement à mesure que de nouveaux modèles sont testés ; les chiffres cités ici correspondent à un instant donné du suivi, pas à un état figé.
- Le TRM (Tiny Recursive Model), un réseau de 7 millions de paramètres construit sur les travaux du HRM et distinct des grands modèles de langage traités ici, obtient 45 % sur ARC-AGI-1 et 8 % sur ARC-AGI-2 (ARC Prize Foundation, décembre 2025). Cet article ne détaille volontairement pas le débat sur ce qui explique ce résultat : ce point est traité dans la fiche dédiée, en lien ci-dessous, pour éviter toute redite.
Comprendre ce que mesure réellement ARC-AGI (une généralisation à partir de peu d’exemples sur une tâche nouvelle, pas une reconnaissance de motif déjà vu) est la condition pour évaluer correctement ce qu’implique un score élevé obtenu par un modèle comme le TRM sur ce même banc d’essai.
Retour au dossier Comprendre les modèles post-LLM. Voir aussi Qu’est-ce que le TRM (Tiny Recursive Model) ?.
ISP-IA28/100· 0-30 % · Preuves très limitées · La preuve centrale de cette pièce (les scores de GPT-4o, Gemini 1.5, Claude 3.5 Sonnet et o3 sur ARC-AGI) vient exclusivement de l'ARC Prize Foundation, qui conçoit, opère et évalue elle-même le banc d'essai dont elle publie les scores : une source de tier P, ce qui plafonne cette pièce au barreau médian quel que soit le soin de sa démonstration, précisément la règle que l'échelle ISP-IA désigne comme la plus structurante du domaine. Le dispositif technique de l'ARC Prize Foundation (jeu semi-privé jamais publié, exécution des soumissions par la fondation elle-même) ressemblerait, chez un évaluateur sans intérêt au résultat, au barreau de l'évaluation tierce sur jeu caché, deux rangs au-dessus du barreau médian ; il reste ici retenu au barreau médian parce que la fondation a un intérêt institutionnel et réputationnel direct à la prééminence du banc d'essai qu'elle a créé. La convergence n'est pas mesurable : les documents qui établissent ces scores viennent tous de la même fondation, sans lecture indépendante susceptible de les confirmer ou de les contredire. Plusieurs documents de la fondation (billets datés, page de politique, bilan annuel) se recoupent sans se contredire sur les chiffres cités, mais aucun ne vient d'un producteur indépendant d'elle. Aucune réplication externe des scores n'a été trouvée. La puissance de l'échantillon (nombre de tâches du jeu semi-privé) n'est établie par aucune source consultée : valeur par défaut la plus prudente en l'absence de ce chiffre.
L'Indice de solidité des preuves évalue la base empirique de cette analyse sur quatre critères pondérés : type de preuve (40 %), convergence (30 %), réplication (20 %), puissance (10 %). L'axe type de preuve est calibré par champ : 100 y désigne le meilleur dispositif que l'échelle ISP-IA sache produire, et non une preuve absolue.
La preuve centrale de cette pièce (les scores de GPT-4o, Gemini 1.5, Claude 3.5 Sonnet et o3 sur ARC-AGI) vient exclusivement de l'ARC Prize Foundation, qui conçoit, opère et évalue elle-même le banc d'essai dont elle publie les scores : une source de tier P, ce qui plafonne cette pièce au barreau médian quel que soit le soin de sa démonstration, précisément la règle que l'échelle ISP-IA désigne comme la plus structurante du domaine. Le dispositif technique de l'ARC Prize Foundation (jeu semi-privé jamais publié, exécution des soumissions par la fondation elle-même) ressemblerait, chez un évaluateur sans intérêt au résultat, au barreau de l'évaluation tierce sur jeu caché, deux rangs au-dessus du barreau médian ; il reste ici retenu au barreau médian parce que la fondation a un intérêt institutionnel et réputationnel direct à la prééminence du banc d'essai qu'elle a créé. La convergence n'est pas mesurable : les documents qui établissent ces scores viennent tous de la même fondation, sans lecture indépendante susceptible de les confirmer ou de les contredire. Plusieurs documents de la fondation (billets datés, page de politique, bilan annuel) se recoupent sans se contredire sur les chiffres cités, mais aucun ne vient d'un producteur indépendant d'elle. Aucune réplication externe des scores n'a été trouvée. La puissance de l'échantillon (nombre de tâches du jeu semi-privé) n'est établie par aucune source consultée : valeur par défaut la plus prudente en l'absence de ce chiffre.
- Les scores rapportés sur le jeu semi-privé seraient ré-exécutés par un évaluateur sans lien avec la fondation qui opère le banc, sous protocole et budget de calcul figés, avec plusieurs graines et un intervalle rapportés.Un évaluateur tiers exécutant lui-même les soumissions, du type HELM (Stanford CRFM) ou MLCommons · personne ne l’a produit
- Le nombre de tâches du jeu semi-privé et la règle de son renouvellement seraient publiés, de sorte que la puissance des scores rapportés cesse d'être inconnue du lecteur qui les lit.L'ARC Prize Foundation, dans sa politique d'évaluation · existe, mais n’est pas consultable
- Le même constat d'échec des modèles de langage sur une tâche de généralisation serait mesuré sur un banc construit et administré par un producteur qui n'a pas créé ARC-AGI, de sorte qu'il cesse de reposer sur l'opérateur du banc qu'il documente.Une équipe académique, ou un consortium d'évaluation sans intérêt dans ARC-AGI · un dispositif approchant existe, sans remplir la condition
Ce dispositif porterait l'indice à 36 sur 100, dans le palier « Preuves limitées ». Les trois autres axes restent à leur valeur actuelle : un dispositif ne fait monter ni la convergence d'une littérature ni sa réplication.
Score de 28/100 (0-30 %) établi le 3 septembre 2026.
I source primaire indépendante · S secondaire spécialisée · P partie prenante ayant un intérêt commercial sur le sujet traité.
Lexique
- LLM· Grand modèle de langage↗
- Modèle d'intelligence artificielle entraîné sur de vastes corpus de texte pour prédire et générer du langage, capable de tâches d'analyse, de synthèse et de génération de texte en langage naturel sans avoir été explicitement programmé pour la tâche demandée.
Modification apportée · mis à jour le 3 septembre 2026
L'indice déclarait une convergence modérée quand sa propre note écrivait qu'aucun document ne vient d'un producteur indépendant de la fondation : cotation fausse, corrigée en convergence non mesurable. J'ai comprimé le rappel factuel (ARC-AGI, few-shot) pour rééquilibrer la part de rappel et la part d'analyse, ajouté les 3 points de synthèse, assoupli la formulation sur la saturation de MMLU/HumanEval faute de source précise et découpé une phrase trop longue. En repassant sur le texte, j'ai corrigé l'affiliation de François Chollet (il a quitté Google en novembre 2024 et cofondé Ndea), corrigé l'attribution du coût par tâche d'o3 (calculé par l'ARC Prize Foundation, pas documenté par OpenAI), ajouté une source académique pour la saturation de MMLU/HumanEval, ajouté le score d'o3 sur ARC-AGI-1 (75,7 %/87,5 %) pour renforcer l'angle, reformulé la phrase sur la marginalité d'ARC-AGI dans une évaluation d'achat pour qu'elle bascule sous le label interprétation plutôt que fait établi, sourcé la publication de scores ARC-AGI-2 par les grands laboratoires et réduit les répétitions du verbe « explique ». J'ai enfin reformulé le titre de la troisième section pour qu'il porte la nuance interprétative déjà présente dans le corps, et assoupli l'attribution du terme « benchmark maxing » ainsi que l'illustration MMLU/HumanEval. Le 3 septembre 2026, en revérifiant chaque source d'origine, j'ai ajouté le score de Claude 3.5 Sonnet sur ARC-AGI-1 (21 %/14 %), coté dans le même exercice que GPT-4o et Gemini 1.5 mais absent de la première version. J'ai attribué explicitement chaque chiffre isolé (coût par tâche, écart 75,7 %/87,5 %, étude de saturation, départ de Chollet) à sa source dans la phrase même qui le porte, plutôt que seulement en bibliographie. J'ai retiré l'affirmation qu'ARC-AGI serait « le seul » banc d'essai à mesurer la généralisation : aucune source ne l'établit par exhaustion des bancs existants. J'ai nuancé le titre et le sous-titre pour distinguer LLM standards et systèmes à raisonnement, l'écart mesuré entre Gemini 1.5 et o3 sur le jeu semi-privé (facteur 17 à 19) le justifiant. J'ai enfin comblé le score du TRM sur ARC-AGI-1, laissé muet jusqu'ici (45 %, ARC Prize Foundation, décembre 2025), et mentionné l'existence d'ARC-AGI-2, annoncé en mars 2025 : son remplacement d'ARC-AGI-1 reste borné à la compétition ARC Prize, la fondation continuant de documenter des scores sur ARC-AGI-1 huit mois plus tard. En relisant une dernière fois, j'ai retiré du sous-titre et du chapô ce qui prêtait à la performance humaine une mesure que je n'ai pas : ni un temps de résolution, ni un nombre d'essais chiffré ou coloré n'est sourcé ici. J'ai retiré l'attribution de Keras à Chollet, absente de la source citée, et précisé qu'il a annoncé son départ de Google plutôt que daté ce départ au mois près. J'ai reconnu que la fondation elle-même admet un risque de fuite limitée du jeu semi-privé, plutôt que de présenter ARC-AGI comme infalsifiable. J'ai resserré la conclusion sur o3 le lien entre calcul supplémentaire et écart réduit, plutôt que de l'étendre à toute une catégorie de systèmes à raisonnement sur la base d'un seul modèle mesuré. J'ai enfin corrigé le titre du schéma, qui affirmait un classement que le texte lui-même refuse de documenter. Une dernière relecture m'a fait aligner le sous-titre sur la même formulation prudente que la description (a priori humains innés, pas « intuitif »), corriger le plafond de coût (4 560 dollars s'atteint, il ne se dépasse pas) et retirer l'affirmation non chiffrée que les benchmarks concurrents coûtent moins cher à produire, préciser que Ndea vise l'intelligence artificielle générale sans lui prêter une « autre piste » que ma source ne caractérise pas, cesser de présenter « zero data retention » comme une citation verbatim de la politique de la fondation, corriger une comparaison qui laissait entendre que le calcul supplémentaire d'o3 réduisait l'écart avec les LLM standards alors qu'il les dépasse déjà largement en configuration économe, et retiré toute présomption sur le sens de la révision tarifaire d'octobre 2025. J'ai ajouté deux encadrés de vulgarisation, l'un sur ce qui rend une grille non mémorisable, l'autre sur ce que coûte le fait de garder une partie des épreuves secrète. Deux affirmations ont été traitées ensuite, sans source nouvelle. J'écrivais que la fondation avait publié des analyses nuançant l'explication des bons résultats du HRM puis du TRM : le document que je cite porte exclusivement sur le HRM, et aucune de mes sources ne documente une analyse équivalente pour le TRM. La mention du TRM est retirée. J'affirmais par ailleurs que ces mêmes modèles de langage figuraient parmi les mieux classés de leur génération sur d'autres bancs d'essai, tout en écrivant dans la même phrase que je ne documentais pas ce classement : la phrase est supprimée, et l'intertitre qui portait la même affirmation ne l'énonce plus. La note qui accompagne l'indice de niveau de preuve situait le dispositif d'évaluation de l'ARC Prize Foundation « au barreau du dessus » du barreau médian, alors que la description qu'elle en donne, jeu de test jamais publié et soumissions exécutées par l'opérateur lui-même, correspond à l'évaluation tierce sur jeu caché, soit deux rangs plus haut. Le barreau nommé est corrigé. L'indice publié ne change pas : la fondation conçoit et opère le banc dont elle publie les scores, et ce plafond de partie prenante reste ce qui commande la note. Dernière correction en date : j'écrivais sous l'étiquette des faits établis que MMLU et HumanEval restent faciles à afficher tels quels dans une fiche commerciale. Aucune source de cette page ne l'établit, c'est une déduction de ma part, et le paragraphe d'interprétation qui suit la portait déjà ; elle ne figure donc plus qu'à cet endroit. L'indice ne bouge pas.
Développe une méthode d'analyse destinée à distinguer ce que les preuves établissent, ce qu'elles suggèrent et ce qu'elles ne permettent pas de conclure, puis à traduire cette distinction en décisions professionnelles.
Choix du sujet, direction de la rédaction, validation ou modification des sources, validation et retravail du texte et des illustrations : Axel Morel. Rédaction, choix des sources initiales et plan de rédaction initial : assistance IA.
Responsabilité éditoriale : Axel Morel. Recherche et rédaction assistées par IA selon la méthodologie Probans, sources vérifiées avant publication. Charte éditoriale.
En savoir plus