Les IA comme ChatGPT savent-elles prédire la Bourse ?

À la base, un modèle de langage comme GPT-4 est entraîné à deviner le mot le plus probable à la suite d’un texte [9]. Pourtant, deux chercheurs de l’université de Floride lui ont soumis des titres de presse sur des entreprises cotées, en lui demandant si la nouvelle était bonne ou mauvaise pour l’action, et ses réponses ont suivi de près la réaction du marché [1].

Nous avons voulu vérifier ce que ce résultat vaut pour quelqu’un qui doit décider : confier de l’argent, un processus ou un outil à un modèle qui « prévoit » les marchés. Trois questions : que prédit-il vraiment, ce qu’il prédit se transforme-t-il en gain, et peut-on croire un test mené sur des années que le modèle a déjà lues pendant son entraînement ?

La réponse courte

GPT-4 devine bien comment le marché réagit à une nouvelle (des modèles plus simples, comme GPT-1 ou GPT-2, beaucoup moins), mais cette réaction a lieu avant qu’on puisse en profiter [1]. Ce qu’il reste d’exploitable est plus modeste, et les frais de transaction le rongent [1]. Sur les années que le modèle a déjà lues pendant son entraînement, une étude montre qu’il retrouve des valeurs réelles [2], une autre qu’il se trompe nettement moins [5] ; une troisième en obtient aussi des valeurs réelles, sur une période qu’elle dit couverte par l’entraînement [6] : son score n’y mesure plus ce qu’il prévoit, et rien ne permet d’en isoler la part exacte [2][5][6].

Le 90 % qui fait rêver

L’expérience est simple. GPT-4, l’une des versions de ChatGPT, reçoit un titre de presse et le nom de l’entreprise, et répond « oui » si la nouvelle est bonne pour l’action, « non » si elle est mauvaise, « inconnu » s’il ne sait pas [1]. Ces réponses nourrissent des portefeuilles fictifs : on parie à la hausse sur les titres jugés bien orientés, à la baisse sur ceux jugés mal orientés, et l’on recommence chaque jour [1].

L’échantillon est vaste : 159 137 titres de presse sur 4 123 entreprises américaines, d’octobre 2021 à mai 2024 [1]. Surtout, il ne contient que des nouvelles postérieures à la date de coupure du modèle, celle où s’arrêtent les données de son entraînement : septembre 2021 pour la version utilisée [1]. Le modèle est donc censé n’avoir lu ni ces nouvelles ni leurs suites, précaution que les deux auteurs de l’étude, dans un autre travail cosigné avec un troisième chercheur, jugent indispensable [2].

Le résultat paraît spectaculaire. Pour les nouvelles publiées la nuit, avant 9 h ou après 16 h, le portefeuille fictif gagne sur le papier 93,3 % des jours ; pour celles de la journée, 88,8 % [1].

Reste à savoir ce qu’on mesure. Ce taux porte sur la réaction initiale, le saut de cours qui suit la nouvelle, et ce saut n’est exploitable que par quelqu’un qui connaîtrait la nouvelle à l’avance, un initié par exemple : les auteurs le disent eux-mêmes impossible à négocier autrement [1]. Il porte aussi sur des journées de portefeuille, non sur chaque titre pris isolément [1].

Ce chiffre ne départage guère GPT-4 de GPT-3.5, un autre modèle d’OpenAI (93 %), ni de FinBERT, un modèle entraîné sur des textes financiers (90 %) [1]. Ce qui les sépare, c’est la suite.

Ce que les frais laissent

La partie exploitable s’appelle la dérive : le mouvement qui se prolonge après la réaction initiale [1]. Là, GPT-4 fait moins bien. Le portefeuille fictif gagne 58 % des jours pour les nouvelles de nuit et 55 % pour celles de la journée, avec un rendement moyen de 0,34 % par jour pour les premières, avant frais [1]. Le ratio de Sharpe, qui rapporte le rendement moyen au risque pris, atteint 2,97 [1][3]. Sur cette même dérive des nouvelles de nuit, GPT-3.5 n’atteint que 1,66 et FinBERT passe sous zéro [1]. Sans frais, le portefeuille aurait cumulé environ 700 % entre octobre 2021 et mai 2024 [1].

Puis viennent les frais.

Tableau 1. Ratio de Sharpe annualisé de la dérive, nouvelles de nuit, selon les frais supposés par aller-retour, c’est-à-dire par achat suivi d’une vente. Dans la dernière colonne, les grandes entreprises pèsent davantage. Source : [1].

À 0,05 % par aller-retour, le cumul reste supérieur à 300 % ; à 0,10 %, supérieur à 100 % ; à 0,20 %, la stratégie n’est plus rentable [1]. Autre coût de ce schéma : le portefeuille de base brasse chaque jour environ 190 % de sa valeur ; en ne renouvelant qu’un quart de ses positions, la rotation tombe à 46 % par jour, et le ratio de Sharpe à 0,10 % de frais vaut 1,34 contre 1,29 pour le portefeuille de base [1].

Les auteurs en tirent eux-mêmes la leçon : ces schémas ne sont praticables que pour des intervenants aux frais très bas, comme les teneurs de marché, et restent difficiles pour les grands investisseurs ou les investisseurs peu sophistiqués [1].

Autre limite : le gain vit surtout chez les petites entreprises. Quand les grandes pèsent davantage, le ratio de Sharpe tombe de 2,97 à 0,56 [1]. Après une mauvaise nouvelle, les petites valeurs continuent de baisser (-0,70 %) quand les grandes se stabilisent (+0,06 %) [1]. Écarter les titres à moins de 5 dollars et les plus petites capitalisations laisse pourtant plus de 300 % de rendement cumulé, avant frais [1].

Un filon qui s’use

L’avantage ne dure pas. Une nouvelle est absorbée par les prix en deux jours environ : pour les nouvelles de nuit, le rendement moyen est de 0,34 % le premier jour, de 0,19 % le suivant [1]. Et le ratio de Sharpe de la stratégie recule d’une période à l’autre : 6,54 fin 2021, 3,68 en 2022, 2,33 en 2023, 1,22 de janvier à mai 2024 [1].

Les auteurs y voient une preuve « suggestive », sans exclure d’autres causes, de l’effet de la diffusion de ces outils [1]. Ils écrivent aussi que le succès d’un tel modèle contient le germe de sa propre disparition comme signal de négociation [1].

Quand la prévision est un souvenir

Reste le point le plus délicat. Une littérature croissante teste les modèles non pas après leur date de coupure, mais sur des périodes qu’ils ont déjà lues pendant leur entraînement [2]. Or un modèle peut y avoir croisé la réponse : le niveau du S&P 500, l’indice boursier américain, le 2 mai 2020, par exemple, question que les chercheurs de Floride ont posée à GPT-4o [2]. L’information du futur s’infiltre alors dans le test, ce qu’on appelle un biais d’anticipation [6].

La réponse de GPT-4o est troublante. Avant sa date de coupure, qui est octobre 2023 selon son fournisseur, il retrouve le niveau quotidien du S&P 500 avec une erreur moyenne de 0,61 %, le taux de chômage avec une erreur moyenne de 0,03 point de pourcentage, et l’année de parution d’un titre de presse dans 98,5 % des cas [2]. Après la date de coupure, l’erreur sur le S&P 500 bondit à 16,87 %, celle sur le chômage à 0,26 point, et l’année d’un titre n’est plus retrouvée que dans 28,8 % des cas [2].

Tableau 2. GPT-4o avant et après sa date de coupure (octobre 2023). Après cette date, les échantillons sont petits : 17 observations pour le chômage. Source : [2].

Un modèle ouvert, Llama 3.1, montre le même schéma : avant sa date de coupure, il retrouve très bien les indicateurs exprimés en pourcentage, moins bien que GPT-4o les indices, et nettement moins bien après [2].

Une deuxième étude, de Texas Tech University, prend le problème à l’envers : GPT-4 se trompe-t-il moins sur ce qu’il a pu lire ? Oui. Son erreur moyenne est environ 18 % plus faible avant sa date de coupure qu’après pour les indices boursiers (65 % pour le seul S&P 500), environ 16 % pour les prix mensuels d’actions et environ 11 % pour les bénéfices trimestriels des entreprises [5]. Face à des analystes professionnels, l’écart d’erreur se resserre avant la date de coupure puis se creuse : une partie de la performance apparente vient d’une fuite d’information, pas d’une vraie capacité de prévision, estime l’auteur [5].

Une troisième équipe, de Melbourne, du Luxembourg et d’ESSEC, ne cherche plus à prévoir : elle donne à GPT-4.1 un nom d’entreprise et une date, et lui demande le rendement de l’action ce jour-là, entre 2018 et 2023 [6]. Le sens du rendement est juste dans 54 % des cas au quotidien, 63 % au mois et 71 % à l’année ; pour l’indice S&P 500, la restitution mensuelle est presque parfaite, avec 98 % de sens justes [6].

Or un portefeuille construit sur ces rendements restitués, donc sans la moindre prévision, affiche au quotidien un ratio de Sharpe de 2,88 [6]. Celui de GPT-4 sur des nouvelles postérieures à sa date de coupure est de 2,97 [1].

Faux cap, faux masque

On pourrait croire le problème facile à contourner : il suffirait de demander au modèle d’ignorer ce qui suit une date, ou de masquer les noms. Les chercheurs de Floride ont essayé [2].

Ils ont demandé à GPT-4o de prévoir la croissance trimestrielle du PIB américain (produit intérieur brut) en ignorant tout ce qui suit 2010, et ont jugé juste toute réponse du bon côté du seuil de 2,5 % [2]. Quand la consigne figure seulement dans les instructions générales du modèle, celles qui fixent son rôle et son contexte [8], il répond juste dans 98 % des cas après 2010, comme avant, alors que sur des trimestres réellement inconnus de lui il tombe à 40 %, sur six observations seulement [2]. Quand la consigne figure aussi dans la question, la part de bonnes réponses après 2010 baisse à 69 %, mais le modèle ne répond pas à 38 questions sur 51 [2].

Trois explications restent possibles : la consigne fonctionne, le modèle cache ce qu’il sait, ou il joue le rôle d’un modèle limité. Les résultats ne permettent pas de trancher [2].

Même masqués, les noms se devinent. Sur des transcriptions anonymisées de conférences téléphoniques où des entreprises commentent leurs résultats, GPT-4o retrouve l’entreprise dans 100 % des cas pour Apple, Meta et Microsoft, et dans plus de 85 % pour chacune des sept grandes entreprises technologiques (Apple, Amazon, Alphabet, Meta, Microsoft, Nvidia, Tesla) ; pour Apple, il retrouve aussi le trimestre et l’année dans 93,2 % des cas [2].

Le dilemme est de fond : pour qu’une prévision serve, le texte doit contenir un contexte précis, et ce contexte permet justement d’identifier l’entreprise [2]. Un test négatif ne prouve d’ailleurs rien : un test de mémorisation qui réussit est concluant, un test qui échoue ne l’est pas [2].

Un piège plus ancien que l’IA

Un piège voisin, bien plus ancien que les modèles de langage, guette les tests menés sur des données passées : le surajustement de backtest. Un backtest est la simulation, sur des données passées, de ce qu’aurait rapporté une stratégie d’investissement ; le surajustement (en anglais overfitting) désigne le cas où un modèle épouse des observations particulières plutôt qu’une structure générale [3].

En 2014, quatre chercheurs ont montré, par le calcul et par simulation, qu’il suffit d’essayer quelques variantes d’une stratégie pour en trouver une spectaculaire sur le passé et nulle ensuite [3]. Avec dix variantes seulement, on peut s’attendre à trouver un ratio de Sharpe de 1,57 dans le passé, alors que toutes valent zéro après [3]. Avec cinq ans de données, au-delà de 45 variantes indépendantes, on est presque sûr d’obtenir un Sharpe de 1 dans le passé et de zéro ensuite [3].

L’exemple le plus parlant tient en une ligne. Sur 1 000 prix quotidiens tirés au hasard, donc sans aucune régularité à découvrir, les auteurs ont testé 8 800 combinaisons de paramètres d’une stratégie saisonnière ; la meilleure affiche un ratio de Sharpe de 1,27 [3].

Le nombre d’essais est donc l’information décisive, et il n’est presque jamais publié : sans lui, écrivent les auteurs, on ne peut pas évaluer le risque de surajustement, et ils soupçonnent qu’une bonne part des backtests publiés dans les revues académiques peut être trompeuse [3].

Pis, dans certains cas, optimiser sur le passé dégrade le futur : quand les résultats successifs d’une stratégie dépendent les uns des autres, plus on optimise sur le passé, plus la performance ultérieure se dégrade [3].

Un résultat voisin vient d’une autre direction. Dans une version de travail de 2012, deux professeurs de finance ont suivi 82 caractéristiques d’entreprises qui, selon des articles académiques, permettaient de prévoir les rendements boursiers [4]. Après la publication de ces articles, la prévisibilité baisse en moyenne d’environ 35 %, dont environ 10 % tiendrait aux biais statistiques, une part que les chiffres ne distinguent pas de zéro [4]. Les auteurs en déduisent que la publication elle-même pèse pour au moins 25 % environ [4]. La baisse est plus forte pour les titres les moins coûteux à arbitrer : grandes entreprises, titres très échangés [4].

L’étude sur GPT-4 compare plusieurs modèles et plusieurs pondérations de portefeuille, mais ne dit pas combien de variantes ont été essayées en tout [1].

Mesurer le bruit, jusqu’où ?

Peut-on au moins mesurer l’ampleur du problème ? En partie, et seulement par le bas.

Les auteurs de l’étude de Melbourne ont imaginé un thermomètre : retirer une à une les réponses que le modèle retrouve le mieux, jusqu’à ce que le ratio de Sharpe du portefeuille tombe sous 0,2, puis compter la part retirée [6]. Pour GPT-4.1, il suffit d’écarter 3 % des observations au quotidien, 17,7 % au mois et 39,5 % à l’année [6]. Quand on ajoute au message le rendement du marché ce jour-là, il en faut 21,4 % au quotidien [6].

Au pas quotidien et mensuel, les auteurs en déduisent que le modèle retrouverait correctement peu d’éléments et devinerait le reste ; ces réponses devinées sont pour l’essentiel des valeurs proches de zéro [6]. Les versions plus petites de GPT-4.1 n’en retrouvent presque rien au quotidien, mais leur taille n’est pas connue : elle est déduite du prix d’accès [6].

Cette mesure donne un plancher, pas un plafond. Ajouter du contexte à la question peut faire ressortir davantage de souvenirs [6]. Les chercheurs de Floride le formulent en logique : un test de mémorisation positif est concluant, un test négatif ne prouve rien [2]. Et quand l’échantillon postérieur à la date de coupure est petit, vraie compétence et mémoire non détectée donnent des résultats indiscernables [2].

La mémoire est d’ailleurs inégale. Elle est plus nette pour les grandes entreprises et pour les périodes récentes : l’erreur sur le cours d’une action est de 24,70 % pour le cinquième des plus petites capitalisations, de 11,29 % pour celui des plus grandes [2][6]. La prévisibilité que GPT-4 tire de nouvelles inédites, elle, se concentre chez les petites entreprises [1].

Avant de prévoir, savoir lire

Même la mémoire écartée, une question plus basique se pose : un modèle de langage lit-il correctement un chiffre ? Des chercheurs de l’université nationale de Singapour ont bâti un banc d’essai, FAITH, à partir des rapports annuels déposés en 2024 par des entreprises de l’indice S&P 500 [7]. On masque un nombre dans une phrase, et le modèle doit le retrouver à partir du texte et des tableaux qu’on lui fournit [7]. Une réponse qui contredit le texte fourni est ce que les auteurs appellent une hallucination intrinsèque [7].

Les meilleurs modèles réussissent, sans être infaillibles : Claude Sonnet 4 trouve le bon chiffre dans 95,6 % des cas, Gemini 2.5 Pro dans 91,9 %, GPT-4.1 dans 89,2 %, quand les petits modèles ouverts tombent à 47,5 % (Llama 3.1 8B) et 30,6 % (Qwen 3 8B) [7]. Les auteurs jugent que 4 à 8 % d’erreurs restent un sujet pour la finance, où la précision n’est pas négociable [7].

Dès qu’il faut enchaîner plusieurs calculs, cela se gâte : sur ce niveau de difficulté, Gemini 2.5 Pro réussit 90 % des cas et Claude Sonnet 4 80 %, soit 10 à 20 % d’échecs pour les deux meilleurs, mais sur dix cas seulement [7]. Plusieurs modèles, dont Llama 3.3 70B et Mistral Small 24B, tombent à zéro ou presque [7].

Un défaut revient : l’erreur d’échelle, qui consiste à annoncer 150 dollars au lieu de 150 millions. Les auteurs estiment que corriger ce seul défaut porterait l’exactitude de Llama 3.3 70B sur la valeur à 57,7 % ; leur tableau donne, avant correction, 40,9 % sur la valeur et 37,0 % au global [7]. Les auteurs préviennent que leur procédure de sélection peut écarter les passages les plus difficiles et légèrement sous-estimer la difficulté réelle [7].

L’étude de GPT-4 sur les titres de presse ne mesure pas ce risque d’hallucination [1].

Le risque est peut-être collectif

Reste un angle que les tests individuels manquent : et si le danger n’était pas qu’un outil se trompe, mais que beaucoup d’outils se trompent ensemble ? Deux économistes du système de la Réserve fédérale américaine ont étudié une forme de ce risque, l’imitation entre agents, en leur nom propre et non au nom de l’institution [8]. Ils ont rejoué avec quatre modèles de langage (Claude 3.5, Claude 3.7, Llama 3 70B et Nova Pro) une expérience de 2009 menée sur 32 professionnels de marché [8].

Ils y étudient le comportement de troupeau : des investisseurs qui ignorent leur information privée pour imiter les autres [8]. Les agents IA décident de façon rationnelle dans 61 à 97 % des cas selon la variante de l’expérience, contre 46 à 51 % pour les humains [8]. Ils entrent aussi moins souvent en cascade, c’est-à-dire à décider d’après les choix des autres plutôt que d’après leur propre information : 0 à 9 % de leurs décisions, contre 12 à 19 % pour les humains selon la variante ; et quand ils le font, c’est à contre-courant, pas en suivant le troupeau [8].

Le détail est moins rassurant. Ces agents s’appuient trop sur leur information privée et négligent l’historique des échanges, même quand en tenir compte serait la meilleure stratégie [8]. Guidés vers le comportement optimal, ils se mettent à suivre le mouvement, mais font alors plus de décisions de cascade non optimales que les agents de base : chercher à les rendre optimaux peut avoir des conséquences non voulues pour la stabilité financière, écrivent les auteurs [8]. Et il suffit d’inverser les couleurs des signaux, le rouge pour « bonne nouvelle » et le vert pour « mauvaise », pour qu’ils se trompent en moyenne dans un quart des décisions, tous les choix de Claude 3.5 étant erronés [8].

Les auteurs qualifient eux-mêmes ces implications de spéculatives, tirées d’une expérience de laboratoire et non de vrais marchés [8]. Ils laissent de côté la crainte, avancée par d’autres, que l’usage généralisé de l’IA uniformise les approches et accroisse la corrélation des marchés [8].

L’étude sur les titres de presse voit un effet plus rassurant : à mesure que ces outils se diffusent, les rendements de la stratégie reculent, ce que les auteurs jugent compatible avec des prix plus efficaces [1].

Quatre usages, quatre niveaux de preuve

Sous l’étiquette « LLM en finance » (LLM, pour large language model, grand modèle de langage) se cachent des usages très différents, dont la preuve n’a pas la même solidité. La mémoire, d’abord, ne contamine pas tous les usages : les tâches d’extraction de faits (noms, dates, chiffres rapportés) sont en général épargnées, le jugement, l’analyse du ton, l’évaluation des risques et la prévision ne le sont pas [2]. Même une extraction en apparence simple peut l’être si le modèle a mémorisé le fait [2].

La dernière ligne du tableau relève du RAG (génération augmentée par la recherche), un système qui va chercher les documents pertinents au moment de la question avant que le modèle ne réponde [9]. Ses auteurs sont des ingénieurs de la gestion des risques de la banque TD [9].

Tableau 3. Quatre usages, ce que les sources en montrent et sur quelle base. Sources : [1][2][5][6][7][9].

Et demain ?

Aujourd’hui. Un test qui compte porte sur des données postérieures à la date de coupure du modèle, avec un échantillon assez grand [2].

Dans quelques années. Pour les études à basse fréquence, les données postérieures à la date de coupure peuvent mettre des années à s’accumuler [2], et l’avantage mesuré s’effrite à mesure que ces outils se diffusent [1].

Plus loin. Les effets sur la stabilité financière restent, de l’aveu des auteurs, spéculatifs ; ils évoquent de possibles tests de résistance propres à l’IA [8].

Ce qu’un lecteur qui doit décider peut en faire

Avant de confier une décision à un outil de prévision fondé sur un modèle de langage, une question suffit pour commencer : sur quelles données le test a-t-il été fait ? Sur des nouvelles postérieures à la date de coupure du modèle, frais comptés, un résultat commence à valoir quelque chose [1][2]. Sur des années que le modèle a déjà lues, il ne dit plus si le modèle prévoit ou se souvient [2][5][6].

Selon votre place, la lecture change :

Tableau 4. Lecture par profil. L’attribution des usages à chaque profil est notre lecture ; « Enjeu » et « Réversibilité » sont notre appréciation ; le critère du nombre d’essais est notre transposition de [3]. Sources : [1][2][3][7][8][9].

Mes réserves

• Surtout des préprints. Trois des neuf documents sont parus en revue ou en actes de conférence [3][6][7] ; les autres sont des préprints, un document de travail ou une version de travail de 2012 [1][2][4][5][8][9]. Je rapporte leurs résultats comme ceux d’une étude, non comme des faits confirmés par d’autres.
• Du papier, pas des marchés. Dans l’étude sur GPT-4, rien n’est négocié pour de vrai : les frais sont des hypothèses des auteurs, sans coût d’emprunt des titres ni chiffre de capacité, et seules des actions américaines sont testées [1].
• Des grandes entreprises surreprésentées. Les entreprises de l’échantillon de titres de presse sont plus grandes que l’ensemble de la base de référence : capitalisation médiane de 1,99 milliard de dollars contre 0,56 milliard [1].
• Deux familles de modèles, surtout OpenAI. Les tests de mémoire portent sur des modèles d’OpenAI et, dans une étude, sur un modèle ouvert de Meta ; aucun test de Claude ou de Gemini n’y figure [2][5][6].
• Des échantillons parfois minuscules. Après la date de coupure, l’étude de Floride compte 6 observations pour le PIB et 17 pour le chômage, et ses auteurs disent eux-mêmes qu’il ne s’agit pas de tests définitifs [2] ; le niveau de calcul multi-étapes de [7] repose sur dix cas [7].
• Des mesures qui ne mesurent pas la même chose. [6] mesure une restitution, pas une prévision ; [5] un effet net où mémoire, biais et bruit sont mêlés ; [3] et [4] ne parlent d’aucun modèle de langage, et [4] porte sur des caractéristiques publiées jusqu’en 2011 [3][4][5][6].
• Quand le texte et le tableau divergent, je retiens le tableau. J’écris 21,4 % plutôt que 22 % pour [6], et 98 % plutôt que 96 % pour [2].
• La taille de GPT-3.5, GPT-4 et GPT-4.1 n’est pas confirmée. Le nombre de paramètres de GPT-3.5 et de GPT-4 n’est pas confirmé [1], et la taille des modèles de [6] est déduite du prix d’accès [6].