IA et créativité : des histoires plus semblables ?

Oui, sur la seule mesure collective que le corps de l’article publie (figures et matériel supplémentaire non lus), et dans un cadre étroit. Dans cette expérience en ligne, 293 participants écrivent une histoire de huit phrases, avec ou sans idée de départ produite par GPT-4. La nouveauté jugée par des lecteurs augmente de 8,1 % avec l’accès à cinq idées et de 5,4 % (P = 0,021) avec l’accès à une idée ; les auteurs écrivent que ce second accès mène à une créativité « somewhat greater » et que les gains les plus nets, avec des écarts significatifs sur leurs indices préenregistrés, viennent de l’accès à cinq idées. En moyenne, les histoires des conditions avec accès à l’IA sont aussi plus proches de la moyenne des autres histoires de leur condition : les auteurs rapportent cette hausse à l’étendue des scores de la condition sans IA, soit 10,7 % avec une idée et 8,9 % avec cinq. L’étude n’observe aucun marché.

Le gain individuel est un jugement de lecteurs, sur un accès à l’IA. Six cents lecteurs notent les histoires, et les écarts mesurent l’effet d’avoir eu accès à l’idée, que l’écrivain l’ait demandée ou non.

La mesure collective est une proximité calculée, pas une diversité comptée. Le mot « diversity » figure dans le titre de l’article et nulle part dans son corps. Dans le corps de l’article (figures et matériel supplémentaire non lus), la seule mesure imprimée est une similarité entre plongements de texte, calculée à l’intérieur de chaque condition.

Le passage au marché est une extrapolation au conditionnel. Les auteurs écrivent que si l’édition adoptait davantage d’histoires inspirées par l’IA, leurs résultats suggèrent qu’elles deviendraient moins uniques en agrégat.

Un article de Science Advances, deux auteurs, des données déposées

L’article paraît dans Science Advances (vol. 10, n° 28, eadn5290), reçu le 14 décembre 2023 et accepté le 7 juin 2024. Ses deux auteurs sont rattachés à l’UCL School of Management et à l’University of Exeter. L’étude est financée par l’University of Exeter Business School et l’UCL School of Management. Les auteurs déclarent n’avoir aucun conflit d’intérêts. Les données et le code sont déposés sur Dryad.

Une expérience où l’IA ne fournit qu’une idée de départ

L’étude est expérimentale, en ligne et préenregistrée, en deux phases. Dans la première, 500 participants sont recrutés sur Prolific, au Royaume-Uni, et 293 « writers » sont retenus. Ils ne sont sélectionnés ni sur leurs compétences d’écriture ni sur leur créativité. Chacun écrit une histoire d’exactement huit phrases, en anglais, pour un public d’environ 15 à 24 ans, sur l’un de trois thèmes d’aventure. Trois conditions existent : sans IA, avec une idée d’IA, avec cinq idées. Dans la seconde phase, 600 autres participants notent les histoires.

L’IA n’intervient que comme point de départ. Dans les deux conditions IA, l’écrivain peut choisir de recevoir un résumé de trois phrases produit par GPT-4 à partir d’une invite fixe par thème. Il ne peut pas copier-coller ce texte, ni modifier l’invite, ni dialoguer avec le modèle. L’écrivain rédige, seule l’idée de départ vient du modèle.

Dans les deux conditions IA, 88,4 % des participants ont demandé au moins une idée : 82 sur 100 dans la condition à une idée, 93 sur 98 dans celle à cinq idées. Avec cinq idées possibles, ils en ont demandé en moyenne 2,55, et 24,5 % ont demandé le maximum. Les effets sont estimés en intention de traiter : par condition assignée, que l’écrivain ait demandé une idée ou non.

Des lecteurs ordinaires jugent la créativité, sans savoir qui a eu l’IA

Les 600 évaluateurs sont eux aussi des participants Prolific basés au Royaume-Uni. Ils ne sont pas sélectionnés sur une expérience de l’édition : ce sont des lecteurs « ordinaires ». Il y a eu 3 519 évaluations au total, sur une échelle de 1 à 9. Pendant la notation, les évaluateurs ne sont pas informés que certains écrivains avaient accès à l’IA ; ils l’apprennent après avoir noté. La nouveauté est la moyenne de trois items (novel, original, rare), l’utilité celle de trois autres (appropriate, feasible, publishable).

Le préenregistrement est invoqué pour l’étude dans son ensemble, pour la comparaison entre la condition sans IA et les conditions IA, pour les indices de nouveauté et d’utilité, et pour une règle d’exclusion. La section sur la similarité ne contient ni « preregist » ni « exploratory », et aucune des 11 occurrences de « preregist » du corps ne porte sur la mesure de similarité. Le corps ne dit donc pas si cette mesure était préenregistrée.

Ce que la créativité jugée gagne à l’accès à l’IA

Par rapport à la condition sans IA, la nouveauté jugée augmente de 5,4 % avec une idée (b = 0,207, P = 0,021) et de 8,1 % avec cinq idées (b = 0,311, P < 0,001). L’utilité jugée augmente de 3,7 % avec une idée (b = 0,185, P = 0,039) et de 9,0 % avec cinq (b = 0,453, P < 0,001), et de 5,1 % entre cinq idées et une idée (P = 0,0012). Ce sont des hausses relatives de notes moyennes données par des lecteurs, pas des parts d’histoires.

Les auteurs écrivent que l’accès à une idée mène à « somewhat greater creativity » et que les gains les plus nets viennent de l’accès à cinq idées.

Les écrivains qui évaluent leur propre histoire ne montrent pas de différence statistiquement significative de nouveauté ni d’utilité, selon qu’on leur a proposé l’IA ou non.

Dans des analyses que les auteurs libellent « Exploratory », les histoires des deux conditions IA sont jugées plus agréables et plus souvent dotées d’un retournement. Avec cinq idées, elles sont jugées mieux écrites et moins ennuyeuses, mais pas plus drôles (écart non significatif).

Selon les auteurs, les gains jugés sont plus nets chez les écrivains les moins créatifs

La créativité propre des écrivains est mesurée avant l’écriture par une tâche d’association de mots, la DAT : donner dix mots aussi différents que possible. Elle est calculée pour 291 des 293 écrivains. Chez les plus créatifs, l’accès à l’IA a peu d’effet sur la créativité jugée. Chez les moins créatifs, une idée améliore la nouveauté de 6,3 % et cinq idées de 10,7 %. Les auteurs écrivent que la condition à cinq idées égalise les scores de créativité entre écrivains moins et plus créatifs.

Deux « 10,7 % » figurent dans l’article et n’ont aucun rapport : celui-ci, un gain de nouveauté des écrivains à DAT basse, et celui de la similarité, qui est une part d’étendue.

Les auteurs ne trouvent pas, dans cette étude, d’indice que les idées d’IA repoussent la borne haute de la créativité des histoires au-delà de ce que font seuls des humains particulièrement créatifs. C’est une absence d’indice dans cette étude, non une preuve d’absence.

La seule mesure collective du corps : une proximité entre histoires d’une même condition

Les auteurs opposent aux jugements des lecteurs ce qu’ils appellent « a more objective measure of the stories’ content ». Ils calculent une similarité cosinus, multipliée par 100 pour aller de 0 à 100, entre le plongement d’une histoire (API d’embeddings d’OpenAI) et le plongement moyen de toutes les autres histoires de la même condition. C’est un calcul machine, non un jugement de lecteurs. Il mesure une proximité au plongement moyen des autres histoires de la condition, non un nombre d’idées, de thèmes ou de styles distincts.

L’accès aux idées d’IA rend une histoire plus proche de la moyenne des autres histoires de sa condition : b = 0,871 (P < 0,001) avec une idée, b = 0,718 (P = 0,003) avec cinq. Dans la condition sans IA, les scores de similarité couvrent une étendue de 8,10 points. Les auteurs en déduisent que ces hausses représentent 10,7 % et 8,9 % de cette étendue. La division des coefficients par 8,10 donne 10,75 % et 8,86 % ; l’article imprime 10,7 et 8,9. L’unité de ces pourcentages est l’étendue de la condition sans IA, non le niveau de similarité.

Le résumé de l’article écrit que les histoires permises par l’IA sont « more similar to each other than stories by humans alone ».

Le corps formule le volet collectif par « at the risk of losing collective novelty », par une dynamique qui « resembles a social dilemma » et par « may limit the variation in diverse outputs ». Une fois, en Discussion, l’IA « reduces the variance in creative outputs ». Aucun chiffre de variance ou de diversité n’est imprimé dans le corps (figures et matériel supplémentaire non lus) : la seule mesure qu’il publie est celle de la proximité. Le dilemme social est une analogie des auteurs, non un résultat testé.

Une seconde similarité existe, entre chaque histoire et une idée d’IA. Par rapport à la condition sans IA, les histoires des conditions à une idée et à cinq idées sont 5,2 % (b = 4,29) et 5,0 % (b = 4,11) plus semblables à une idée générée, la moyenne sans IA étant 82,85. Les auteurs concluent que les écrivains sont « anchored to some extent » sur l’idée qui leur est présentée. Ce n’est pas la même grandeur que la similarité entre histoires.

Vers un marché : une mise en garde conditionnelle

Les auteurs posent en question ouverte la capacité des histoires inspirées par l’IA à produire assez de variation « in general equilibrium ». Si l’édition adoptait davantage d’histoires inspirées par l’IA, écrivent-ils, leurs résultats suggèrent que les histoires produites deviendraient moins uniques en agrégat. Ils concluent par une « cautionary note » si l’IA était adoptée plus largement pour des tâches créatives. L’étude n’observe aucune publication ni aucun marché.

Ils écrivent aussi que la personnalisation de l’invite et l’interaction répétée, absentes de l’étude, pourraient accroître l’effet de l’IA sur la créativité, et que leurs estimations seraient alors probablement une borne basse du potentiel de l’IA pour les écrivains. Cette phrase porte sur la créativité, non sur la similarité.

Ce qu’un lecteur qui doit décider peut en faire

Le corps de l’article ne contient aucune occurrence de « brand », « advertis », « distinct », « buyer » ni « consumer ». Il cite une fois le marketing, comme exemple d’usage de l’écrit dans l’économie. Tout rapprochement avec le contenu de marque est donc un raisonnement de l’auteur de cette pièce, non un énoncé de Doshi et Hauser.

Les participants sont des personnes « typiques » d’études académiques, sans écrivains professionnels ni individus exceptionnellement créatifs, et la tâche est une histoire de huit phrases. L’étude ne permet pas d’étendre ses résultats à des professionnels de la création, de la rédaction ou de la communication, ni à des textes plus longs.

Citer l’étude comme une expérience sur des histoires de huit phrases, jugées par des lecteurs ordinaires, où l’accès à des idées d’IA va avec une créativité jugée plus haute et avec une histoire plus proche de la moyenne de sa condition. Ne pas écrire que l’IA réduit la diversité d’un pourcentage : le corps affirme une portée plus étroite (« collectively a narrower scope of novel content is produced ») et une variance réduite (« reduces the variance in creative outputs »), mais n’en publie aucune mesure chiffrée (figures et matériel supplémentaire non lus).

Mes réserves

Un accès, non un usage. Les écarts comparent des conditions assignées, utilisateurs et non-utilisateurs de l’idée confondus.
Une tâche étroite. Huit phrases, un support écrit, une invite fixe, aucune interaction avec le modèle ; l’échantillon est fait de participants « typiques », sans incitation financière à la performance ni à la créativité.
Une mesure collective unique. Aucun chiffre de diversité ni de variance n’est imprimé dans le texte du corps (figures et matériel supplémentaire non lus) ; le niveau moyen de similarité de chaque condition n’y figure pas non plus.
Un statut préenregistré non tranché pour la similarité. Le corps ne dit pas si cette mesure était préenregistrée.
Des lignes exploratoires. Les résultats sur « plus agréable » et « mieux écrit » relèvent d’analyses libellées « Exploratory ».
Une condition à une idée non tranchée ici. L’article imprime P = 0,021 pour la nouveauté et P = 0,039 pour l’utilité, et écrit que les gains les plus nets, avec des écarts significatifs sur les indices préenregistrés, viennent de l’accès à cinq idées ; cette pièce ne conclut pas.
Des sous-groupes sans test imprimé. Le texte de la section sur les écrivains les moins créatifs n’imprime aucun P (figures et matériel supplémentaire non lus).