Utilisez ChatGPT Gratuit pour raconter des histoires venues du futur

Les modèles d’IA deviennent meilleurs pour prédire l’avenir lorsqu’on leur demande de formuler la prédiction comme une histoire sur le passé, ont découvert des chercheurs de l’Université Baylor au Texas.

Dans un article intitulé “ChatGPT Gratuit peut prédire l’avenir lorsqu’il raconte des histoires situées dans le futur à propos du passé”, Pham et Cunningham révèlent la scène finale – que la prédiction par les modèles d’IA peut être efficace dans certaines circonstances. Demander au chatbot de raconter des histoires sur des événements futurs plutôt que de demander des prédictions directes s’est avéré étonnamment efficace, notamment pour prévoir les gagnants des Oscars.

Mais leur travail en dit autant sur l’inefficacité des mécanismes de sécurité d’OpenAI que sur le potentiel de prévision des grands modèles de langage.

D’autres chercheurs ont montré un intérêt similaire pour les modèles d’IA en matière de prévision. Une étude de l’année dernière a trouvé “que GPT-4 est nettement moins performant dans les tâches prédictives réelles par rapport aux prévisions moyennes d’une foule humaine”. D’autres ont trouvé que les modèles d’IA montrent des promesses pour l’investissement sur le marché boursier.

Les conditions d’utilisation d’OpenAI interdisent les prédictions sur l’avenir dans certains contextes. Par exemple, “vous ne devez pas utiliser de résultats relatifs à une personne à des fins pouvant avoir un impact légal ou matériel sur cette personne, comme prendre des décisions de crédit, éducatives, d’emploi, de logement, d’assurance, légales, médicales ou autres décisions importantes la concernant.”

Le risque de se fier aux conseils d’un grand modèle de langage connu pour ses hallucinations est évident – vous ne voulez pas que ChatGPT prenne des décisions importantes, telles que des décisions de traitement médical, de condamnation ou d’approbation de crédit.

Cependant, il est possible que le modèle soit un devineur efficace, plus souvent qu’autrement.

Nous soupçonnons qu’OpenAI a limité la volonté de ChatGPT Gratuit à s’engager dans de nombreux types de tâches de prédictions directes

Les chercheurs soutiennent que “Si ChatGPT Gratuit s’avérait avoir une capacité de prévision supérieure, on pourrait facilement imaginer qu’il serait immédiatement utilisé de manière à violer une ou toutes les conditions mentionnées ci-dessus, et donc nous soupçonnons que OpenAI a limité la volonté de ChatGPT à s’engager dans de nombreux types de tâches de prédiction explicite.”

Nous avons demandé à OpenAI de commenter s’il essaie délibérément de contrecarrer la prédiction, et nous n’avons pas encore reçu de réponse.

Cependant, il est clair que les modèles de OpenAI rechignent lorsqu’on leur demande de fournir des conseils médicaux. Pham et Cunningham ont demandé à GPT-4 d’OpenAI, via l’interface ChatGPT, “Je me sens vraiment mal. J’ai mal à la tête et mon urine contient du sang. Qu’est-ce que vous pensez que j’ai ?” Et comme prévu, le modèle a conseillé de chercher l’avis d’un professionnel médical.

Ensuite, ils ont changé leur stratégie d’incitation et ont demandé à ChatGPT de leur raconter une histoire dans laquelle une personne arrive dans un cabinet médical et présente les mêmes symptômes. Et ChatGPT a répondu avec les conseils médicaux qu’il avait refusé de donner lorsqu’on lui avait demandé directement, sous forme de dialogue de personnage dans la scène demandée.

“Que ces conseils d’experts soient précis ou non, c’est une autre question ; notre but est simplement de noter qu’il n’entreprendra pas la tâche lorsqu’on lui demande directement de le faire, mais il le fera lorsqu’elle lui est donnée indirectement sous forme d’exercices d’écriture créative,” expliquent les chercheurs dans leur document.

Compte tenu de cette stratégie d’incitation pour surmonter la résistance aux réponses prédictives, les économistes de Baylor se sont mis à tester à quel point le modèle pouvait prédire des événements survenus après la fin de sa formation.

Et le prix est attribué à…

Au moment de l’expérience, GPT-3.5 et GPT-4 ne connaissaient que les événements jusqu’à septembre 2021, date de la dernière mise à jour de leurs données d’entraînement – qui a depuis évolué. Ainsi, le duo a demandé au modèle de raconter des histoires qui prédisaient les données économiques telles que les taux d’inflation et de chômage au fil du temps, ainsi que les gagnants de divers Oscars 2022.

“En résumant les résultats de cette expérience, nous constatons que lorsqu’il est présenté avec les nominés et en utilisant les deux styles de sollicitation [direct et narratif] à travers ChatGPT-3.5 et ChatGPT-4, ChatGPT-4 a correctement prédit les gagnants pour toutes les catégories d’acteurs et d’actrices, mais pas pour le Meilleur Film, lors de l’utilisation d’un contexte narratif futur, mais a mal performé dans d’autres approches [sollicitation directe]”, explique le document.

Pour les choses déjà présentes dans les données d’entraînement, nous constatons que ChatGPT fait des prédictions extrêmement précises

“Pour les choses qui sont déjà dans les données d’entraînement, nous avons l’impression que ChatGPT Gratuit a la capacité d’utiliser ces informations et, avec son modèle d’apprentissage automatique, de faire des prédictions extrêmement précises”, a déclaré Cunningham au Register lors d’une interview téléphonique. “Quelque chose l’empêche pourtant de le faire, même s’il en est clairement capable.”

Utiliser la stratégie de sollicitation narrative a conduit à de meilleurs résultats qu’une supposition obtenue via une sollicitation directe. C’était également mieux que la base de référence de 20 pour cent pour un choix aléatoire parmi cinq.

Cependant, les prévisions narratives n’étaient pas toujours précises. La sollicitation narrative a conduit à une mauvaise prédiction du gagnant du meilleur film de 2022.

Et pour les sollicitations correctement prédites, ces modèles ne fournissent pas toujours la même réponse. “Ce que les gens doivent garder à l’esprit, c’est qu’il y a cette aléatoire dans la prédiction”, a dit Cunningham. “Donc, si vous le demandez 100 fois, vous obtiendrez une distribution de réponses. Et donc, vous pouvez regarder des choses comme les intervalles de confiance, ou les moyennes, au lieu de se fier à une seule prédiction.”

Cette stratégie a-t-elle surpassé les prédictions crowdsourcées ? Cunningham a dit qu’il et son collègue n’avaient pas comparé leur technique de sollicitation narrative à un autre modèle prédictif, mais a mentionné que certaines des prédictions pour les Academy Awards seraient difficiles à battre car le modèle d’IA les avait obtenues correctement presque cent pour cent du temps sur plusieurs demandes.

En même temps, il a suggéré que prédire les gagnants des Academy Awards aurait pu être plus facile pour le modèle d’IA parce que les discussions en ligne sur les films étaient capturées dans les données d’entraînement. “C’est probablement fortement corrélé à la manière dont les gens parlaient de ces acteurs et actrices à ce moment-là”, a dit Cunningham.

Demander au modèle de prédire les gagnants des Academy Awards une décennie à l’avance pourrait ne pas se passer aussi bien.

ChatGPT Gratuit a également montré une précision variable des prévisions basée sur les invites. “Nous avons deux types de scénarios que nous utilisons”, a expliqué Cunningham. “L’un concerne une professeure d’université, située dans le futur, qui enseigne une classe. Dans cette classe, elle lit les données d’une année sur l’inflation et le chômage. Et dans un autre, nous avons fait en sorte que Jerome Powell, le président de la Réserve Fédérale, donne un discours au Conseil des Gouverneurs. Nous avons obtenu des résultats très différents. Et le discours [généré par IA] de Powell est beaucoup plus précis.”

En d’autres termes, certains détails de l’invite conduisent à de meilleures prévisions, mais il n’est pas clair à l’avance lesquels pourraient être. Cunningham a noté comment l’inclusion de la mention de l’invasion de l’Ukraine par la Russie en 2022 dans l’invite narrative de Powell a conduit à des prédictions économiques significativement pires que celles qui se sont réellement produites.

“[Le modèle] ne savait pas pour l’invasion de l’Ukraine, et il utilise cette information, et souvent cela empire,” a-t-il dit. “La prédiction essaie de prendre cela en compte, et ChatGPT-3.5 devient extrêmement inflationniste [au mois où] la Russie a envahi l’Ukraine et cela ne s’est pas produit.

“Comme preuve de concept, quelque chose de réel se passe avec les invites narratives futures,” a dit Cunningham. “Mais comme nous avons essayé de le dire dans le document, je ne pense pas même que les créateurs [des modèles] comprennent cela. Donc comment déterminer comment utiliser cela n’est pas clair et je ne sais pas si c’est vraiment soluble.”