Un groupe de chercheurs de Chine et de Singapour a récemment publié un article détaillant le défi de faire jouer une IA à Red Dead Redemption II (RDR2). Ils ont également évalué et commenté la performance de jeu de l’IA. Dans l’article intitulé “Towards General Computer Control: A Multimodal Agent for Red Dead Redemption II as a Case Study” (PDF), nous découvrons le concept de Contrôle Général de l’Ordinateur (GCC) pour les IA, ainsi qu’un cadre à six modules appelé CRADLE, utilisé pour interfacer entre GPT-4V et RDR2. Dans leur conclusion, les principaux problèmes auxquels fait face l’agent de jeu IA sont attribués au système de vision GPT-4V.
Selon le document de recherche, ce projet de jeu RDR2 offre un aperçu de la progression des IA vers l’atteinte de l’Intelligence Générale Artificielle (AGI). À cette fin, ils essaient essentiellement de faire interagir une IA, alimentée par GPT-4V d’OpenAI, avec un ordinateur – en prenant en compte les indices visuels et auditifs pour utiliser intelligemment l’ordinateur, comme le ferait un humain averti en informatique. Ainsi, ils tentent de démontrer qu’une IA peut réussir à contrôler un ordinateur de manière complexe (GCC).
Les chercheurs ont choisi RDR2 comme jeu à mettre en lumière car ils affirment qu’il possède “un système de contrôle complexe boîte noire, qui incarne les tâches informatiques les plus exigeantes et nous permet d’évaluer les limites de performance de notre cadre dans de tels environnements virtuels.” En effet, il offre des environnements riches et diverses situations que les joueurs doivent naviguer. De plus, des éléments d’interface utilisateur tels que des dialogues, des icônes uniques, des invites en jeu et des instructions garantissent qu’aucune connaissance préalable n’est présupposée – ce qui est idéal pour l’apprentissage de l’IA. Enfin, les chercheurs disent que le contrôle du jeu RDR2 via une souris et un clavier offre un meilleur entraînement pour le GCC que la plupart des autres logiciels qu’un utilisateur d’ordinateur pourrait exécuter au quotidien.
Bien que l’article publié se concentre sur RDR2, CRADLE est conçu pour être étendu dans le cadre de son objectif GCC, ” pour soutenir un spectre plus large de jeux, tels que les jeux de simulation et de stratégie, ainsi que diverses applications logicielles. ” L’innovation clé ici est l’introduction du cadre CRADLE, examinons cela de plus près maintenant.
Ci-dessus, vous pouvez voir un aperçu de la manière dont CRADLE gère le défi du jeu GCC, spécifiquement dans RDR2. Les chercheurs espéraient démontrer la capacité de CRADLE à apprendre le jeu à partir de zéro (sans accès à aucun état interne du jeu ou API) tout comme un humain. Ensuite, l’agent IA devait progresser dans le jeu en naviguant dans le monde et en accomplissant des tâches, en suivant l’intrigue principale dans RDR2.
Dans l’ensemble, CRADLE semble avoir été modérément réussi dans les jeux RDR2. Les chercheurs disent qu’ils ont évalué même des tâches représentatives de l’intrigue principale et des missions ouvertes. La conclusion principale était que ” CRADLE peut accomplir toutes les tâches de l’intrigue principale de manière cohérente. ” Quelques exceptions notables étaient : Protéger Dutch qui implique une bataille de fusillade rapide, Chercher dans la Maison qui nécessite que l’agent explore un environnement intérieur complexe, et la tâche ouverte avec un long horizon.
Vous pouvez voir l’importance de l’inférence et de la réflexion sur les tâches dans CRADLE, ci-dessus. Ces raffinements sont particulièrement importants dans le mouvement de l’agent à travers le jeu et la compréhension de quand les tâches sont complètes. Au cours de l’étude, certaines des difficultés répétées rencontrées par CRADLE ont été attribuées à GPT4-V. Plus précisément, il est affirmé que ” la capacité de reconnaissance spatiale-visuelle de GPT-4V est insuffisante pour un contrôle précis et détaillé. ” De plus, il est dit que GPT4-V a du mal avec des concepts spécifiques au domaine, tels que des icônes uniques dans le jeu, avec la compréhension des mini-cartes, ainsi qu’avec les obstacles généraux dans l’environnement de jeu.
No Responses