Un bot autonome boosté à GPT-4 et créé par des ingénieurs de Nvidia et Stanford over-performe dans Minecraft !
Auteur / Autrice :
Minecraft, un monde ouvert propice aux expériences
Markus Persson a trente ans lorsqu’il lance le projet Minecraft en version alpha en 2009. Cinq ans plus tard, en septembre 2014, le géant Microsoft achète Minecraft pour 2,5 milliards de dollars, et environ 71% de la somme revient directement à celui qu’on appelle aussi “Notch”.
L’annonce fait du bruit à l’époque, car Minecraft n’est pas forcément très connu du grand public, et qu’un investissement à 2,5 milliards de dollars dans un jeu vidéo dont l’esthétique peut sembler étrange – des cubes, partout – interroge. Pire, les sorties de Markus Persson devenu milliardaire lui valent d’être cancel, au point qu’il ne fasse pas partie des célébrations des 10 ans de Minecraft en 2019, et que son nom soit retiré de l’écran de démarrage du jeu.
Mais Minecraft, ce n’est pas que des cubes, un créateur sulfureux et un chèque à 10 chiffres : c’est un monde totalement ouvert, qui offre des possibilités extraordinaires, et presque uniques dans l’univers vidéoludique.
Un monde ouvert où les possibilités d’évaluer des progressions sont donc mécaniquement importantes. Ce qui a déjà intéressé plusieurs types de travaux de recherches, pour faire jouer des logiciels et des bots au jeu, et en tirer des apprentissages.
GPT-4 joue à Minecraft
Mais cette fois, c’est avec la dernière intelligence artificielle à la mode que des chercheurs et des ingénieurs ont voulu faire des essais ! Concrètement, ils ont créé un agent nommé “Voyager”, qui utilise la technologie GPT-4 de OpenAI.
Et presque sans surprise, on retrouve derrière de projet des noms issus du fondeur Nvidia (Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi « Jim » Fan), de Stanford (Yunnan Jiang) et des universités “Caltech” – California Institute of Technology (Anima Anandkumar, Guanzhi Wang) et Austin (Yuqi Xie)
Pour que le bot Voyager interagisse avec GPT-4, la team utilise des requêtes « blackbox », ce qui permet d’éviter la nécessité d’un fine-tuning des paramètres du modèle en amont. L’équipe explique que Voyager se décompose autour de trois éléments clés :
- Un programme automatique qui maximise l’exploration
- Une bibliothèque de compétences sans cesse croissante de code exécutable pour stocker et récupérer des comportements complexes
- Un nouveau mécanisme d’incitation itératif qui incorpore les commentaires de l’environnement, les erreurs d’exécution et l’auto-vérification pour l’amélioration du programme.
Voyager devient ainsi un agent autonome (un bot) qui explore continuellement le monde de Minecraft, acquiert plusieurs types de compétences et fait de nouvelles découvertes… le tout sans intervention humaine ! Un mécanisme d’incitation itératif qui s’auto-corrige est aussi installé.
Au fur et à mesure que Voyager apprend de nouvelles choses, les développeurs stockent ses acquis dans une «bibliothèque de compétences» via un programme qui a été lui aussi généré par GPT-4. Même si pour l’instant il est limité à une utilisation texte (la caractéristique d’un LLM), il pourrait aussi être « complété par la perception visuelle à l’avenir », après la création d’un modèle dédié.
Des résultats exceptionnels
Et les résultats de Voyager sont véritablement excellents, et bien meilleurs que ceux obtenus par de précédents modules :
« Empiriquement, Voyager fait preuve d’une forte capacité d’apprentissage tout au long de la vie en contexte et démontre une compétence exceptionnelle en jouant à Minecraft.
Il obtient 3,3 fois plus d’objets uniques, parcourt 2,3 fois plus de distances et débloque des étapes clés de l’arbre technologique jusqu’à 15,3 fois plus vite que les SOTA précédents.
Voyager est capable d’utiliser la bibliothèque de compétences apprises dans un nouveau monde Minecraft pour résoudre des tâches inédites à partir de zéro, alors que d’autres techniques peinent à se généraliser. »
Les chercheurs relèvent des capacités significatives par rapport aux bots logiciels précédents, qui eux n’utilisaient donc pas GPT-4. Des résultats retranscrits dans ce graphique :
Ainsi, on voit que ce bot utilisant GPT-4 et jouant à Minecraft explore le monde ouvert sans difficulté, développe des compétences de plus en plus sophistiquées, et fait de nouvelles découvertes de manière constante, sans aucune intervention humaine, grâce au renforcement mis en place.
Ce n’est pas le seul test de l’utilisation de GPT-3,5 ou GPT-4 dans Minecraft, mais c’est a priori le seul fait avec une visée scientifique, et dont les résultats sont publiés. Vous pouvez aussi regarder cette expérience intéressante autour de ChatGPT et Minecraft :
Pour aller plus loin :
- Le site officiel du projet : https://voyager.minedojo.org/
- Retrouvez la publication arXiv du projet : https://arxiv.org/abs/2305.16291
- Github du projet : https://github.com/MineDojo/Voyager
