Une intelligence artificielle qui génère des jeux vidéos UTILISABLES dans un style 2D vintage : voici Genie, le dernier projet de Google Deepmind.
Auteur / Autrice :
Google très actif dans l’IA en 2024
Google semble particulièrement actif autour de l’intelligence artificielle à mesure qu’avance l’année 2024. Le géant semble presque aussi actif cette année que l’a été le groupe Meta en 2023 (dont on ne doute pas que les annonces vont commencer à pleuvoir).
Après avoir finalement lancé dans le grand bain Gemini Ultra, son troisième modèle et plus avancé de la suite Gemini dévoilée en décembre dernier, Google avait dévoilé quelques jours plus tard Gemini 1.5 et abandonné la marque Bard.
La semaine dernière, l’entreprise a pris un contrecoup après les premières utilisations de ses derniers modèles et des résultats parfois déroutants. Exemple, quand Gemini ne veut pas dire que Elon Musk a un impact vraiment moins négatif sur la société que Hitler :
Le premier concerné a apprécié. Côté Google, la direction a clairement expliqué que des changements allaient être apportés dans les prochains jours et les prochaines semaines, et que les choses devraient rentrer dans l’ordre.
Toujours niveau IA, on retiendra aussi de chez Google le très intéressant projet Lumiere dévoilé il y a un mois maintenant.
Google Deepmind dévoile Genie
On apprend ce matin de Tim Rocktäschel que Google Deepmind a créé un tout nouveau projet d’intelligence artificielle générative : Genie.
Tim Rocktäschel est à la tête de l’équipe Open Endedness, et la promesse de leur nouveau modèle semble révolutionnaire : un modèle qui génère des mondes basiques en 2D qui sont ensuite contrôlables par l’action à partir d’invites d’image. Genie est donc une IA qui peut créer à l’infini des jeux vidéos 2D dans le style Rayman, Mario…
Genie a été formé exclusivement à partir de vidéos Internet : plus de 200 000 heures de vidéos provenant de jeux de plateforme 2D. Le tout avec un apprentissage non supervisé.
Plus intéressant encore : Genie peut convertir n’importe quelle image en un monde 2D jouable. L’IA peut ainsi donner vie à des créations conçues par l’homme comme des dessins, des peintures, des croquis, ou encore des images générées par… des IA.
De là, on peut imaginer créer des jeux vidéos sur-mesure, à la volée, avec ses enfants, en se basant seulement sur quelques coups de crayons et de feutres.
Une IA pour créer des jeux vidéos jouables en 2D
Comme Tim Rocktäschel semble être quelqu’un d’extraordinaire, il cite dans sa présentation de Genie le français Yann LeCun, expliquant partager avec lui qu’un modèle de monde a besoin de réagir à des actions contrôlables (et nuançant au passage l’enthousiasme général autour de Sora de OpenAI).
Pour y parvenir, Genie a un fonctionnement spécifique :
Nous utilisons un tokeniseur vidéo à conscience temporelle qui compresse les vidéos en jetons discrets, un modèle d’action latente qui code les transitions entre deux images comme l’une des 8 actions latentes et un modèle dynamique MaskGIT qui prédit les images futures.
L’ensemble du modèle est finalement assez léger : « 11B », pour 11 milliards. Et ce alors que l’équipe dit que les tests montrent que les performances du modèle s’améliorent régulièrement avec l’augmentation du nombre de paramètres et de la taille des lots.
Enfin, la team de Open Endedness présente aussi une déclinaison de Genie nomme RT-1 et qui ne se base plus sur des univers en 2D mais sur des données à destination de la robotique. « Nous pensons qu’il s’agit d’une étape prometteuse vers des modèles mondiaux généraux pour l’AGI. » conclut Tim Rocktäschel.
Pour en savoir plus sur Genie :
