Neuralangelo, la nouvelle IA de Nvidia, convertit des vidéos 2D en structures 3D, utilisables ensuite dans d’autres environnements.
Auteur / Autrice :
Nvidia dévoile l’IA Neuralangelo
Encore une excellente semaine pour le fondeur américain Nvidia. Après avoir dépassé les 1000 milliards de dollars de capitalisation (voir notre Top 10 des lus grandes entreprises du monde en valeur), on apprenait que le géant mondial de la publicité WPP (Kantar, GroupM, Wavemaker, Ogilvy, etc) signait avec Nvidia pour massifier l’utilisation d’intelligence artificielle générative (voir notre article) dans ses créations.
Et le 1er juin, Nvidia laissait une de ses équipes de chercheurs publier un projet nommé “Neuralangelo”, issu d’une étude réalisée en collaboration avec l’équipe de recherche NVIDIA et l’Université Johns Hopkins dans le Maryland.
Cependant, Neuralangelo n’est que l’un des trente projets de “NVIDIA Research” qui seront présentés à la conférence Computer Vision and Pattern Recognition (CVPR) sur la vision par ordinateur et la reconnaissance de formes, qui se tiendra du 18 au 22 juin 2023, à Vancouver. Outre la reconstruction 3D et la génération IA de vidéos (voir), d’autres projets époustouflants devraient être y présentés par Nvidia.
Pour revenir à Neuralangelo, il s’agit d’un modèle d’IA qui permet de transformer des vidéos 2D en structures 3D détaillées. Une IA qui s’appuie sur des réseaux de neurones pour la reconstruction 3D, générant ensuite des répliques virtuelles réalistes de ce qui lui est soumis : des fruits, des bâtiments, des sculptures, les possibilités sont infinies.
Pour ce faire, le modèle alimenté par l’IA observera la profondeur, la forme et la taille des structures 2D présentes sur la vidéo, sous plusieurs angles. Puis Neuralangelo crée d’abord une représentation 3D initiale, avant d’optimiser le rendu pour l’améliorer davantage afin de rehausser les détails et les textures complexes. Une construction assez proche de ce que font les IA génératives d’image via la “diffusion”.
Difficile aussi de ne pas citer la “photogrammétrie”, une technique de mesure qui consiste à déterminer la forme, les dimensions et la situation d’un objet dans l’espace à partir de plusieurs prises de vues photographiques de cet objet (source: IGN).
Dans une vidéo de démonstration, les chercheurs derrières Neuralangelo montrent l’IA recréer en 3D des objets emblématiques comme David de Michel-Ange, un camion, ou encore le parc du siège social de NVIDIA :
Une IA qui transforme des vidéos 2D en modèles 3D
Une seconde vidéo plus longue disponible directement sur le site de Nvidia propose de voir modélisés plus d’éléments, comme un immeuble, des outils, des fruits, un lapin, ou encore un bâtiment majeur de l’Université John Hopkins.
« Même sans profondeur auxiliaire, Neuralangelo peut récupérer efficacement des structures de surface 3D denses à partir d’images multi-vues avec une fidélité qui dépasse considérablement les méthodes précédentes. »
Les professionnels de la création peuvent ensuite utiliser le résultat 3D dans leurs logiciels/applications de conception, en adaptant derrière l’usage qu’ils souhaitent en aire à leur domaine : robotique, art, développement de jeux vidéo, les possibilités sont vastes. L’IA offre aussi à des utilisateurs moins professionnels la capacité de créer des jumeaux numériques du monde réel à l’aide d’appareils mobiles classiques (smartphones, etc).
Ming-Yu Liu, directeur principal de la recherche et co-auteur de l’article, explique Neuralangelo dans l’article dédié :
« Cet outil permettra éventuellement aux développeurs d’importer des objets détaillés – qu’il s’agisse de petites statues ou de bâtiments massifs – dans des environnements virtuels pour des jeux vidéo ou des jumeaux numériques industriels. »
« Les capacités de reconstruction 3D offertes par Neuralangelo seront un énorme avantage pour les créateurs, les aidant à recréer le monde réel dans le monde numérique. »
Enfin, le nom Neuralangelo est un hommage direct au sculpteur et peintre Michel-Ange, connu tout particulièrement pour sa sculpture “David” et le plafond de la chapelle Sixtine.
Pour aller plus loin : https://research.nvidia.com/labs/dir/neuralangelo/
Abstract :
« Neuralangelo est un cadre pour la reconstruction de surfaces 3D de haute fidélité à partir de captures vidéo RVB. En utilisant des appareils mobiles omniprésents, nous permettons aux utilisateurs de créer des jumeaux numériques de scènes réelles centrées sur des objets ou à grande échelle, avec une géométrie 3D très détaillée.
La reconstruction neuronale de surface s’est avérée puissante pour récupérer des surfaces 3D denses par le biais d’un rendu neuronal basé sur l’image. Cependant, les méthodes actuelles peinent à récupérer les structures détaillées des scènes du monde réel. Pour résoudre ce problème, nous présentons Neuralangelo, qui combine la puissance de représentation des grilles de hachage 3D multirésolution avec le rendu neuronal de surface. Notre approche s’appuie sur deux éléments clés :
- les gradients numériques pour le calcul des dérivés d’ordre supérieur en tant qu’opération de lissage
- l’optimisation grossière à fine sur les grilles de hachage contrôlant différents niveaux de détails
Même sans profondeur auxiliaire, Neuralangelo peut récupérer efficacement des structures de surface 3D denses à partir d’images multi-vues avec une fidélité qui surpasse considérablement les méthodes précédentes, ce qui permet une reconstruction détaillée de scènes à grande échelle à partir de captures vidéo RVB. »
