Avec des fonctions Text-to-Video, Image-to-Video, Inpainting et d’autres plus originales, Lumiere place la barre très haut parmi les IA dédiées à la vidéo.
Auteur / Autrice :
Lumière, la nouvelle IA vidéo de chercheurs de Google
La vidéo est un sujet central dans les nouvelles intelligence artificielles dévoilées depuis plusieurs mois. Régulièrement citées dans nos colonnes, les start-up Runway et Pika proposent des IA bluffantes. On peut aussi citer l’option Motion de Leonardo, ou encore le projet Emu Video de Meta. Quatre projets qui sont loin d’être les seuls.
On avait aussi cité il y a plusieurs mois un projet chez Nvidia nommé VideoLDM et un autre projet chez Google DeepMind, nommé lui Phenaki ! L’entreprise semble avoir voulu aller de l’avant dans le domaine, et vient de dévoiler une toute nouvelle IA : Lumiere !
Lumière est un projet qui a mêlé des chercheurs de Google avec d’autres issus des établissement Weizmann Institute, université de Tel Aviv et Technion.
L’outil est basé sur un modèle de diffusion texte-vidéo « conçu pour synthétiser des vidéos représentant un mouvement réaliste, diversifié et cohérent ». Les chercheurs ont pour cela développé une architecture Space-Time U-Net « qui génère toute la durée temporelle de la vidéo en une seule fois, via un seul passage dans le modèle ».
Un fonctionnement qui contraste avec les modèles vidéo existants « qui synthétisent des images clés distantes suivies d’une super-résolution temporelle ». Pour les chercheurs, cette approche « rend intrinsèquement difficile l’obtention d’une cohérence temporelle globale ».
Plusieurs fonctionnalités (impressionnantes)
« Nous démontrons des résultats de pointe en matière de génération de texte en vidéo et montrons que notre conception facilite facilement un large éventail de tâches de création de contenu et d’applications de montage vidéo, notamment l’image en vidéo, l’inpainting vidéo et la génération stylisée. »
Les mots sont ambitieux dans l’équipe derrière Lumiere, mais – spoiler – les résultats le sont également !
Lumiere propose les fonctions standards des IA vidéos, comme la création de vidéo à partir d’une demande en texte (un prompt ou une invite) dans un fonctionnement « Text-to-Video » ordinaire, ou à partir d’une image « Image-to-Video ».
Mais l’IA possède aussi d’autres fonctionnalités impressionnantes :
- Une fonction d’Inpainting qui permet de générer une extension d’image ou de remplacer un élément existant par un nouveau
- Une fonction de personnalisation de vidéo qui transforme une vidéo en en gardant la trame fondamentale (mouvements, couleurs, etc…)
- Une fonction de génération de vidéos reprenant une trame initiale, également impressionnante.
Voici une sélection d’exemples de Lumiere pour ses différentes fonctionnalités :
Text-to-Video
D’abord, la fonction de base de génération de vidéos « Text-to-Video » de Lumiere. Dans la vidéo, on voit une IA qui produit des vidéos de qualité, mais difficile d’estimer le niveau en détail.
Lumiere semble au niveau des autres outils du marché.
Image-to-Video
En partant d’une image existante, Lumiere crée une animation intéressante, comme le montrent ces exemples :
Video Inpainting
Avec la fonction Inpainting de Lumiere, recréer une partie d’une image ou corriger quelque chose est possible :
Une fonction qui permet aussi de changer un élément principal d’une vidéo, comme la tenue d’une personne :
Video Stylization
L’une des options les plus impressionnantes de Lumiere, c’est celle-ci : recréer une vidéo avec un style graphique différente choisi sur-mesure.
Une fonctionnalité qui avait d’ailleurs été popularisée par Runway.
Cinemagraphs
Cinemagraphs, une autre fonctionnalité de Lumiere, permet d’animer seulement une portion d’une image :
Stylized Generation
Peut-être l’option la plus impressionnante, Stylized Generation permet de générer une variété d’animations diversifiées à partir d’une image, en reprenant son identité graphique de manière cohérente :
Vous pouvez voir d’autres exemples de Lumiere dans cette vidéo postée par l’une des autrices du projet, Inbar Mosseri :
Un nouveau projet prometteur proposé par Google Research !
Pour en savoir plus sur Lumiere :
