Attendue depuis plusieurs mois, Gen-2, l’intelligence artificielle générative capable de créer des vidéos à partir d’une requête de texte, a été lancée le 7 juin par Runway.
Image en couverture générée avec Runway / Invite : “A perfect woman in 1950”
Auteur / Autrice :
L’intelligence artificielle bluffante de Runway
Runway s’est fait un petit nom dans le monde de l’intelligence artificielle depuis plusieurs mois, et surtout en teasant fin mars 2023 une IA qui pourrait produire de la vidéo à partir d’invites de texte (ou prompts) :
Une seconde génération “Gen-2” pour Runway, après un premier modèle “Gen-1” capable de transformer une vidéo en une autre vidéo (video-to-video), en réutilisant les mouvements et les formes de la première, et en y appliquant une nouvelle charte graphique complète :
Certains ont réussi avec de la patience (et des crédits) à produire des résultats impressionnants avec Runway Gen-1 (et Boomy AI et ChatGPT), comme cette vidéo qui a fait le tour du monde :
Une Gen-1 bluffante sur le papier et dans certaines démonstrations, mais en fait très limitée à l’usage, ce qui est aussi le cas maintenant avec la Gen-2 de Runway.
Runway Gen-2 est sortie…
Car le 7 juin 2023 au soir, Runway sort enfin une version ouverte au public de sa Gen-2 tant attendue :
Ca y est, l’IA text-to-video la plus espérée par le grand public est sortie, et donne à chacun l’occasion d’accomplir ses rêves de cinéaste, et de créer des armées de Dark Vador prenant d’assaut le Gouffre de Helm pour capturer Barbie et occire Ken. (Comment ça “Non.” ?)
Sauf que…
…Et c’est décevant
Autant être transparent, j’ai toujours trouvé la hype autour de Runway largement surfaite. Oui, les IA de Runway font des choses via une interface web que personne d’autre ne propose, ce qui est déjà exceptionnel en soit, mais les produits “vidéo” de l’entreprise sont surtout des versions “bac à sable”, plus amusants et fascinants que capables de produire quoi que ce soit de fini.
Une fois l’effet wahou, on est très vite très (très) limité, et c’était le cas avec la Gen-1, c’est le cas avec la Gen-2.
Et l’entreprise est bien une entreprise, puisque les crédits gratuits partent très vite, obligeant à basculer très vite sur un plan payant pour essayer plus de choses. Ce n’est pas un reproche, c’est un constat.
D’autres ne font pas ce choix là, comme Stable Diffusion et son IA de génération d’image, aussi simple d’accès que gratuite (dans un volume d’utilisation quotidien raisonnable : je n’ai atteint qu’une seule fois la limite en plusieurs semaines d’usage quotidien).
Premier test de Runway Gen-2 dans sa version gratuite
Pour en revenir à Gen-2, en l’état, vous pouvez créer un gif flou de 4 secondes, avec une image rempli de bugs visuels, via une invite texte. Et c’est à peu près tout, du moins avec le plan gratuit. Voici plusieurs exemples de ce que produit Runway Gen-2 :
- Exemple de vidéo Runway Gen-2 générée avec l’invite : “A cat playing with a blue and pink ball, in a large garden”
- Avec l’invite : “A blond girl walking in the streets in New York”
- Avec l’invite : “Two girls chasing a giant multicolored butterfly”
Fidèle à la prudence américaine (parfois presque absurde), Runway fait très attention à ce qui est demandé à son IA, et m’a par exemple refusé l’invite initiale : “Two children chasing a giant multicolored butterfly” (Deux enfants qui courent après un papillon géant multicolore).
- Avec l’invite : “A rabbit and a bird dancing in the sky, next to a large orange moon.”
Générer une vidéo à partir d’une image, avec Runway Gen-2
Vous pouvez aussi utiliser une image déjà existante, et donner à Gen-2 une invite lui indiquant d’utiliser cette image comme source d’inspiration.
J’ai essayé avec le visage de femme parfaite ci-dessus, généré par Stable Diffusion (voir notre article dédié), en ajoutant l’invite “A happy woman laughing” (Une femme heureuse en train de rire), et voici le résultat :
Si la restitution faciale est globalement cohérente, ma “femme parfaite” a pris visiblement vingt ou trente ans en passant dans la moulinette Gen-2, et surtout son air heureux semble plus un moment intense de “défonce”, et on ne peut pas vraiment dire qu’elle ait l’air de rire aux éclats.
Deuxième essai avec la même image, et l’invite “A woman walking in a large antique library” (Une femme marchant dans une grande bibliothèque ancienne), et spoiler, elle ne marche pas :
Cela dit, elle semble quand même avoir pris une décennie de moins que sur la première vidéo, c’est déjà ça. Enfin, si vous voulez voir la “femme parfaite”, toujours dans une bibliothèque, mais de dos, dans un mouvement aussi fantomatique que magnétique :
Les plans payants sont donc à envisager sérieusement si on veut faire des choses concrètes avec Gen-2, parce que pour l’instant, ce sont seulement des gifs, essentiellement inutilisables.
A noter que Runway propose beaucoup d’autres outils dans sa suite “IA”, et si certains sont pour l’instant à oublier (comme son IA de génération d’image, très mauvaise), d’autres sont plus intéressants, comme l’outil d’élargissement d’image.
Un outil qu’on peut utiliser de manière standard, comme le montre le très bon exemple de Tristan Mendès-France avec le tableau American Gothic de Grant Wood :
Mais on peut aussi élargir l’image en y ajoutant des choses, comme je le fais (encore) avec le visage “femme parfaite”, en ajoutant par exemple le prompt “In front of a waterfall” (Devant une cascade) :
En conclusion, avec Runway Gen-2, on peut créer des gifs étranges et flottants, et c’est à peu près tout. Vivement la Gen-3, probablement pas avant la fin 2023 ou début 2024.
