Meta lance une nouvelle fonction, Animated Drawings, pour animer des images et des dessins.
Auteur / Autrice :
Toujours plus d’intelligence artificielle chez Meta
On peut avoir presque vingt ans, être lourd et moqué dans le monde entier, et pivoter son business model comme une jeune startup avant sa première Série A.
C’est en tout cas ce à quoi s’attelle Meta (Facebook), qui après avoir dépensé quelques trente milliards de dollars dans le (défunt) Métavers en trois ans, passe très rapidement du côté de l’intelligence artificielle, bien appuyé par une équipe française unaniment reconnu.
Courant mars, Meta présentait LLaMA (voir notre article), son équivalent de GPT-4 et ChatGPT, avec une base conséquente… qui fuitait quelques jours plus tard sur internet. La semaine dernière, c’est « Segment Anything », une IA de reconnaissances d’items sur des images, qui était proposée en test (voir).
Et ce vendredi 14 avril 2023, Meta introduit donc une toute nouvelle IA : Animated Drawings. Un projet open source destiné à « donner vie à vos dessins animés ».
Les informations sur Animated Drawings
Dans le détail, Animated Drawings est un projet du Fundamental AI Research (FAIR) de Meta AI, lancé en 2021. A l’époque, des chercheurs de FAIR veulent animer des visages de dessins, pour faire des essais poussés de leurs avancées technologies, sur la “vision” des ordinateurs notamment. L’équipe décide ensuite de poursuivre dans cette direction précise d’animer des dessins :
« Le dessin est un mode d’expression familier et amusant, et les personnages que nous dessinons en tant que débutants sont souvent merveilleusement étranges, abstraits et imaginatifs. Qui n’a pas souhaité que ces charmants personnages prennent vie en se déplaçant sur la page ? Il existe même des livres et des épisodes télévisés qui parlent de ce fantasme universel. Malheureusement, il est assez difficile d’obtenir cet effet. Créer de nombreux dessins pour donner l’illusion de mouvement (comme un flip book) est fastidieux, et les outils d’animation existants peuvent être difficiles pour les nouveaux utilisateurs. En conséquence, de nombreux personnages incroyables restent statiques sur la page. »
Meta a entrainé son programme avec des modèles de détection d’objets, des modèles d’estimation de pose et des méthodes de segmentation, afin qu’il puisse rapidement créer une version numérique du dessin qui puisse ensuite être déformée et animée à l’aide des techniques d’infographie traditionnelles.
Mais comment entrainer une intelligence artificielle à animer des dessins, sans une base conséquente et adaptée ? Pour trouver cette base, Meta a proposé aux internautes Animated Drawings Demo, un outil en ligne accessible au public, où les dessinateurs pouvaient télécharger leurs “oeuvres”, visualiser et corriger quelques prédictions de modèles directement générés par l’IA, et recevoir directement une animation mettant en scène un personnage de leurs dessins, « le tout en moins d’une minute » d’après Meta. Une fonctionnalité sympathique, qui faisait espérer aux chercheurs de recevoir 10 000 dessins pour améliorer les performances de leur IA.
Les utilisateurs ont téléchargé et donné leur consentement pour utiliser plus de 1,6 million d’images !
En fait, plus que des gentils dessins enfantins téléchargés par des parents curieux et tombé par hasard sur cet outil d’essai, Meta explique qu’un public très large est venu essayer d’y animer un très grand nombre de choses : des dessins, mais aussi des personnages d’animés, des logos d’entreprise, mais aussi des animaux en peluche et même des vrais images de leurs animaux de compagnie. Tante Gertrude est venue essayer de faire bouger cette satanée photo de Minouche, son acariâtre chat persan préféré.
Un élargissement inattendu et bienvenu pour le projet Animated Drawings et son équipe : « Alors que la démo spécifiait la nécessité des figures humaines dans les instructions, les utilisateurs ont téléchargé des quadrupèdes, des oiseaux, des poissons et de nombreuses autres formes. »
Et plus largement, les utilisateurs de la démo ont aussi fait de précieux feedback et des demandes précises : des arrière-plans transparents, la prise en charge de différents types de squelettes, plusieurs personnages en interaction, un outil plus complet de partage des publications sur les réseaux sociaux, des rapports de bug dans la démo….
Partageant une vision altruiste et positive, Meta voit aussi dans le projet Animated Drawings un excellent exemple de la façon dont la technologie open source peut être utilisée pour réduire la barrière à l’entrée pour les personnes qui souhaitent expérimenter l’animation et créer leurs propres “dessins animés“. En publiant les modèles et le code en open source, Meta dirt fournir « un point de départ aux développeurs pour développer et étendre le projet, favorisant une culture d’innovation et de collaboration au sein de la communauté open source ».
Ces dernières semaines, avec ces récents mouvements et partages liés à l’intelligence artificielle, Meta construit une nouvelle facette de son image, aussi intéressante que bienvenue, qu’il faut positivement accueillir. Et tant pis pour le métavers !
Test de Animated Drawings
Mais du coup, ça donne quoi concrètement cette intelligence artificielle d’animation de dessins proposée par Meta ? Pour le savoir, j’ai trouvé une feuille de papier blanche, et dessiné un personnage très sommaire en quelques secondes, que j’ai pris en photo avec mon iPhone, que voici :
Je l’ai ensuite importé dans l’outil Animated Drawings de Meta, qui a immédiatement scanné le corps, pour en faire ressortir les membres, avant de me proposer des animations pré-enregistrés, que j’ai pu télécharger en un clic.
Une première version de ce beau personnage dessiné sur une feuille à petit carreau a donné un résultat nettement moins probant, mais intéressant tout de même :
Pour être honnête, j’aurais pu reprendre avec les gommes et filtres le personnage, en atténuant totalement les carreaux et leur effet dans le logiciel, mais j’ai préféré le refaire sur une feuille blanche, pour un résultat plus qualitatif.
Quoi qu’il en soit, Animated Drawings de Meta est d’ores et déjà une IA impressionnante, qui pourrait rapidement permettre des choses bluffantes, et transformer votre petite soeur créative en Hayao Miyazaki.
Pour aller plus loin :
