Une nouvelle IA prometteuse permet d’améliorer la qualité des vidéos de manière impressionnante et ainsi de refaire briller de vieilles bobines.
Auteur / Autrice :
Les outils d’amélioration des photos et images boostés à l’IA commencent à être très répandus. Si vous voulez en connaître deux très performants, vous pouvez consulter cet article daté du mois dernier.
Mais la vidéo reste le parent pauvre jusqu’ici de ces outils d’amélioration : on peut de plus en plus créer, mais perfectionner des vieilles pellicules est toujours très difficile.
Mais cela pourrait changer avec l’introduction de l’IA « VideoGigaGAN » développée conjointement par une équipe composé de chercheurs de Adobe Research et de l’Université du Maryland.
Leur IA propose des résultats très impressionnants dont voici plusieurs exemples :
Pour les plus techniques, voici comment fonctionne certains aspects de VideoGigaGAN :
Notre modèle Video Super-Resolution (VSR) est construit sur l’architecture asymétrique U-Net du suréchantillonneur d’images GigaGAN.
Pour garantir la cohérence temporelle, nous gonflons d’abord le suréchantillonneur d’image en un suréchantillonneur vidéo en ajoutant des couches d’attention temporelle dans les blocs de décodeur. Nous améliorons également la cohérence en incorporant les fonctionnalités du module de propagation guidée par flux.
Pour supprimer les artefacts d’aliasing, nous utilisons le bloc Anti-aliasing dans les couches de sous-échantillonnage de l’encodeur. Enfin, nous transférons directement les fonctionnalités haute fréquence via une connexion sautée vers les couches de décodeur pour compenser la perte de détails dans le processus BlurPool.
Pour en savoir plus :
