Animer une photo et la transformer en une vidéo en boucle. C’est l’ambitieux défi que se sont lancés 4 chercheurs de l’université de Washington et de Facebook. L’intelligence artificielle qu’ils ont développée livre des résultats impressionnants, où une cascade, un plan d’eau ou de la fumée prennent soudainement vie grâce à l’IA.
Convertir automatiquement une photo en une image animée. Ce qui n’était qu’un doux rêve il y a quelques années est en passe de devenir une réalité grâce aux progrès réalisés par les chercheurs et l’intelligence artificielle. Dernier exemple en date, ce projet mené par Aleksander Holynski, Brian Curless et Steven M. Seitz, de l’Université de Washington et Richard Szeliski, ancien directeur de la Photographie Computationnelle chez Facebook (également professeur affilié à l’université de Washington).
Leur algorithme, qui se base sur les travaux liés aux champs de mouvement eulérien (Eulearian Motion Fields), est capable d’animer automatiquement une partie d’une photo. Le but : obtenir une vidéo en boucle, où un objet donné est animé de façon continue, sans point de coupure. Une cascade, des flammes, de la fumée, un plan d’eau… les possibilités offertes par leur algorithme sont impressionnantes.
Dans la pratique, le système utilise un réseau neuronal artificiel pour identifier sur la photo la partie à animer, et pour déterminer le sens du mouvement de l’eau, des nuages ou de la fumée. En se basant sur un ensemble de vidéos en ligne, le modèle eulérien a été « éduqué » pour être capable de synthétiser le mouvement correspondant. L’algorithme est ainsi en mesure de coder les pixels afin de produire une texture continue. La vidéo en boucle ainsi « fabriquée » peut ainsi être passée en boucle de manière totalement transparente, sans que « l’assemblage » ne soit visible à l’œil nu (contrairement à un GIF, par exemple).
Face aux IA concurrentes, celle des 4 chercheurs de l’université de Washington se distingue par une détection beaucoup plus fine des contours des objets à animer. Le résultat est ainsi beaucoup plus réaliste. De même, les aberrations sont largement moins nombreuses – même si quelques erreurs peuvent subsister ici et là.
Pour l’heure, le code source de cette nouvelle intelligence artificielle n’a pas été rendu public. Il devrait toutefois être publié prochainement.
Plus d’informations sur le site de l’Université de Washington.
