Lumiere : Google présente une nouvelle IA générative de vidéos

Les laboratoires de recherche de Google ont récemment publié les dernières évolutions de « Lumiere« , une IA capable de générer des vidéos à partir d’une simple requête textuelle. L’IA peut aussi créer une séquence juste en se basant sur une image fixe et « réparer » une vidéo. Une nouvelle prouesse de l’IA générative… qui n’est pas sans poser de sérieuses questions éthiques.

Depuis le lancement public de ChatGPT, les IA génératives sont partout. Les plateformes comme Midjourney ou Dall.E occupant une large partie du débat avec leur capacité à créer des images depuis une simple commande (prompt) de l’utilisateur. Ces IA proposent aussi la création de séquences vidéos avec des requêtes et, à ce petit jeu, Google semble avoir franchi une nouvelle étape.

Google allume la Lumiere

Fin janvier 2024, via sa firme Google Research, le géant californien livre plus de détails plus sur « Lumiere » (en français, approximatif, dans le texte, en référence aux frères Lumière) son IA générant des vidéos depuis une simple requête textuelle.

Lumiere peut donc créer des séquences ex-nihilo grâce aux instructions de l’utilisateur. Mais elle peut aussi modifier des vidéos, selon les demandes. Et ce, en totalité, comme simplement des parties de l’image. On peut alors commander à Lumiere, depuis une « vraie » séquence (comme une vidéo générée par IA) de ne changer qu’un personnage, une forme ou un bout de la scène. On peut donner à une vidéo un look totalement différent par une simple requête.

Aux limites de la science-fiction

Lumiere peut aussi compléter des séquences, remplir des « trous » dans la vidéo, comme le montre les illustrations de Google. L’IA permet aussi d’animer des images fixes, des peintures, etc. On peut ainsi décider d’animer toute l’image ou seulement des parties spécifiques. On peut choisir de faire crépiter les flammes d’une photo de feu ou faire onduler la fumée d’une locomotive, d’après les visuels de Google. Les premiers retours sont très impressionnants, notamment le remplissage des bouts de vidéo manquants.

Google IA Lumiere
Lumiere peut remplir la partie manquante de la vidéo.

Pour créer des vidéos, Lumiere utilise une architecture que les chercheurs appellent “space-time U-net architecture”. Cela permet la création d’une séquence en un seul coup. Ça donne donc des vidéos plus crédibles que celles réalisées par les autres IA. Celles-ci généraient la première et la dernière image puis tentaient de générer les frames manquantes par dédection.

Des vidéos de 5 secondes et en basse définition

D’après les chercheurs de Google, le modèle d’IA ne produit (pour l’instant) que des vidéos de cinq secondes et en 1024×1024 pixels. Si la technologie est prometteuse, les premières séquences d’illustrations complètement générées par Lumiere montrent aussi que Google a encore du travail pour sortir de « l’uncanny valley« .

Google IA Lumiere

En effet, si certaines vidéos sont plutôt bien faites, d’autres flirtent avec le surréalisme. Et globalement, même pour les meilleures séquences, les textures font très artificielles… pour le moment.

Les IA n’avancent-elles pas trop vite ?

Néanmoins, la technologie est bien là et avance très vite. D’ailleurs, en 2022, Google avait déjà présenté Imagen Video, une IA au fonctionnement similaire à Lumiere mais bien moins aboutie. Pour l’instant, Lumiere n’est qu’à l’état de beta fermée, le grand public ne peut donc pas l’essayer. En outre, les projets de Google research ne sont pas tous amenés à être proposés au grand public.

Il est à parier qu’avant 2025, Google, ou une autre firme, présentera des séquences générées par IA qui se rapprochent d’une grosse production hollywoodienne. Et cela ne manquera pas de soulever toute une série de nouveaux problèmes éthiques.

En effet, les fausses images générées par IA s’avèrent de plus en plus réalistes et inondent notre quotidien. Et, lorsqu’elles seront animées avec une bonne touche de Deep Fake, les séquences générées par Lumiere, ou un autre programme, risquent de polluer un peu plus nos réseaux sociaux. Peut-être au point d’abolir les frontières entre les faits et les « vérités alternatives ».

En décembre 2023, Channel 1, une start-up spécialisée dans l’IA, avait par exemple mis en ligne un journal télévisé de 22 min entièrement présenté par des « journalistes » totalement virtuels. Une performance aussi bluffante que glaçante. Si les faux présentateurs sont encore un peu lisses, sans y prêter une attention pleine et entière, il est presque impossible de déceler la supercherie.

Ainsi, la course à la technologie effrénée des IA génératives, aussi impressionnante soit-elle, augure de bien mauvais présages pour la lutte contre la désinformation – sans même parler du risque de destruction massive d’emplois.