Tout le monde a déjà créé de petits croquis avec Paint, l’outil de dessin intégré par défaut avec Windows. Grâce au nouveau mécanisme d’intelligence artificielle de Nvidia, ces derniers peuvent devenir de véritables œuvres parfaitement photoréalistes. Décryptage.
GauGAN : des paysages au réalisme stupéfiant
La nouvelle IA développée par Nvidia, nommée GauGAN (en hommage au peintre post-impressionniste Paul Gauguin), permet à tout un chacun de créer des paysages d’un réalisme stupéfiant… à partir de quelques traits et à-plats de couleur. Le but : créer plus rapidement des décors virtuels, notamment pour les jeux vidéo (Nvidia étant le principal constructeur de cartes graphiques pour PC).
« Lorsqu’un peintre débutant pose son pinceau sur une toile, ambitionnant de créer un coucher de soleil époustouflant, des sommets enneigés se reflétant dans un lac aux reflets argentés… le résultat ressemble davantage à une tache multicolore », déclare NVidia dans un récent post de blog. « Mais un modèle de deep learning, développé par le laboratoire de recherches de Nvidia, permet de faire exactement l’inverse : transformer un gribouillis en chef-d’œuvre photoréaliste avec une facilité à couper le souffle ».
Dans la pratique, le programme s’avère aussi simple à utiliser que Paint. Pour créer des « photos » de paysage réalistes, il suffit à l’artiste en herbe de peindre quelques coups de pinceau grossiers dans le panneau de gauche. Chaque couleur du pinceau correspondant à une « texture » (des rochers, de l’herbe, des arbres, du sable, des nuages…), le logiciel est ainsi capable d’interpréter les à-plats de couleur et de les transformer instantanément en paysage dans le panneau de droite.
Plus l’utilisateur ajoute des éléments à son dessin, plus la « photographie » ainsi générée croît en réalisme. Sur l’exemple ci-dessous, le dessinateur a créé un simple paysage, composé d’arbres se reflétant sur un lac.
En ajoutant une chaîne montagneuse en arrière-plan, les arbres et le lac sont eux aussi modifiés pour prendre en compte l’ajout des montagnes.
De la même manière, si l’on change le premier plan de cette image pour remplacer l’herbe par de la neige…
… les arbres et le ciel sont eux aussi modifiés en conséquence.
Retrouvez ci-dessous deux exemples de dessins transformés en photos grâce au nouvel outil de Nvidia :
Pour arriver à un tel niveau de réalisme, ce mécanisme d’intelligence artificielle a été « entraîné » en utilisant plusieurs millions de photos pour apprendre à restituer des portions entières de paysage, et ce de manière parfaitement réaliste.
D’après le vice-président de Nvidia, Bryan Catanzaro, ce procédé est comparable « à un livre de coloriage pour enfants, qui décrit où sont situés l’arbre, le soleil et le ciel sur une image. Le réseau neuronal que nous utilisons est ainsi capable de restituer tous les détails et les textures, les reflets, les ombres et les couleurs, à partir de ce qu’il a appris en analysant de vraies images ». Ce nouvel outil est ainsi conçu à destination d’un public très large, allant des architectes aux urbanistes, en passant par les développeurs de jeux vidéo.
Pour l’instant, ce projet est encore en cours de développement et nous ignorons si Nvidia le rendra accessible au public.
Nvidia n’en est pas à son coup d’essai : thispersondoesnotexist.com
La firme avait également fait parler d’elle récemment en créant de toute pièce des portraits de personnes… qui n’existent pas dans la réalité. Le même procédé avait déjà utilisé : baptisé GAN (pour generative adversarial network), celui-ci repose sur l’emploi de deux réseaux fonctionnant en coopération. Le premier, appelé « générateur », crée une image et le présente au second, nommé « discriminant ». Précédemment entraîné à partir de millions d’images, ce réseau « discriminant » va indiquer au « générateur » les zones à corriger (au pixel près), de sorte à améliorer le réalisme des images ainsi générées.
Une nouvelle définition de la photographie ?
Au-delà de ces aspects techniques, cette nouvelle méthode interroge notre définition de la photographie. Est-ce le fait d’immortaliser sur un support (physique ou virtuel) la réalité telle que perçue par l’œil du photographe et capturée par un dispositif technique ? Cette définition peut-elle être étendue à des images photographiquement réalistes (et qui ressemblent donc en tout point à de vraies photos), mais qui ne sont qu’une imitation du réel ? Avec ce nouvel outil, la frontière entre le monde « réel » et le monde « virtuel » tend donc à se faire de plus en plus poreuse.
Luminar 4 : comment remplacer le ciel d’une photo en quelques secondes avec Remplacement de ciel IA
