Comment passer de 590 000 photos soumises à 100 images sélectionnées dans un concours international ? C’est la question que nous nous sommes posée en voyant les 100 photos finalistes des EyeEm Photography Awards 2017, un concours de photographie ouvert à tous et qui serait même devenu le plus grand concours photo du monde en 2017, devant les Sony World Photography Awards.

Intelligence artificielle, Computer Vision et travail de curation traditionnel font partie des réponses apportées par EyeEm.

EyeEm Vision, le futur de l’évaluation photographique ?

Depuis 2016, EyeEm, la startup berlinoise qui souhaite révolutionner le partage et la vente de photos et vidéos en ligne, travaille sur son programme EyeEm Vision, un développement permettant à un ordinateur de comprendre et juger une photographie. « Notre technologie a été entraînée avec des millions de photos et nous continuons à l’entraîner de manière constante », nous indique Jenna Black, chez EyeEm.

La technologie EyeEm Vision est au centre de plusieurs développements de produits chez le Berlinois :

• The Roll, une application iOS qui permet de faire ressortir les plus belles photos de votre galerie de photos (plus disponible sur le store français)
• EyeEm Selects, une fonctionnalité similaire récemment ajoutée à l’application de partage EyeEm

Le fonctionnement semble assez simple : pour qu’un ordinateur comprenne l’esthétique de la photographie, il est nourri d’une gigantesque base de données de photographies. Pour un résultat optimal, les chercheurs et curateurs photographiques collaborent très étroitement sur cet ensemble de photos témoins. « Nous avons des exigences très hautes : les curateurs photo ne sélectionnent que les photos qui communiquent des histoires fortes avec une bonne composition et qui ont été réalisées avec une maîtrise technique » nous explique Jenna Black.

« les curateurs photo ne sélectionnent que les photos qui communiquent des histoires fortes. »

Pourtant, les règles de base en photographie ne permettent pas de juger de la qualité esthétique et du message de la photo.« Les photos qui s’éloignent des règles établies sont souvent celles qui évoquent une forte esthétique » , répond justement Jenna Black. À partir de là, il est important pour les curateurs et les ingénieurs de ne pas déconstruire les aspects techniques d’une photo réussie, mais d’insister sur l’esthétique et le sens visuel de l’image.

Comment entraîner un ordinateur à analyser l’esthétique des photos

Dans un article publié sur Medium, Appu Shaji, responsable de la recherche chez EyeEm, explique comment son équipe a développé cette technologie qui, en plus de reconnaître le sujet des photos, permet d’analyser l’esthétique des images.

EyeEm n’est pas pionnière en reconnaissance d’images assistée par ordinateur (Automatic Image Tagging). Google avec Cloud Vision, Apple, Flickr, Clarifai et de nombreuses autres technologies existent et permettent de taguer, catégoriser et indexer automatiquement les photos en fonction des formes et sujets reconnus sur l’image.

C’est ce qui permet aujourd’hui, dans des applications grand public comme Google Photos ou Photos sur iOS, de faire une recherche par mot-clé et de retrouver toutes les photos correspondant à ce mot-clé. Tapez par exemple « chien » ou « ciel » dans votre application photo préférée et vous devriez trouver des résultats cohérents, sans jamais avoir pris le temps de taguer ces photos avec ce mot-clé.

Mais comme l’indique Appu Shaji, la reconnaissance d’image est arrivée à maturité et il est aujourd’hui intéressant d’aller plus loin pour comprendre ce qui fait qu’une photo est belle et plaisante, et qu’une autre l’est moins.

Pour cela, il faut apprendre à l’ordinateur à comprendre et reconnaitre « le beau », chose difficile tellement cela se rapproche d’une question quasiment philosophique. Malgré tout, il est possible d’indiquer à une machine « les détails d’un processeur mental humain » et lui demander de le recréer sur un ensemble de photos données, de manière répétitive jusqu’à ce que l’ordinateur apprenne (on parle de machine learning).

La fin des curateurs ?

Mais alors pourquoi EyeEm fait-il appel à des curateurs alors qu’un ordinateur est capable d’analyser des milliers de photos seules et d’en retirer celles qui se rapprochent des règles de composition et d’esthétique des photographies réussies ?

Et quid de l’originalité, dans un modèle où l’ordinateur est entraîné à chercher et reconnaitre des caractéristiques bien définies du beau ?

Les curateurs ont une place importante à jouer, et la technologie d’EyeEm cherche à les aider plutôt qu’à les remplacer. Aujourd’hui, les éditeurs photo et autres curateurs sont confrontés à des volumes d’images inimaginables, comme nous l’expliquait Marina Passos, éditrice photo à l’AFP Moyen-Orient. Avec un outil plus intelligent, la sélection est facilitée.

Ainsi, les curateurs et éditeurs photo sont plus impliqués que jamais : tout d’abord dans la formation et la sélection des critères appliqués aux algorithmes. Mais aussi pour analyser les images qui ont été retenues. Parmi les 590 000 photos soumises lors des derniers EyeEm Photography Awards, EyeEm Vision a été utilisé pour éliminer 70% des photographies en se basant sur des règles d’esthétique et de pertinence dans chacune des 5 catégories.

177 000 photos ont donc passé le filtre de la machine. À partir de ce pool restreint, les curateurs ont analysé les images et sélectionné 100 finalistes, soit 0,056% de l’ensemble. À cette étape, il y a donc toujours un travail humain conséquent de sélection.

EyeEm Vision et les autres formes de curation par ordinateur sont donc plutôt là pour aider les éditeurs à organiser l’information reçue et à sélectionner le meilleur à travers le bruit (signal contre bruit) généré par la création d’images en croissance.

Cet usage de l’intelligence artificielle et du machine learning appliqué à la photo n’est sûrement que le début d’une marche plus profonde vers l’usage de la technologie au service de la photographie. Car après avoir permis au matériel de prise de vue d’être plus performant, il est bien normal que de l’autre côté, les acteurs fassent à la technologie pour traiter des volumes d’images toujours plus importants.

Sur cette thématique, Regaind, une startup française, cherche également à faciliter la sélection des meilleures photos au sein d’un pool important d’images pour par exemple faciliter la création d’un album photo à partir de toutes ses photos de vacances.

Mais comment être certain que de bonnes photos ne soient pas écartées de la sélection ? Il reste encore du temps avant que l’homme ne fasse entièrement confiance à la machine pour choisir quels instants photo garder.