Comment Google analyse-t-il les images sur Internet ? Comment ses algorithmes sont-ils capables de reconnaître et d’interpréter les différents éléments d’une photo ? Un nouvel outil, nommé Google Image Analysis Tool, vient d’être lancé par le géant californien. Faisant partie de l’écosystème Cloud Vision, il peut nous permettre de comprendre comment fonctionne l’IA et les outils de machine learning de Google.
Jusqu’à présent, les outils rendus disponibles par Google ne sont pas représentatifs de la manière dont fonctionne l’algorithme de Google pour noter la pertinence des images. Toutefois, Google Image Analysis Tool s’avère particulièrement intéressant pour décrypter (et démystifier) ce que l’IA de Google et ses algorithmes comprennent de nos images.
Cet outil est un aperçu des fonctionnalités de l’API Cloud Vision de Google. Cette dernière se présente sous la forme d’un service (hébergé dans le cloud) permettant aux développeurs d’ajouter des fonctionnalités de reconnaissance d’images à leurs applis ou leurs sites web. Dans la pratique, il vous suffit de vous rendre sur le site de Google Image Analysis Tool (de préférence avec le navigateur Google Chrome), d’uploader une image et l’outil vous indique comment l’IA de Google l’interprète.
Ainsi, la photo est analysée de 7 manières différentes (et complémentaires les unes aux autres) : visage (ou lieu, le cas échéant), objets, labels, mots-clés associés à l’image, couleurs utilisées et type de contenu.
À titre d’exemple, nous avons essayé Google Image Analysis Tool avec cette photo de la cathédrale Notre-Dame de Paris (prise avec le Canon EOS RP, dont le test arrive très bientôt). L’algorithme a automatiquement identifié l’endroit (et donne même sa position géographique sur une carte). L’IA l’a également défini en tant que « bâtiment » (onglet « objects »), et lui a attribué des mots-clés tels « lieu historique », « architecture », « bâtiment », « architecture classique », « nuit », « métropole » … ainsi qu’un pourcentage de fiabilité (onglet « labels »).
Google Image Analysis Tool est également capable de trouver les recherches les plus susceptibles de faire remonter cette photo (onglet « web ») ; ici, « Cathédrale Notre-Dame de Paris », « Stock photography », « Image », « Photograph » et « Royalty-free » sont des mots que les internautes peuvent entrer pour parvenir à cette image dans le moteur de recherche de Google. Par ailleurs, l’outil est en mesure de retrouver les pages web susceptibles d’utiliser la même image.
Enfin, l’onglet « properties » est capable d’identifier les couleurs principales de la photo, tandis que l’onglet « safe search » indique que l’algorithme n’a pas détecté de contenu adulte, parodique, médical (contenant du sang), violent ou raciste.
Nous avons également fait le test avec un portrait du réalisateur David Lynch. L’algorithme a immédiatement associé l’expression de son visage à de la joie, et a défini le sujet de la photo comme étant un homme (onglet « objects »).
Les mots-clés associés sont assez amusants : « expression faciale », « front », « menton », « gentleman » et « rides » sont les 5 premières expressions que l’outil a rattaché à ce portrait.
L’onglet « recherches associées » s’avère particulièrement intéressant. Par associations d’idées, l’IA a déterminé que « David Lynch », « Eraserhead », « Film », « Henry Spencer », « film director », « photograph » ou encore « art » sont les entrées qui sont le plus susceptibles de mener vers cette photo. On constate donc que l’IA de Google a parfaitement reconnu le sujet de l’image, et y a associé l’un de ses films (Eraserhead, qui est pourtant sorti bien avant que cette photo ne soit prise) ainsi que le nom du personnage principal de ce film (Henry Spencer). L’outil est également capable d’indiquer les pages web sur lesquelles figure cette photo.
Enfin, l’onglet « safe search » nous apprend que l’algorithme considère comme « possible » que cette photo soit une parodie… ce qui s’avère légèrement surprenant.
Google indique se baser notamment sur le texte présent au sein des images, le texte des balises Alt, le nom du fichier et le texte autour de la photo pour mieux comprendre le contenu de l’image et être capable de le catégoriser.
Très facile à utiliser, cet outil s’avère particulièrement intéressant pour comprendre comment l’IA de Google interprète les différents éléments des images présentes sur Internet. Les données fournies permettent notamment de vérifier que l’image illustre correctement le contenu de la page web où elle est placée. À ce titre, Google Image Analysis Tool fera certainement le bonheur de celles et ceux voulant optimiser le référencement naturel de leurs images et de leur site web.
