Dossier : la photo au smartphone, comment ça marche ?

Capteurs, objectifs, traitement de l'image et intelligence artificielle : les dessous de la technologie

Le smartphone est devenu l’appareil photo le plus utilisé au monde. Comment transforme-t-il une simple pression sur le déclencheur (physique ou virtuel) en une image séduisante ? Plongez dans un monde où capteurs, objectifs, traitement de l’image et intelligence artificielle fusionnent pour surmonter les défis posés par la petite taille de votre appareil. Nous vous invitons à explorer cette cuisine sophistiquée cachée derrière chaque prise de vue avec votre smartphone.

Photo au smartphone comment ça marche ?

Smartphone vs appareil photo : quelles différences lors de la capture d’une photo ?

Que ce soit avec un smartphone ou un « vrai » boîtier photo, le fonctionnement est similaire. La lumière traverse un ensemble de lentilles avant d’atteindre le capteur, qui convertit cette lumière en une image composée de pixels. Cette image est ensuite traitée et stockée dans la mémoire de l’appareil.

Photo au smartphone comment ça marche ?

Pour autant, le smartphone doit répondre à une contrainte de taille (sans jeu de mots). Pour rester suffisamment compact (et abordable), il lui est impossible d’embarquer un capteur aussi grand que celui d’un « vrai » boîtier photo.

De fait, les smartphones doivent composer avec un capteur et une optique de très petite taille. Jugez plutôt : un « petit » capteur Micro 4/3 mesure 17,3 x 13 mm, tandis que la majorité des smartphones actuels embarquent un capteur mesurant moins de 10 mm de côté !

Face au défi posé par la petite taille des capteurs, les fabricants de smartphones redoublent de créativité pour réussir à produire des images de qualité, de jour comme de nuit.

Ce dossier a pour but de faire un petit tour d’horizon des diverses technologies intégrées dans nos téléphones pour relever ce défi.

Côté matériel : l’augmentation du nombre de pixels et la multiplication des objectifs

En matière de capteurs, nous observons une augmentation significative du nombre de pixels. Il est désormais rare de trouver des modèles offrant « seulement » 12 mégapixels. Aujourd’hui, les smartphones affichent 50, 100 voire 200 Mpx. Ce phénomène est rendu possible par l’utilisation d’une technologie appelée le pixel binning.

Le pixel binning (regroupement de pixels en français) fait son apparition pour la 1re fois en 2012 (!) sur le Nokia Pureview 808, avant de (ré)apparaître 6 ans plus tard avec le capteur Sony IMX 586 – qui a connu une très belle carrière en étant présent sur un (très) grand nombre de smartphones récents.

Pixel binning : plus de pixels pour une meilleure qualité d’image

L’idée innovante du pixel binning repose sur l’utilisation d’un grand nombre de pixels, non pas pour créer des images plus grandes, mais pour améliorer leur qualité.

Habituellement, placer un grand nombre de pixels sur une surface réduite peut affecter la qualité de l’image, impactant le rendu des détails, la gestion du bruit, la plage dynamique et la qualité des images nocturnes, entre autres aspects. Le principe du pixel binning consiste à combiner (virtuellement) les pixels du capteur afin d’améliorer la qualité de l’image finale.

Photo au smartphone comment ça marche ?
Le pixel binning, ou « regroupement matriciel » repose sur la combinaison des pixels adjacents. Une technique encore très rare du côté des boîtiers photo, hormis sur les Leica Q3, M11 et SL3.

Concrètement, le capteur est capable de « réorganiser » la matrice des pixels rouge, bleu et vert, et combine plusieurs pixels adjacents. Cette technique fusionne 4 ou 9 pixels contigus en un seul. Grâce à ce procédé, on obtient l’équivalent de photosites de plus grande taille.

Pour l’utilisateur, les bénéfices sont multiples. Puisque les photosites sont plus grands, les images capturées profitent (théoriquement) d’une meilleure restitution des détails, d’une plage dynamique plus étendue, avec moins de bruit numérique. Et surtout, la qualité des photos de nuit est (théoriquement) supérieure à celle d’un capteur « standard ».

Photo au smartphone comment ça marche ?
Cathédrale Saint-Julien – Sony Xperia 1 V – 16 mm, f/2,2, 1/13s, 1250 ISO

Cette méthode permet aussi d’obtenir une photo aux dimensions « raisonnables », plus faciles à exploiter. Un capteur de 48 Mpx peut ainsi générer des images de 12 Mpx. Pour autant, il est toujours possible (via un détour dans les options) de capturer des images en exploitant tous les pixels du capteur – mais dans ce cas, les images sont généralement peu détaillées et assez bruitées. Un point qu’Apple a su corriger grâce à son mode ProRAW.

Enfin, la définition très élevée du capteur permet aussi plus facilement de rogner à l’intérieur de l’image, permettant aux constructeurs de proposer un zoom « algorithmique » avec une perte de qualité relativement modérée. Nous développerons ce point dans la partie suivante.

La nécessaire augmentation de la taille des capteurs

Comme mentionné plus haut, loger un très grand nombre de pixels sur une très petite surface est préjudiciable pour la qualité d’image. Dès lors, la seule solution est d’accroître la taille du capteur. De cette façon (avec ou sans pixel binning), les photosites sont moins resserrés et la qualité d’image s’améliore sensiblement.

À ce titre, les stratégies des différents constructeurs diffèrent assez largement. Samsung, par exemple, a choisi de faire grimper la définition – mais pas la taille ! – du capteur principal de ses Galaxy S23/S24 Ultra (200 Mpx). À l’inverse, d’autres acteurs comme Xiaomi ou Vivo font l’inverse : augmenter la taille des capteurs – quitte à devoir rivaliser d’ingéniosité pour loger un très grand capteur sur un smartphone.

Photo au smartphone comment ça marche ?
Si le capteur est de grande taille, le bloc optique le sera également

À ce titre, mentionnons les Xiaomi 13 et 14 Ultra (2023 et 2024), qui intègrent un grand capteur type 1 pouce de 50 Mpx. Vous l’aurez compris, le pixel binning est de la partie, avec des clichés de 12,5 Mpx et des photosites « fusionnés » de 3,2 µm de côté.

Enfin, notez que les capteurs de grande taille sont (pour l’instant) réservés aux smartphones les plus onéreux.

Côté optique : multiplication des objectifs, zoom périscopique… pour quoi faire ?

Si les capteurs (et leur définition) sont très souvent mis en valeur par les différents constructeurs, la partie optique est tout aussi importante. D’autant que la qualité des lentilles – bien souvent en plastique – a un impact considérable sur la qualité d’image, et encore plus lorsque le capteur employé est de grande taille.

Photo au smartphone comment ça marche ?

Au cours des dernières années, deux grandes tendances ont émergé dans le domaine de la photographie mobile : l’augmentation du nombre d’objectifs à l’arrière des smartphones et l’adoption croissante du « zoom périscopique ».

La multiplication des objectifs pour compenser l’absence de zoom optique

À quelques exceptions près, comme le Sony Xperia 1 V, la plupart des smartphones ne sont pas équipés de zoom optique en raison de contraintes d’espace. Ils utilisent plutôt plusieurs focales fixes (soit plusieurs couples capteur + optique). Pour couvrir les intervalles entre ces différentes longueurs focales, le smartphone utilise le zoom numérique, ce qui a souvent pour effet de dégrader significativement la qualité de l’image

Photo au smartphone comment ça marche ?

Dans certains cas, on retrouve aussi un « zoom algorithmique », qui combine les données de plusieurs capteurs (généralement très définis) pour obtenir une meilleure qualité d’image qu’avec un zoom numérique « classique ». C’est le cas des Google Pixel, qui proposent le Pro Res Zoom (avec un zoom x30 maximum). Ou de Samsung et Xiaomi, avec leur Space Zoom allant jusqu’à x100. Pratique en photo de concert, par exemple.

Photo au smartphone comment ça marche ?
Le zoom algorithmique, c’est bien, mais cela ne fait pas de miracle

L’invention de l’objectif « périscopique », petite révolution pour les téléobjectifs pour smartphone

L’époque où les smartphones se limitaient à un zoom x2 ou x3 est révolue depuis longtemps. Depuis 2019, de nombreux fabricants, tels que Huawei, Oppo, Xiaomi, Samsung, et plus récemment Apple, ont introduit des objectifs « périscopiques » dans leurs modèles.

Le principe : les lentilles sont montées de manière perpendiculaire au dos de l’appareil. La lumière vient frapper un prisme et l’appareil joue sur la position des lentilles pour ajuster la mise au point. Le capteur est donc placé à 90° par rapport au dos du smartphone.

Photo au smartphone comment ça marche ?

On peut ainsi profiter d’une focale bien plus longue, allant jusqu’à 240 mm sur les Samsung Galaxy S21 à S23 Ultra. De son côté, Sony a proposé le 1er zoom optique périscopique sur ses Xperia 1 IV et Xperia 1 V (équivalent 85-125 mm).

Si cette solution a permis d’accroître considérablement la focale des téléobjectifs de nos smartphones, elle n’est pas sans inconvénients. Bien souvent, les objectifs périscopiques sont associés à des capteurs de petite taille et des optiques peu lumineuses. Livrant parfois une qualité d’image assez discutable…

Le fonctionnement en tétraprisme de l’iPhone 15 Pro Max

De son côté, Apple propose un zoom x5 (prolongé par un zoom numérique x25) grâce à un système de « tétraprisme ». Le capteur est donc monté parallèlement au dos du smartphone. Pour plus de détails sur cette technique, n’hésitez pas à consulter cet article.

Côté logiciel : l’avènement de la photographie computationnelle

En parallèle des évolutions matérielles, nous avons assisté à une petite révolution avec l’émergence de la photographie computationnelle (ou photographie informatique). Cette avancée est rendue possible grâce à l’amélioration continue des performances des puces mobiles, tant sur les appareils iOS qu’Android. D’ailleurs, leur puissance de calcul dépasse (et de loin) celle des processeurs intégrés dans nos appareils photo, et même parfois dans certains ordinateurs.

En effet, les processeurs mobiles bénéficient d’un ISP (Image Signal Processor) extrêmement puissant, spécialement conçu pour le traitement de l’image, ainsi que, dans certains cas, d’un NPU (Neural Processing Unit) dédié aux tâches d’intelligence artificielle. Ces composants spécialisés permettent une amélioration significative de la qualité des images.

Ainsi paré, le smartphone ne se contente pas d’enregistrer une image, mais capture un grand nombre de clichés (entre 8 et 20) et les fusionne pour obtenir un meilleur niveau de détails, une dynamique plus élevée, moins de bruit numérique, etc.

De même, les algorithmes intégrés permettent au smartphone de reconnaître le sujet de la photo afin d’appliquer les meilleurs réglages. Photo d’un soleil couchant, de nourriture, de votre animal de compagnie… L’appareil s’adapte afin de livrer un cliché à la dynamique et à la colorimétrie optimisée.

Xiaomi 13 Ultra

De la même manière, certains smartphones peuvent capturer des images en pose longue de plusieurs secondes sans trépied. Cette fonctionnalité est particulièrement pratique pour capturer des scènes comme le mouvement de l’eau d’une cascade ou les traînées lumineuses des phares de véhicules la nuit.

Oppo Find X5 Pro

En photo de portrait, l’appareil détecte les contours du sujet et applique automatiquement un « effet bokeh ».Pourquoi cela ? Là encore, il s’agit de compenser la petite taille des capteurs des smartphones, qui rend presque impossible de discerner une « vraie » différence entre le sujet et son arrière-plan.

Dès lors, le smartphone détecte le sujet et applique un flou « intelligent » de l’arrière-plan... pour un résultat plus ou moins réussi d’ailleurs, notamment au niveau des cheveux.

L’IA, prochaine étape incontournable ?

Enfin, difficile de ne pas mentionner l’arrivée en fanfare de l’intelligence artificielle générative au sein de nos smartphones.

Google a récemment innové avec le lancement du Pixel 8, introduisant le mode « Best Take ». Cette fonctionnalité étonnante permet de sélectionner l’expression la plus flatteuse pour chaque personne dans une photo de groupe. L’IA du téléphone détecte les moments où chaque individu sourit et combine ces instantanés pour créer une image finale optimisée. Ce mode représente une avancée prometteuse pour les photos de groupe.

De même, mentionnons Samsung, dont les Galaxy S24 misent beaucoup sur une intégration très poussée des fonctions liée à l’IA. Côté photo, on peut ainsi supprimer en un clic les reflets sur une vitre ou supprimer facilement un élément dans le cadre en « remplissant » l’espace vacant. Plus surprenant encore, on peut aussi déplacer et/ou agrandir un élément, pour rapprocher un basketteur du panier, par exemple.

Ces fonctionnalités, très faciles à utiliser au quotidien, changent profondément la manière dont l’appareil « prend une photo ». Une fois capturée, l’image n’est plus un résultat figé, immuable. Au contraire, on peut la modifier à l’envi… quitte à changer radicalement les éléments d’une scène.

Dès lors, s’agit-il encore d’une photographie… ou d’un montage ? Certes, ces possibilités existaient bien avant, notamment avec Photoshop. Mais la manière dont l’IA les met à la portée de tous, en quelques clics, vient bouleverser notre rapport à l’image – et à la confiance que l’on peut accorder à celle-ci. Ce qui, dans certains cas, peut poser bon nombre de questions éthiques, alors que les fake news ne cessent de nous préoccuper.

En conclusion

En une dizaine d’années, les smartphones se sont définitivement imposés dans le paysage photographique. L’appareil que vous avez toujours avec vous, toujours prêt à déclencher, c’est votre téléphone.

Mais à la différence d’un « vrai » boîtier photo, nos smartphones doivent composer avec un encombrement très réduit. Ainsi, la petite taille des capteurs est un vrai défi pour les fabricants de smartphones, qui rivalisent d’ingéniosité pour permettre à nos smartphones de livrer une image séduisante.

Capteurs ultra-définis et de plus grande taille, pixel binning, multiplication des objectifs, zoom périscopique… Les technologies développées par les différents constructeurs sont particulièrement impressionnantes – et certaines d’entre elles apportent de réels gains en termes de qualité d’image.

Sans oublier l’impact décisif de la « photographie computationnelle », rendue possible grâce à l’amélioration des performances des puces mobiles. Certains smartphones offrent ainsi des fonctionnalités inédites – comme la capture d’images en pose longue en main levée.

En clair, les progrès technologies enregistrés par les smartphones au cours de ces dernières années les rendent encore plus polyvalents – boostant ainsi notre créativité sur le terrain.