Sony IMX500 et 501 : deux nouveaux capteurs boostés à l’intelligence artificielle

Sony vient de dévoiler deux nouveaux capteurs, les IMX500 et IMX501. Extrêmement compacts, ils se distinguent surtout par l’intégration d’une couche dédiée à l’intelligence artificielle. Ils inaugurent un nouveau type de capteur, nommé Intelligent Vision Sensor par Sony. Retour sur les caractéristiques de ces deux capteurs novateurs.

Deux nouveaux capteurs signés Sony

Sur le marché des smartphones et des hybrides, Sony et sa division Image and Sensing Solutions tirent leur épingle du jeu en fournissant près de 70 % des capteurs du marché. À titre d’exemple, Sony est le fournisseur exclusif des capteurs photo des iPhone depuis 2011.

On retrouve également des capteurs Sony dans bon nombre d’appareils hybrides, comme ceux de Nikon, Panasonic ou Olympus. Face à une hausse de la demande toujours plus soutenue, la marque peinait d’ailleurs à honorer son carnet de commande fin 2019.

Leader du marché, Sony peine à honorer son carnet de commandes en capteurs photo

Pour asseoir sa domination sur ce marché, l’entité Image and Sensing Solutions mise depuis plusieurs années sur la conception de capteurs plus rapides, produisant des images de meilleure qualité… et capables d’engranger plus d’informations – lesquelles sont analysées pour des solutions d’intelligence artificielle.

Au cours de ces 2 dernières années, la marque avait ainsi dévoilé plusieurs capteurs, destinés notamment aux voitures autonomes pour leur permettre de mieux « voir » leur environnement (les autres véhicules, les piétons, les inscriptions sur les panneaux de signalisation, etc.).

Avec ces deux nouveaux capteurs, Sony fait un pas de plus dans le domaine de l’IA – et de son utilisation dans la vie de tous les jours. Les IMX500 et 501 sont ainsi les 1ers capteurs à intégrer une puce de calcul et une puce mémoire dédiées à l’intelligence artificielle.

Le but : permettre des calculs d’IA directement au niveau du capteur, sans avoir recours à un processeur externe ou à un service Cloud distant. Ils inaugurent une nouvelle gamme de capteurs, baptisée « Intelligent Vision Sensors » par Sony.

Une nouvelle architecture de capteurs photo et vidéo

L’architecture de ces nouveaux capteurs s’avère très différente de celle des capteurs « classiques ». Pour comprendre pourquoi, revenons un instant sur le couple capteur-processeur de nos appareils photo.

Quel que soit le type d’appareil photo, le capteur et le processeur sont 2 éléments indissociables. Ainsi, le processeur convertit le signal envoyé par le capteur en informations numériques.

Dans le cas d’un smartphone, les données sont ensuite envoyées vers un service Cloud distant pour l’analyse des données. Le but : offrir un service complémentaire – la reconnaissance des visages d’une photo, par exemple. C’est la solution utilisée par Google ou Apple au sein de leurs galeries photo, par exemple. Dans certains cas, l’analyse par l’IA (dans le Cloud) peut être faite a posteriori. Lors de l’importation d’une photo sur Facebook, Twitter ou Instagram, par exemple.

Avec ces deux nouveaux capteurs, les IMX500 et IMX501, Sony vient changer ce paradigme technique. Ainsi, la marque japonaise a associé le DSP (Digital Signal Processing, une fonction assurée par le processeur) et l’ISP (Image Signal Processing).

Dans la pratique, ils se différencient des capteurs « classiques » en plaçant la couche logique, dédiée à l’IA (ainsi qu’une puce mémoire) directement sous la couche des pixels.

De ce point de vue, ces 2 nouveaux capteurs reprennent l’architecture inaugurée avec les capteurs « stacked CMOS » (CMOS empilés), conçus par Sony. Pour mémoire, cette technologie repose sur l’intégration d’une puce DRAM au capteur pour accélérer le traitement de l’information et accroître la réactivité de l’appareil.

Des capteurs plus intelligents, assurant un meilleur suivi des sujets en mouvement

D’après Sony, placer la couche dédiée à l’IA et la mémoire dédiée juste en-dessous de la couche de pixels présente de multiples avantages. Ils doivent être capables de traiter les données du capteur et d’effectuer l’analyse « en interne » par l’IA quasi-instantanément. Sony avance ainsi le chiffre de 3,1 millisecondes pour la reconnaissance d’objets.

Sur le terrain, le capteur prend la photo et analyse directement la scène pour reconnaître le type de sujet. Ces informations sont directement « traduites » en métadonnées.

Et ce, sans avoir besoin de faire appel à un service Cloud externe et sans nécessiter un processeur très puissant. Ainsi liés, l’œil et le cerveau de l’appareil peuvent mieux communiquer et être beaucoup plus efficaces. Sur le terrain, ils sont conçus pour mieux détecter et suivre précisément des sujets, notamment lorsqu’ils sont en mouvement.

Plusieurs « formats » de sortie de l’image sont proposées aux développeurs, en fonction du champ d’application souhaité :

• Une photo « normale« 
• Des métadonnées (sous forme d’étiquettes indiquant le type de sujet)
• Une image au format de sortie ISP « brut » (YUV/RGB)
• Une image présentant uniquement la « zone d’intérêt spécifique« , qui montre seulement le détail principal d’une photo (le visage d’une personne ou d’un animal par exemple).

Plus de rapidité, un plus grand respect de la vie privée et une meilleure gestion de l’énergie

Comme indiqué précédemment, tous les calculs sont effectués en local, sans devoir transiter par un service externe. Par conséquent, cette architecture devrait offrir un gain de réactivité et de performances – en réduisant les temps de latence entre l’appareil et le serveur Cloud.

Elle devrait ainsi permettre de réduire la consommation en bande passante et en énergie : au lieu d’envoyer l’image entière, l’appareil enverrait seulement ses métadonnées, soit à peine quelques octets au lieu de plusieurs Mo.

Enfin, selon Sony, cette architecture offrirait également de meilleures garanties en termes de respect de la vie privée. On restera prudents sur ce point, vu la propension de certains intégrateurs à communiquer les données des utilisateurs à des tiers.

Quels domaines d’application pour les IMX500 et 501 ?

D’après les informations fournies par Sony, l’IMX500 sera proposé « nu« . Il pourra par exemple être intégré dans un smartphone d’entrée ou moyenne gamme.

L’IMX501, en revanche, comporte un circuit intégré. Il pourra ainsi être déployé pour des utilisations robotiques, par exemple. Mais aussi pour analyser et suivre le déplacement d’objets ou de personnes.

 

Ainsi, ces capteurs pourraient s’avérer très pertinents pour les magasins sans caisse. Les caméras seraient ainsi en mesure de suivre les clients dans les allées. Et d’effectuer un « tracking » visuel beaucoup plus précis lorsque le client met un objet dans son panier. Ils pourraient également servir à des visées marketing, en identifiant plus précisément la typologie de clients s’intéressant à tel type de produit.

Sony IMX500 et 501 : deux capteurs à très forte valeur ajoutée

Pour l’heure, cette nouvelle architecture vient prendre place sur un capteur d’entrée de gamme de 12 Mpx (type 1/2,3 pouce, soit 6,17 x 4,55 mm). On est encore loin d’un capteur plein format (36 x 24 mm).

Cependant, cette nouvelle architecture, totalement inédite, vient profondément différencier les Sony IMX500 et IMX501 des capteurs existants. Au cours des prochaines années, Sony déploiera sans doute cette technologie sur des capteurs plus grands, ouvrant la porte à des smartphones – et à des appareils hybrides ? – plus intelligents.

L’intégration des fonctions d’IA au niveau du capteur offre donc une très forte valeur ajoutée aux capteurs Intelligent Vision Sensor. Les modèles d’IA sont entièrement personnalisables en fonction du type d’utilisation envisagé.

De fait, les champs d’application de ce nouveau type de capteurs s’avèrent quasi-illimitées. Nul doute qu’ils trouveront place dans de très nombreux domaines, des voitures autonomes aux centres commerciaux.

Ainsi, ces capteurs Sony IMX500 et IMX 501 font figure de « proof of concept« . Ces capteurs permettant ainsi à Sony d’inaugurer une nouvelle lignée de capteurs plus intelligents et de démontrer leur potentiel.

Ce faisant, ces deux nouveaux capteurs inscrivent encore davantage Sony dans le domaine de l’intelligence artificielle. Ils devraient ainsi permettre à Sony – et à son entité Image and Sensing Solutions – d’asseoir leur domination sur le marché des capteurs. Et ce, dans un contexte où la concurrence se fait de plus en plus pressante.