MP #124 : tout savoir sur le score DxOMark, le graal des constructeurs photo

Si DxOMark est l’une des références pour mesurer et comparer les performances d’un boîtier numérique — certains photographes attendent même les résultats d’un appareil avant de l’acheter — les scores et tests DxOMark sont parfois difficiles à comprendre, même pour les plus expérimentés. D’autant plus que le site et les tests sont en langue anglaise, difficilement compréhensibles pour certains.

Dans cet article, nous allons expliquer la méthodologie utilisée par DxOMark, les différents tests réalisés pour obtenir, au final, le score que le laboratoire attribue à chacun des boîtiers numériques qui passent sur les bancs d’essai de ses laboratoires. Nous n’aborderons pas pour le moment le test DxOMark pour les objectifs.

Présentation de DxO Labs

DxOMark est un service proposé par la société française DxO Labs, basée à Boulogne-Billancourt. DxO Labs développe des logiciels de traitement photo, dont le plus connu est le logiciel de traitement RAW DxO Optics Pro.

© Dxo Labs
© Dxo Labs

Pour proposer des corrections optiques pour ses logiciels, DxO Labs réalise des mesures pour de nombreux appareils photo numériques et objectifs. Ces données techniques étant également utiles pour le marché de la photographie, DxO décida de créer un outil gratuit de comparaison d’appareil photo accessible en ligne : DxOMark. Depuis 2012, DxO mesure également les performances des smartphones en photo et en vidéo avec DxOMark Mobile.

A noter que Dx0Labs vend également ses équipements et logiciels de test à certains constructeurs d’appareils photo.

Ce Mercredi Pratique étant plus long et détaillé que d’habitude, nous vous proposons une lecture facilitée en plusieurs pages.

Présentation du test Dx0Mark

Pour évaluer les capteurs des boîtiers numériques, DxO Labs a un protocole d’évaluation pointu, quasi industriel, et le matériel nécessaire est bien loin de ce qu’un amateur pourrait utiliser. N’ayant pas encore pu visiter les laboratoires de test situés à Boulogne, nous ne pouvons cependant pas vous en dire plus sur le matériel utilisé.

Dxomark-logo

Le protocole de test pour DxOMark consiste à analyser les fichiers RAWs sortis du boîtier afin de connaître le potentiel du capteur de l’appareil photo. Par rapport à d’autres méthodes de test, l’avantage d’analyser le fichier RAW est qu’on analyse ici la donnée brute, plutôt qu’un JPEG (généré par le boîtier ou par le dématricage du fichier RAW) qui n’est en fait qu’une interprétation du fichier parmi d’autres.

Pourquoi les tests DxOMark sont reconnues dans le monde de la photographie ? Par la normalisation des résultats proposés par DxOMark, il est possible de comparer tous les appareils photo entre eux, même ceux qui ne jouent pas forcément dans la même cour (un Sony RX100 vs un Nikon D800 par exemple).

© Stephen Shankland/CNET
© Stephen Shankland/CNET

Une chose importante avant de continuer : DxOMark ne compare les appareils photo que sur les performances brutes du capteur. D’autres points importants comme le traitement du l’image par le boîtier, sa robustesse, la qualité des optiques, l’autofocus, sa polyvalence, sa facilité d’utilisation ou encore son rapport qualité/prix ne sont pas pris en compte. Pour cette raison, même si la qualité des RAWs est un facteur important dans l’achat d’un appareil, il ne faut pas s’arrêter là pour le choix d’un appareil photo.

[nextpage title= »Les scores DxOMark : un score global et trois scores thématiques »] Pour obtenir des scores compréhensibles, DxO a fait le pari de ne proposer qu’un score global, le DxOMark Overall Score (score global DxOMark). Il s’agit d’un nombre compris entre 0 et 100, 100 étant le score le plus élevé possible pour le moment. Ce score est normalisé et suit une progression logarithmique.

ScoreD750

En guise d’exemple, le boîtier ayant le plus grand score est le Nikon D810 avec un score global de 97 points. Il est possible que dans les prochaines années, le score de 100 soit atteint, et dans ce cas là, DxOMark pourrait proposer un classement pouvant aller de 0 à 150.

Le DxOMark Overall Score est une synthèse de trois scores plus spécialisés :

  • le score Portrait qui mesure la profondeur de couleur. Il est exprimé en bits et indique le nombre maximal de nuances de couleurs. Selon DxOMark, un score supérieur ou égal à 22 bits est excellent et une différence de 1 bits est négligeable. Ce score est intéressant pour les photographes de produits ou de portraits souhaitant obtenir le rendu des couleurs le plus juste.
  • le score Landscape (Paysage) qui mesure la plage dynamique. Il est exprimé en EV (ou IL pour indice de lumination) et indique la plage dynamique maximale entre les détails les plus sombres et les plus clairs d’une scène. Chaque augmentation d’1 EV correspond à deux fois plus de lumière. Selon DxOMark, un score supérieur ou égal à 12 EV est excellent, et une différence de 0,5 EV est négligeable. Ce score est intéressant pour les photographes de paysage dont les conditions de prise impliquent souvent des contrastes importants entre un ciel clair et des détails foncés.
  • le score Sports et Action qui mesure la sensibilité du capteur en basse lumière. Il est exprimé en ISO et est défini en analysant le rapport signal/bruit (SNR) de l’image RAW à chaque réglage ISO. Selon DxOMark, un SNR de 30dB garantit une excellente qualité d’image. Le score maximum de l’appareil correspond ici au réglage ISO le plus haut permettant d’obtenir un SNR de 30dB tout en conservant une bonne plage dynamique de 9 EV et une profondeur de couleur de 18 bits (données proposées par DxOMark pour évaluer une bonne qualité d’image en haute sensibilité). Ce score est intéressant pour les photographes de sport ou de reportage, mais aussi pour tous ceux amenés à prendre des photos dans des conditions de lumières difficiles (intérieur, pénombre etc) car il permet de donner la sensibilité ISO maximale à laquelle ils pourront travailler sans perdre en qualité d’image.

Alors que certains regardent le score général d’un appareil photo sur DxOMark, il est plus intéressant de regarder les scores Portrait, Landscape et Sports et Action car ceux-ci permettent de mieux comprendre les forces et faiblesses du capteur de l’appareil photo. Par exemple, si un appareil dispose d’un score Portrait élevé mais d’un score Sports et Action faible, il sera sûrement un meilleur choix pour de la photo de studio que pour du reportage.

[nextpage title= »Comprendre les graphiques de DxOMark »] Pour obtenir ces scores, et finalement le score global d’un boîtier, DxOMark réalise plusieurs tests bien spécifiques. Pour mieux les comprendre, nous allons étudier chacun des graphiques.

Sensibilité ISO

sensibilitéISO

Le graphique ISO Sensibility permet de comparer la sensibilité ISO réelle de l’appareil avec la sensibilité annoncée par le fabricant. Très souvent, la sensibilité réelle est plus faible que celle annoncée par le constructeur, excepté dans les très basses sensibilités. Par exemple, la sensibilité du Nikon D610 à 400 ISO est en fait une sensibilité réelle de 296 ISO.

SNR 18%

SNR18printLe graphique SNR 18% affiche le SNR, rapport signal/bruit pour un gris moyen (18%) correspondant à une image correctement exposée. Ce rapport évolue, comme pour les autres graphiques, en fonction de la sensibilité ISO. Sur le graphique, des lignes 20 dB, 32dB et 38dB permettent de juger de la performance du boîtier. Le score Sports est d’ailleurs issu de ce graphique, en relevant la valeur de la courbe pour un SNR de 30 dB.

Cette première courbe, Print, permet d’obtenir des valeurs normalisées, peu importe la résolution du capteur, car l’image RAW est transformée en un fichier de 8 Mpx puis imprimé à 300dpi sur un format de 8×12 pouces, l’équivalent de la taille physique d’une image à 8Mpx avec un zoom 100%.

Une autre courbe, Screen, correspond aux valeurs en visualisant l’image à 100% sur un écran (technique du pixel-peeping, qui consiste à regarder une image au zoom extrême, au point d’arriver presque à distinguer les pixels). Ici, les résultats sont bien meilleurs, et on peut calculer qu’une augmentation par 2 du nombre de pixels fait descendre le SNR d’environ 3 dB.

Dynamic Range

DynamicRangePrintLe graphique Dynamic Range, ou Plage Dynamique, permet de voir l’étendue de la plage dynamique du capteur par sensibilité. Calculé en EV, plus le chiffre est grand, plus la plage dynamique est étendue. En montant en ISO, on observe que la plage dynamique se réduit, ce qui rappelera aux photographes que pour obtenir la meilleure plage dynamique, il ne faut pas trop monter en ISO. Le score Landscape (Paysage) est issu de ce graphique en prenant la valeur la plus élevée de la courbe, souvent obtenue à faible ISO.

Tonal Range

TonalRangeLe graphique Tonal Range, ou Plage Tonale, permet de connaître le nombre maximal de niveaux de gris que le capteur peut restituer dans une image. Comme pour la profondeur de couleur, le résultat s’exprime en bits.

Color Sensibility

ColorSensibilityLe graphique Color Sensibility, ou sensibilité colorimétrique, permet de connaître le nombre maximal de nuances de couleurs que le capteur peut restituer dans une image. Le résultat, comme pour le Tonal Range, s’exprime en bits. On remarque que plus le bruit augmente, moins les nuances de couleurs sont importantes. Le score Portrait est issu de ce graphique en prenant la valeur la plus élevée de la courbe, souvent obtenue à faible ISO.

Full SNR

SNRLogaLe graphique Full SNR (ou rapport signal/bruit complet) permet d’afficher le rapport signal/bruit à toutes les sensibilités pour tous les niveaux de gris. Difficile à lire, il permet cependant de voir l’apparition de bruit notamment dans les zones sombres (gris à faible %). Une courbe parfaite devrait être linéaire sur une échelle logarithmique, et plus cette courbe est inclinée, plus il sera difficile de récupérer des informations dans les zones sombres.

Color Response

ColorresponseLes graphiques de la section Color Response sont très techniques et permettent de connaître la capacité du capteur à obtenir une justesse des couleurs en restituant les trois couleurs primaires de l’espace RGB : le rouge, le vert et le bleu. Idéalement, sur les trois premiers graphiques du haut, le rouge, le vert et le bleu devraient respectivement être majoritairement présents sur chacun des graphiques R, G et B, et sur le graphique du bas, mélangeant les trois couches, un équilibre doit également se trouver. Si une couleur est plus haute que les autres, ou inversement bien plus basse que les autres, cela veut dire qu’il faudra la corriger. Mais nous sommes ici en présence de fichiers RAWs, et les boîtiers actuels, bien qu’imparfaits, sont relativement performants et justes.

Full CS

FullCS50

FullCS1600Le dernier graphique Full CS (ou sensibilité colorimétrique complète) est lui aussi complexe à déchiffrer. Il est d’ailleurs interactif et il est possible de changer la sensibilité ISO pour le voir évoluer. Il permet de connaître la sensibilité des couleurs en fonction des ISO en affichant les ellipses formées par les covariances du bruit selon les couleurs, autrement dit en étudiant la manière dont l’appareil est capable de distinguer une couleur en particulier par rapport aux couleurs alentours. Plus l’ellipse est large par rapport au carré, plus le capteur est « daltonien ». En revanche, plus l’ellipse est petite, plus le capteur réussit à distinguer la couleur de manière précise.

[nextpage title= »Comparer les appareils photo sur DxOMark »] Après cette plongée dans les graphiques, revenons à la surface pour un point intéressant (et dangereux) sur DxOMark, la comparaison entre les boîtiers.

comparaisondxo

Via cette page, il est possible de choisir les appareils photo à comparer (jusqu’à 3), et les comparer sur les trois scores thématiques et le score global DxOMark. Ensuite, vous pouvez entrer plus en détails en allant dans l’onglet Measurements qui affichera les graphiques présentés plus haut dans l’article.

Avant de comparer différents modèles, je vous conseille de les sélectionner avec attention, en pensant notamment aux différences de gammes qui existent selon les appareils. Comparer un hybride d’entrée de gamme avec un boîtier full frame n’est pas forcément judicieux, car on sait déjà quel capteur est le plus performant.

D’autre part, ne basez pas vos comparaisons uniquement sur les scores DxOMark, au risque de faire des erreurs de jugement. Par exemple, si vous comparez le Nikon D810 et le Canon 7D Mark II, le Nikon D810 obtient un meilleur score Sports (performances à haut ISO) mais cela ne veut pas dire que ce soit un boîtier plus adapté à la photo de sport, car le Canon 7D Mark II, reflex APS-C, a des avantages qui ne sont pas présentés ici tels qu’une rafale de 10 i/s, un coefficient multiplicateur de focale de 1,6x ou encore une plus grande compacité et légèreté (du boîtier comme des fichiers à traiter).

[nextpage title= »Conclusion »] Nous refermons ce guide sur un rappel : DxOMark est une mine d’information si vous savez où chercher, et certains graphiques feront scintiller les yeux des fans de mire et autres tests industriels. Ce site permet de donner pour de nombreux boîtiers et appareils numériques un score compréhensible, mais ne vous contentez pas de ce score simple et creusez pour regarder les scores thématiques.

N’oublier pas également que DxOMark n’analyse que le capteur de l’appareil photo. Élément important d’un appareil photo, le capteur n’est pas la pièce unique qui fait ou non un appareil photo, et même si DxOMark l’indique sur son site (dans les petites lignes), il ne faut pas perdre cela de vue.

Voici quelques liens sur le site DxOMark pour en savoir plus :

Si vous avez des questions particulières, n’hésitez pas à nous en faire part dans les commentaires, nous essayerons d’éclaircir le sujet avec vous.