Les industriels de la photographie ne sont plus les rois des pixels. Les champions de l'image, c'est du côté des semi-conducteurs qu'il faut aller les chercher, et plus particulièrement les spécialistes des puces pour smartphones.
En haut du tableau se trouvent Apple, Huawei et d'autres Samsung dont les terminaux sont célèbres pour leur partie photo. Ce n'est pas l'un de ces fabricants de téléphones qui porte la couronne du roi de l'imagerie, mais l'Américain Qualcomm. Champion des composants télécoms et de la 5G, Qualcomm est également le numéro 1 mondial du SoC (Système sur puce) pour les smartphones, ces puces tout-en-un qui alimentent la plupart des appareils Android de la planète.

Les capacités photographiques étant un élément essentiel pour de nombreux consommateurs, Qualcomm, qui vend ses puces à tous (Samsung, Xiaomi, Oppo, OnePlus, etc.), a dû y répondre. Et avec l'arrivée de capteurs de plus de 100 mégapixels et l'explosion des modules de caméra, il a presque poussé les limites actuelles encore plus loin.

Chips de caméra en retard

Ces limites, le Snapdragon 865 ne les dépasse pas: il les explose. Son processeur d'imagerie (ISP) appelé Spectra 480 est une mitrailleuse pixel qui offre un niveau de performance (théorique) sans précédent. Et cela, aussi bien dans les smartphones que dans le monde de la photo et de la vidéo grand public. Jugez par vous-même: gestion vidéo 8K à 30 images par seconde en écriture et 60 images par seconde en lecture, vidéo 4K à 120 images par seconde, jusqu'à 2 milliards de pixels "digérés" par seconde, prise en charge de 18 modules de caméra maximum (deux modules couleur simultanés ) et jusqu'à 200 Mpix chacun. La fiche technique fait peur. À titre de comparaison, un hybride de taille professionnelle comme le Panasonic Lumix S1R est capable de filmer en 4K à 60 images par seconde (8K est interdit) et le Sony Alpha A9 gère "seulement" un demi-milliard de pixels par seconde.

La comparaison n'est certainement pas sur une base comparable – il existe d'autres facteurs limitatifs que le processeur des appareils photo qui pilotent des capteurs plus grands que les smartphones. Mais le fait demeure que dans la guerre des chiffres, les smartphones dépassent désormais les appareils photo par une bonne tête … voire deux. Heureusement, la physique – taille des capteurs, qualité de l'optique, puissance des téléobjectifs – ainsi que la manipulation des caméras sont là pour maintenir leur intérêt.

Parce que, pour le reste, c'est un KO technique.

Deux milliards de pixels par seconde

Comment fonctionne le traitement des pixels dans un FAI (pour Image Signal Processor)? Et pourquoi le chiffre de deux milliards de pixels par seconde est-il une performance?

" En général, dans un FAI, les pixels sont traités les uns après les autres. Mais face au déluge de données que cela représente, il faudrait atteindre des fréquences et une énorme consommation d'énergie si on restait sur ce modèle "Dit Judd Heape, le responsable du développement du module Spectra 480 responsable de l'imagerie.

L'endurance de la batterie étant également un argument de vente majeur pour les appareils, il n'est pas question d'exploser la facture énergétique.

L'astuce? Traitez plus de pixels par cycle.

Sur la diapositive explicative de la conférence de lancement du Snapdragon 865, cela semble très simple: le Spectra ne traite plus un, mais quatre pixels par cycle.

" C'est loin d'être simple en fait: il fallait tout changer dans le fonctionnement des rasters, modifier toute la chaîne de traitement d'image ", Détaille M. Heape en ajoutant que" les contraintes sont extrêmes puisque la place dans le SoC est extrêmement limitée ".

Le travail a été énorme puisque les ingénieurs ont dû tout réinventer, sans reprendre le "moteur" de traitement des versions précédentes.

Mais le jeu en valait la peine. Non seulement le Spectra 480 peut traiter quatre fois plus de pixels à une fréquence égale, mais en plus, pour un volume de pixels donné, la fréquence d'horloge est divisée par quatre par rapport à un FAI normal, ce qui diminue (presque) d'autant plus d'énergie consommation.
C'est ce nouveau moteur de traitement d'image qui permet au Spectra 480 de traiter jusqu'à 2 milliards de pixels " sans problèmes de chauffage Garantit Judd Heape.

De quoi prendre en charge non seulement les capteurs «monstres» actuels tels que le Samsung ISOCELL Bright HMX de 108 mégapixels, mais aussi « futurs capteurs 200 MP à venir ", Assure-t-il, expliquant que" les liens que nous entretenons avec l'industrie des capteurs nous permettent de savoir à l'avance quels types de composants sont en cours de préparation ".

Qualcomm premier sur 8K

Quel bien cela peut-il faire de gérer autant de pixels par seconde?

" Fondamentalement, nous avons développé un processeur capable d'une telle puissance pour offrir un mode vidéo 4K à 120 images par seconde, pour des séquences super fluides et un super ralenti 720p illimité à 960 images par seconde. Dit Judd Heape. " Le 8K n'est qu'un sous-produit des performances que nous avons obtenues. Comme nous pouvions traiter deux milliards de pixels par seconde, nous pourrions donc traiter 8K en décodage comme en décodage. "

Si vous pensez que le traitement des huit mégapixels pauvres d'un fichier vidéo 4K est une performance, le 8K va vous faire peur. Une image fixe d'un fichier vidéo 4K est de 8,3 Mpix (3840 x 2160 pixels), tandis qu'en 8K, chaque image affiche 33 mégapixels!
À 30 images par seconde, cela représente 990 millions de pixels par seconde. Près d'un milliard de petits carrés colorés qui doivent être collectés, désenregistrés, analysés, traités (couleurs), combinés (compressés) et enregistrés sur un support mémoire. Le tout à la vitesse de l'éclair. Ce travail colossal concerne l'écriture. En lecture, le Spectra 480 décode le 8K à 60 images par seconde, soit 1,98 milliard de pixels, son extrême limite de calcul. En comparaison, la Full HD est de 60 millions de pixels par seconde et la 4K de seulement 250 millions de pixels.

Avec le Spectra 480 de son Snapdragon 865, Qualcomm entre dans l'histoire en fournissant la première puce pour les appareils grand public capables de gérer le 8K. Il occupe ainsi une place particulière dans l'histoire du développement de ce standard vidéo. Et cela, devant les caméras grand public et la vidéo.

Si le 8K est actuellement réservé aux très grands écrans (au-delà de 65 pouces) et si sa qualité extrême causera de nombreux problèmes (stockage, puissance de traitement nécessaire, chauffage, etc.) la performance est la.

Torrent de pixels et intelligence artificielle

En plus du Spectra 480 qui gère à la fois la vidéo ultra haute définition (8K) et le "gigaphoto" (deux milliards de pixels par seconde, capteur 200 mpix, etc.), le Snapdragon 865 possède un autre gros avantage sur les puces qui équipent les caméras: il N'est pas seul.
À l'intérieur, un processeur (CPU), une puce graphique (GPU) et un DPS, une puce spécialement dédiée à l'intelligence artificielle, tournent. Appelé Hexagon, ce DSP intègre le moteur AI de 5e génération de Qualcomm et peut désormais effectuer jusqu'à 15 téra d'opérations par seconde (15 TOPS = 15 000 000 000 000 d'opérations).

Chef d'orchestre de calcul, l'Hexagone est capable de récupérer les informations traitées par le Spectra et d'utiliser le CPU, le GPU ou ses propres unités selon la nature des calculs à effectuer.
Une puissance à couper le souffle pour une puce de quelques millimètres carrés, qui permet au Snapdragon 865 de combiner des centaines d'images pour améliorer leur qualité, de «comprendre» les éléments capturés et d'appliquer différents filtres selon qu'il s'agit d'un visage ou d'une feuille (sémantique segmentation), etc. Bref, pour sublimer les informations qui sortent des modules caméras, cependant beaucoup plus petites et moins bonnes que celles qui équipent les caméras.

La force du volume

Si la comparaison entre les «vraies» caméras et les smartphones est difficile en raison de leurs natures et contraintes différentes (la caméra doit être allumée en une seconde, etc.), la supériorité théorique des SoC pour smartphones s'explique par un seul mot: volume.
Lorsqu'un appareil photo haut de gamme qui se vend bien peut se vendre à quelques centaines de milliers d'unités, les smartphones se vendent à des centaines de millions.

Lorsque Sony, Panasonic ou Nikon développent leurs propres processeurs pour leurs boîtiers, les fabricants de smartphones se tournent tous – ou presque – vers Qualcomm. Les volumes délirants du marché des smartphones ont permis à Qualcomm de concentrer des budgets R&D hors de proportion avec ceux du monde photo. Et devenir ainsi, dans un relatif anonymat, un poids lourd dans le monde de l'image.