Menu

comment Google met le logiciel et l'IA pour sublimer l'unique module de caméra de Pixel 3

11 octobre 2018 - smartphones
comment Google met le logiciel et l'IA pour sublimer l'unique module de caméra de Pixel 3


À une époque où les fabricants ajoutent des modules de caméra arrière à qui de mieux en mieux, le futur Galaxy A9 en aurait quatre et le prochain Nokia 10, cinq! – Google joue la simplicité: le Pixel 3 et le Pixel 3 XL sont équipés d'un module arrière simple. Si le géant de la publicité en ligne a mis en place deux modules de façade pour les selfies (un ultra grand angle de 19 mm et un grand angle de 28 mm), le module de caméra arrière est un module "traditionnel" de 12 Mpix. Un capteur "de dernière génération" selon les responsables de Google, une déclaration qui ne veut presque rien dire.

Heureusement, la fiche technique est un peu plus explicite: le capteur d'image du module arrière est un composant de 12,2 Mpix équipé de photosites de 1,4 micron, comme ceux de l'iPhone XS et XR. Mais une déclaration technique est évidente: le capteur est basé sur une technologie "dual pixel AD", un type de capteur dans lequel chaque photosite est divisé en deux avec une moitié de la surface dédiée à la récupération d'une couleur primaire (vert, rouge ou jaune). bleu) et l’autre partie au développement par corrélation de phase (détection de phase en anglais).

Dual Pixel Sensor: donner du grain à l'IA

Ce type de capteur n'est actuellement disponible que chez deux fabricants: Samsung Electronics et Canon, qui sont les seuls à produire de tels composants. Le premier intègre les capteurs Dual-Pixel dans le Galaxy S depuis la génération 7 tandis que le second équipe son reflex depuis l'EOS 70D en 2013 (et dans ses hybrides depuis l'EOS M5). Notre pari? Google est allé chercher des capteurs auprès de Samsung, qui pousse la branche "image" de sa division de semi-conducteurs à attaquer Sony sur son terrain. Et nous serions prêts à parier que ce capteur est conçu sur une technologie "empilée" (CMOS empilée) que Samsung maîtrise maintenant et offre d’énormes vitesses de lecture. Loin d’être un simple détail technique, le fait qu’il s’agisse d’un capteur Dual Pixel et d’une technologie (a priori) «empilée» est une exigence technique pour la réalisation des objectifs logiciels de Google.

Et le but du mode "Top Shot" est de réussir le coup parfait basé sur une rafale. Une rafale "invisible" qui commence un peu avant la libération du déclencheur (on parle de pré-tamponnage) et qui donne des images pour meuler les algorithmes de l'appareil. Sur la base des centaines de millions d'images analysées depuis des années par Google, le Pixel 3 AI détermine la meilleure image du lot: le moment où tout le monde sourit et a les yeux ouverts, par exemple. Heureusement, l'utilisateur a toujours la possibilité de revenir à la séquence et de faire son choix à la main. Si le pré-tampon n’est pas récent – Panasonic l’intègre dans son Lumix avec la fonction rafale 4K lancée avec le Lumix G7 – l’analyse automatique de la bonne image est la véritable nouveauté du monde de la photographie. La vidéo ci-dessous est assez révélatrice – mais vous devrez attendre le test pour voir s’il est réaliste.

Module de caméra unique: l'ADN de HTC

Du côté optique, le module de caméra arrière bénéficie d’un grand angle classique équivalent à un 28mm f / 1.8. Rien d’impressionnant sur le papier, mais en optique les chiffres de focale et d’ouverture ne sont pas tout: la qualité de la formule optique, impossible à qualifier ou à quantifier autrement que par des indices obscurs (nombre de lignes, mégapixels perçus, etc.) a bien plus à offrir influence sur la netteté des images. Et dans ce domaine, Google semble avoir hérité d'une grande partie de la société taïwanaise pour laquelle il a payé la plupart des ingénieurs: HTC.

Avant d'être englouti par le géant Google pour lequel il avait déjà fabriqué des appareils (Nexus, Pixel, etc.), HTC a brillé en photo avec les terminaux HTC U11, U11 + et U12 +, offrant des performances supérieures en qualité d'image. reste de la compétition avec un seul module de caméra. Si le secret industriel est difficile à percer, l’une des raisons de cette domination en qualité d’image pure que nous avons pu identifier est la grande qualité des blocs optiques. Non seulement la netteté de l’image était, à définition égale, bien supérieure aux ténors – Apple et Samsung inclus -, mais sur les dernières générations (U11 +, U12 +), les formules optiques et le traitement de surface étaient également beaucoup plus efficaces, avec une résistance à éclater impressionnant et une grande homogénéité d’image (les images étaient propres même dans les coins).

Capteur de mise au point ultra-rapide, unité optique ultra-solide héritée sans doute de l'expérience et du processeur d'image fait maison (le Pixel 2 hérité de Pixel Visual Core Pixel), qui lui permettent de piloter sa plate-forme technique. plus puissant qu'avec le fournisseur de services Internet intégré au processeur Qualcomm intégré (Snapdragon 845) … Un cocktail assez explosif pour que Google juge la plate-forme matérielle suffisamment puissante et n'ajoute aucun module supplémentaire. Cela ne l’empêche pas de proposer des technologies jusque-là réservées aux dispositifs à double module: la rapidité de synchronisation entre le capteur et le processeur d’images pixel Visual Core (un IPU, Image Processing Unit) permet aux pixels 3 de générer du flou d’arrière-plan – cette fois, le L'appareil photo combine un instantané et plusieurs mesures de profondeur effectuées à quelques centièmes de seconde d'intervalle.

Qualité optique pour le zoom numérique

L'une des fonctionnalités les plus intéressantes introduites par Pixel 3 et Pixel 3 XL est le logiciel de zoom numérique, le "Super Res Zoom". Un système grâce auquel l’appareil photo tirera parti des légers mouvements du photographe pour capturer plusieurs clichés de la même scène et améliorer la définition de l’image en les combinant dans un fichier super haute définition dans lequel nous pourrons ensuite effectuer un zoom.

Google déclare correctement que cette technique est " une technique de photographie numérique traditionnellement utilisée en astronomie et en imagerie scientifique ": Astronomes amateurs à travers les sondes lancées dans le système solaire, ce système d’amélioration de la qualité d’image est apprécié car il produit des images de bonne définition à partir de capteurs très sensibles mais de définition médiocre.

Les pixels 3 bénéficieraient ici de l'excellente résolution (on parle également du pouvoir de séparation) de l'optique qui permettrait au capteur de "cracher" sa définition maximale. En effet, équipé d’une optique médiocre, un capteur de 12 Mpix ne produirait que des clichés d’une définition "perçue" de 4 à 6 Mpix – il faut une optique d’excellente qualité pour que le "mégapixel perceptif" d’un capteur soit à son meilleur maximum. Selon toute vraisemblance, l'excellence des systèmes optiques hérités de HTC permettrait aux ingénieurs de Google de capturer suffisamment de détails pour combiner des prises de vue ultra-haute définition et un zoom numérique de haute qualité.

Attention cependant: un zoom numérique ne peut pas simuler l'effet de compression de longues focales. Il s’agit d’un simple "recadrage" d’une image grand angle et il n’attend pas le punch d’une image capturée avec un vrai téléobjectif. Quant à l’utilisation de ce mode "Super Res Zoom", il reste à voir comment les algorithmes se comporteront sur des sujets un peu mobiles.

Vision nocturne

Dans le domaine des basses lumières, Google s’appuie également sur le logiciel. Vision nocturne La technologie de vision nocturne ne repose pas tant sur la plate-forme matérielle que sur la apprentissage automatique recréer des détails et des couleurs dans des conditions de faible luminosité. Le système consiste en une prise de vue qui dure 2 à 3 secondes et qui associe plusieurs images pour en recombiner une qui est bien exposée, claire et en couleur, même par faible luminosité.

Malheureusement pour l'effet de surprise recherché par Google, ce mode de prise de vue combinatoire sur plusieurs secondes par faible lumière existe déjà chez … Huawei, dans le P20 Pro notamment. Et ses résultats sont excellents, grâce aux algorithmes mais également au capteur secondaire noir et blanc de 20 Mpix qui prend en charge le module de caméra principal de 40 Mpix. Pendant que l’un travaille sur la couleur, le second ramasse les détails et élimine le bruit numérique pour des prises de vues incroyablement nettes.

Si nous ne doutons pas de la qualité du travail des ingénieurs de Google, les Pixel 3 laissent cet état d'invalidité, car ils sont privés de béquille (le deuxième module de caméra Huawei). Et par leur capteur: si le Dual Pixel est un tueur en termes de mise au point automatique, le fait que la moitié de la surface de chaque photosite ne soit pas dédié à la collecte de lumière, mais que l’AF rend les images plus généralement plus bruissantes que celles produites par capteurs conventionnels CMOS. Essais hautement comparatifs.

AI et apprentissage automatique au service … selfies

La fiche technique photo Pixel 3 et 3 Plus n'est complète que si vous incluez les deux modules de caméra avant: l'un grand angle et l'autre ultra grand angle, comme nous l'avons vu au début de cet article. Alors que ces deux modules sont principalement utilisés pour prendre des selfies, le second module est plus spécifiquement dédié aux portraits de groupe, la grande couverture angulaire permettant d’amener davantage de personnes dans le champ de vision de l’appareil.

Toute l'intelligence de l'appareil – c'est l'intérêt du logiciel – est évidemment au service de ces modules en face et non seulement la simulation de l'arrière-plan flou mais également le mode Top Shot sont disponibles en mode selfie. Ou comment toutes ces années de recherche en analyse d'images, en apprentissage en profondeur et en autres intelligences artificielles réalisées par les ingénieurs de Google sont au service des autoportraits … Nous vous permettons de tirer vos propres conclusions …

Au lieu de jouer sur les modules de caméra, Google a profité de l'expertise de HTC pour développer, sur une base technique solide mais classique, une suite de logiciels capable de l'exploiter au mieux. Les tests diront si les résultats sont au niveau des promesses mais le pari est risqué du point de vue marketing … et technique.



Source link