Nous vous avons présenté récemment une nouvelle intelligence artificielle conçue pour générer un visage photoréaliste à partir d’un simple croquis. Cette fois-ci, des informaticiens de l’Université Duke présentent un algorithme capable de reconstituer un visage à partir d’une photo très pixelisée. Le programme peut même ajouter des détails (pilosité, rides…) qui ne se trouvent pas forcément sur l’original.
Attention : rien à voir avec des techniques d’amélioration d’images dignes des Experts ou autres séries policières. Il ne s’agit pas ici de retrouver la personne qui se cache derrière une image trop floue issue d’une caméra de surveillance : les visages qui sont générés par l’IA ne sont pas réels et toute ressemblance avec des personnes existantes ou ayant existé serait purement fortuite.
Des photos 64 fois plus nettes !
Cette technologie, baptisée PULSE (Photo Upsampling via Latent Space Exploration), peut produire des photos à une résolution jusqu’à 64 fois supérieure à celle des images sources. Ce qui représente tout de même un niveau de détail 8 fois plus important que les méthodes développées précédemment. « Jamais des images n’avaient été créées à cette résolution avec autant de détails », souligne l’informaticienne Cynthia Rudin, à la tête du projet.
Comment procède le programme ? Il ne se contente pas de partir de l’image basse résolution pour y ajouter peu à peu des détails, comme le font les méthodes traditionnelles. En réalité, PULSE procède « à l’envers » : il génère des photos haute résolution susceptibles de ressembler à l’original fourni en entrée lorsqu’elles sont pixelisées. « Il accomplit cela d’une manière entièrement autosupervisée et n’est pas limité par un opérateur de dégradation spécifique utilisé pendant la formation », explique l’équipe du projet. C’est ce qui le différencie des méthodes précédentes, qui nécessitent une formation sur des bases de données de paires d’images basse résolution-haute résolution (dans le cadre d’un apprentissage supervisé).
Le programme finit par sélectionner le portrait qui présente la plus forte ressemblance. Au final, une grille de 16×16 pixels est convertie en une image 1024×1024 en quelques secondes, via l’ajout de plus d’un million de pixels !
PULSE repose sur un réseau antagoniste génératif (GAN) ; rappelons que ce type de réseau met en compétition deux réseaux de neurones, l’un générateur, l’autre discriminateur. Ici, le premier génère un visage, le second décide s’il est suffisamment réaliste ; le premier s’améliore avec l’expérience, jusqu’à ce que le second réseau ne puisse pas faire la différence.
C’est pourquoi cet algorithme s’avère si efficace : il recherche toute image susceptible de correspondre à la source, et non pas l’unique image qui lui correspond exactement. Il teste ainsi une série d’images potentielles, en parcourant l’« espace latent », d’où son nom. Cette méthode permet d’obtenir des images de qualité, sans aucune zone floue – un défaut que l’on observe souvent, notamment dans les régions très détaillées et/ou texturées (les cheveux, la peau), via d’autres techniques reposant sur des algorithmes d’apprentissage supervisé.
Une image floue, plusieurs possibilités
Notez que de par ce mode de fonctionnement, PULSE peut générer plusieurs visages réalistes et différents à partir d’une même image en basse résolution. Même avec des photos pixelisées où les yeux et la bouche sont à peine reconnaissables, l’algorithme « parvient toujours à faire quelque chose, ce que les approches traditionnelles ne peuvent pas faire », a déclaré Alex Damian, co-auteur du programme.
L’équipe a souhaité comparer les performances de son programme avec quatre autres méthodes d’augmentation de résolution (méthode des k plus proches voisins, bicubic, FSRNet, FSRGAN). Ils ont ainsi demandé à une quarantaine de personnes d’évaluer, sur une échelle de 1 à 5, 240 images d’une résolution de 128×128, générées par PULSE et ces différentes techniques : leur algorithme a réalisé les plus gros scores.
Les GAN sont de plus en plus performants dans le domaine de la génération d’images photoréalistes. Et les résultats sont parfois effrayants de crédibilité. Il y a un peu plus d’un an, Nvidia dévoilait lui aussi un programme capable de générer des visages humains incroyablement réalistes, mais qui n’existent pas pour de vrai ; il fonctionne toutefois différemment de PULSE, car il crée des portraits à partir d’une base de données de « vraies » photos, qu’il mixe pour générer un nouveau visage.
Sur le même sujet : Une intelligence artificielle peut prédire à quoi vous ressemblerez dans quelques décennies
Si l’on ne peut pas s’en servir pour inverser le flou d’une vraie photo, à quoi peut bien servir un programme comme PULSE me demanderez-vous ? Eh bien ses concepteurs déclarent que le même principe pourrait être appliqué pour créer en masse des photos d’objets ou de paysages. Ainsi, ce type de logiciel trouverait tout son intérêt en imagerie satellite, en astronomie, en microscopie, ou même en médecine, à des fins de recherche ou de formation par exemple.