Des ingénieurs de Netflix ont développé une méthode pour optimiser la qualité la prise d’image sur fond vert, appelée « incrustation fond vert ». Leur système exploite l’intelligence artificielle en combinaison avec une utilisation stratégiqueme de sources lumineuses bleues et rouges (résultant en un mélange magenta).
Dans l’univers cinématographique, l’écran vert, également connu sous le nom de fond vert ou chroma key, joue un rôle essentiel en permettant aux réalisateurs de créer des scènes époustouflantes et d’intégrer les acteurs dans des mondes virtuels captivants. Cependant, cette technique n’est pas sans ses défis, notamment quand les sujets filmés portent des couleurs vertes ou des éléments transparents. La résolution de ces problèmes exige parfois de nombreuses heures de travail manuel de la part des professionnels de l’édition. C’est ici qu’intervient l’avancée des ingénieurs de Netflix.
Ces derniers ont mis au point une technologie novatrice appelée Magenta Green Screen (MGS), qui promet de faciliter considérablement le processus de prise d’image sur écran vert, réduisant drastiquement les délais de traitement post-production et améliorant la qualité des images. Cette avancée pourrait bénéficier à l’industrie cinématographique et télévisuelle, permettant aux monteurs de se concentrer davantage sur leur créativité plutôt que sur les tâches fastidieuses de retouche.
Séparer l’arrière-plan et le premier plan
Dans cette technique, les chercheurs travaillent dans un premier temps sur la séparation de l’arrière-plan et du premier plan. Pour cela, les acteurs sont positionnés devant un fond composé de LED vertes. Ils sont ensuite éclairés de face par des LED rouges et bleues, dont la combinaison crée une lueur magenta essentielle pour la suite du processus.
Pour mieux comprendre le fonctionnement de cette méthode, il est nécessaire de se pencher sur le capteur d’une caméra numérique utilisée lors du tournage. Le capteur est constitué de millions de pixels, chaque pixel étant composé de trois canaux : rouge (R), vert (V), et bleu (B). Chaque canal de couleur est représenté par un nombre entier compris entre 0 et 255, où 0 représente l’absence d’intensité et 255 l’intensité maximale. Par exemple, pour la couleur rouge, le pixel aura la configuration suivante : 255 (R), 0 (V), 0 (B).
Dans la technique développée par Netflix, ces caractéristiques sont exploitées pour créer un canal vert dédié à l’arrière-plan. Ce canal vert enregistre uniquement le fond composé de LED vertes. Parallèlement, les canaux rouge et bleu enregistrent uniquement le premier plan, qui prend alors une apparence magenta.
Grâce à cette séparation précise entre l’arrière-plan et le premier plan, le canal vert peut être remplacé en temps réel par un nouveau fond. Cette technique se révèle efficace même dans les cas les plus délicats, tels que lorsque les acteurs portent des vêtements comportant du vert ou tiennent des bouteilles transparentes par exemple, comme dans la vidéo de démonstration publiée par l’équipe.
Un modèle d’IA dans le processus
Rappelons qu’à ce stade, le premier plan est encore sous éclairage magenta. Afin d’enlever cette teinte, l’équipe utilise un modèle d’IA qui s’appuie sur une photographie du premier plan lorsqu’il est éclairé par une lumière blanche. Cette référence photographique permet au modèle d’apprentissage automatique de réaliser une reconstruction réaliste, rétablissant ainsi la gamme complète de couleurs du premier plan. Cette étape permet d’obtenir un rendu visuel plus naturel et cohérent avec le reste de la scène.
Cependant, il est important de noter que cette partie du processus n’est pas encore réalisée en temps réel. Bien que le système d’IA impliqué soit rapide, le processus nécessite un certain temps de traitement supplémentaire.
Démonstration de la méthode d’incrustation sur fond vert avec lumière magenta (YouTube/New Scientist) :