Au lieu de répondre à une requête écrite, cette intelligence artificielle (IA) peut aller piocher directement dans les pensées d’un humain. Créé par des scientifiques japonais, ce programme est en effet capable de générer des images qui ressemblent à ce qu’une personne a vu, en analysant des scans de son cerveau.
L’idée a des allures de science-fiction. Pourtant, comme souvent dans le domaine scientifique, elle n’est pas tout à fait nouvelle. Plusieurs groupes de chercheurs sont déjà parvenus par le passé à créer des images générées à partir de scans cérébraux, pour accéder à nos pensées. Deux chercheurs de l’université d’Osaka, Shinji Nishimoto et Yu Takagi, se sont à leur tour lancés dans l’aventure. Leurs résultats sont pour le moment publiés sur arXiv, en attendant d’être revus par des pairs. Ils sont parvenus à créer un système plus simple que ce qui a été fait auparavant.
En effet, des réglages très fins portant sur des millions, voire des milliards de paramètres, étaient nécessaires pour obtenir un résultat. Cette fois-ci, il ne s’agit « que » de quelques milliers de paramètres. Le processus nécessite aussi du matériel coûteux et imposant. Autant dire que nous sommes tout de même encore loin de voir une telle technologie débarquer dans notre vie quotidienne.
Pour créer leur programme, les chercheurs ont choisi de bâtir par-dessus une IA existante : Stable Diffusion. Stable Diffusion est un générateur d’images à partir de requêtes textuelles, lancé par Stability AI en 2022. Les scientifiques y ont apporté des modifications qui permettent d’entrer des « requêtes » à partir de l’activité cérébrale plutôt qu’en passant par du texte. Pour comprendre comment ils parviennent à obtenir des résultats, il faut d’abord comprendre comment fonctionne l’intelligence artificielle, et plus précisément Stable Diffusion.
« L’intelligence artificielle », ou, plus exactement, les programmes d’apprentissage automatique, sont des programmes que l’on « nourrit » d’une grande quantité de données pour « apprendre » et extraire des connexions logiques en vue d’un objectif donné. Dans le cas de Stable Diffusion, ces données sont des images, et du texte associé, qui permettent au programme de faire le lien entre des visuels et des requêtes écrites. Les scientifiques ont donc dû travailler à offrir plutôt à l’IA des données cérébrales associées à des images, comme base d’entraînement.
Interpréter les signaux du cerveau pour créer des images
Évidemment, ce n’est pas le genre de base de données que l’on trouve à tous les coins de rue. Pour nourrir l’IA, les chercheurs ont donc utilisé les données de quatre personnes qui avaient déjà participé à une étude. Celle-ci utilisait l’imagerie par résonance magnétique fonctionnelle (IRMf) pour scanner leur cerveau pendant qu’elles regardaient 10 000 images distinctes de paysages, d’objets et de personnes. Les scientifiques ont établi un modèle qui leur a permis d’établir des liens entre les données IRMf d’une région du cerveau qui traite les signaux visuels, et les images que les gens regardaient à ce moment-là.