Deux étudiants de Harvard ont implanté un ensemble de logiciels avancés de reconnaissance d’individus dans une paire de lunettes intelligentes Ray-Ban de Meta. La technologie permet d’identifier instantanément des inconnus en récupérant — à partir d’une photo de leur visage — des informations allant du nom et prénom au numéro de téléphone, en passant par l’adresse de leur domicile et même des informations personnelles telles que les membres de leur famille (en résumé, tout ce que l’on peut trouver sur internet). Le projet a été effectué dans un objectif de sensibilisation quant au danger que peut représenter ce type de technologie pour la vie privée.
Les chercheurs mettent en garde depuis des années contre les outils de reconnaissance faciale, notamment en raison de leur capacité à divulguer des informations privées, qui pourraient être utilisées à mauvais escient. Il y a quelques années, Facebook et Google ont par exemple développé des technologies de reconnaissance faciale à partir de flux de vidéo. Cependant, elles n’ont finalement pas été lancées en raison des risques qu’elles pourraient représenter pour la vie privée.
Néanmoins, malgré les risques, certaines entreprises semblent vouloir exploiter ce type de technologie à tout prix. Clearview AI a par exemple lancé un puissant outil de reconnaissance faciale utilisant des milliards d’images récupérées sur les réseaux sociaux. Le produit a été principalement vendu aux forces de l’ordre aux États-Unis. L’entreprise explorerait également un moyen d’intégrer sa technologie à des paires de lunettes intelligentes et aurait déjà signé un contrat avec l’armée de l’air américaine pour une étude dans ce sens.
De leur côté, AnhPhu Nguyen et Caine Ardayfio, deux étudiants de l’Université Harvard, ont montré que la reconnaissance faciale peut être facilement intégrée à des lunettes intelligentes « standard ». Selon Nguyen, « la motivation principale était l’intérêt technique et le défi. Nous nous disions simplement que ça serait ‘cool’ ». Cependant, ils se sont rapidement rendu compte que cela pourrait mettre en danger la vie privée des gens en servant potentiellement d’outil de harcèlement.
Un individu mal intentionné pourrait par exemple accéder à l’adresse d’une personne en la croisant tout simplement dans la rue et la suivre jusqu’à chez elle. En vue des risques, le duo a finalement décidé de faire du projet un outil de sensibilisation contre les dangers de ce type de technologie.
Des données personnelles divulguées en quelques secondes
Baptisé « I-XRAY », le projet de Nguyen et Ardayfio consiste à utiliser la caméra intégrée aux lunettes intelligentes Ray-Ban 2 de Meta (disponibles dans le commerce depuis 2023). Ces dernières ont été choisies parce qu’elles sont presque impossibles à distinguer des Ray-Ban ordinaires. En étant dirigée face à une personne croisée au hasard, la caméra capture une image de son visage. « Notez que n’importe quelle caméra cachée aurait le même effet. [Même] si les lunettes intelligentes n’existaient pas, I-XRAY serait tout aussi dangereux », indique le duo dans un document publié sur Google.
L’image obtenue est ensuite traitée par un logiciel de reconnaissance faciale appelé Pimeyes (lancé en 2017) et qui, contrairement à Clearview, est accessible au public. Il compare l’image capturée avec des millions de visages publiquement disponibles sur internet (recherche d’image inversée), puis renvoie les URL de celles qui correspondent le plus. Il a d’ailleurs déjà été utilisé pour identifier des harceleurs et des émeutiers du Capitole. Lors d’essais sur un large éventail de personnes, les deux étudiants ont constaté que le logiciel était incroyablement précis dans la recherche de correspondances.
Les URL ainsi obtenues fournissent diverses informations, par exemple issues d’archives d’annuaires, de sites web des employeurs ou de clubs sportifs locaux auxquels les personnes pourraient être liées. I-XRAY récupère et analyse ces URL et utilise un grand modèle de langage disponible depuis 2022 pour déduire le nom et le prénom de la personne, son emploi ainsi que d’autres informations personnelles. FastPeopleSearch, un outil de stockage de données en ligne couramment utilisé par les commerciaux depuis 2017, est ensuite utilisé pour rechercher les adresses personnelles, les numéros de téléphone, l’âge et même les noms des parents inscrits dans les dossiers publics.
« Il regroupe en profils des données pouvant faire l’objet de recherches, ce qui soulève des préoccupations quant à la protection de la vie privée, en raison de la facilité avec laquelle les renseignements sensibles peuvent être consultés », estiment les chercheurs. Un autre outil appelé Cloaked.com (sorti en 2023) permet en outre de retrouver partiellement les numéros de sécurité sociale à partir des numéros de téléphone. Ces informations sont ensuite transférées sur le téléphone de l’utilisateur des lunettes intelligentes pour consultation, en seulement quelques secondes.
Utilisation d’outils publiquement disponibles
La vidéo de démonstration publiée par les chercheurs montre comment la technologie I-XRAY a permis d’identifier n’importe quelle personne au hasard dans le métro de Boston. Ils ont ensuite montré comment les informations obtenues pourraient être utilisées pour aborder cette personne sans que celle-ci ne puisse se méfier en cas de mauvaise intention. Pour ce faire, Ardayfio a par exemple approché une femme en affirmant qu’ils se sont rencontrés par l’intermédiaire d’une fondation particulière, dont il a obtenu les informations par le biais de l’I-XRAY.
« Dans notre vidéo, nous avons volontairement ajouté des réactions que nous avons reçues de personnes au hasard dans le métro de Boston, faisant comme si nous les connaissions », explique Nguyen. Avec son collègue, ce dernier affirme avoir pu identifier des dizaines de personnes au hasard à leur insu. Cependant, les informations n’étaient pas exactes pour certaines et les noms fournis étaient incorrects.
D’autre part, Nguyen et Ardayfio prévoient de ne pas publier le programme ayant permis de développer la technologie afin d’éviter tout risque d’utilisation malveillante. Toutefois, ils démontrent qu’il est tout à fait possible d’utiliser des outils publiquement disponibles à cette fin, que ce soit le logiciel de reconnaissance ou les outils en ligne de recherche d’adresse personnelle. Heureusement, leur document fournit un guide permettant de supprimer ces informations personnelles des bases de données de Pimeyes et de FastPeopleSearch.
Vidéo de démonstration de l’I-XRAY :
Are we ready for a world where our data is exposed at a glance? @CaineArdayfio and I offer an answer to protect yourself here:https://t.co/LhxModhDpk pic.twitter.com/Oo35TxBNtD
— AnhPhu Nguyen (@AnhPhuNguyen1) September 30, 2024