Est-ce possible de déjouer un système de reconnaissance faciale en appliquant des changements subtils (avec du maquillage par exemple) à un visage ? La réponse est oui ! Des chercheurs israéliens ont développé une IA suggérant où appliquer du maquillage pour déjouer un algorithme de reconnaissance faciale standard.
Comme vous le savez probablement, les logiciels de reconnaissance faciale sont utilisés dans les smartphones et autres technologies similaires, mais aussi par la police, notamment par le biais de systèmes de surveillance publics. C’est pourquoi il a été intéressant pour une équipe de chercheurs de déterminer s’il était possible de tromper un tel système avec des changements subtils, sans éveiller les soupçons.
Nitzan Guetta, de l’université Ben-Gurion du Néguev en Israël, et ses collègues, ont mis au point un logiciel d’IA capable de suggérer où appliquer du maquillage pour tromper les systèmes de reconnaissance faciale. Leurs résultats montrent que le système de reconnaissance testé était incapable de reconnaitre un visage maquillé selon les instructions de leur IA.
98,8% de réussite
Mis à l’essai « contre » une technologie de reconnaissance faciale réelle, le maquillage appliqué selon les recommandations du logiciel a pu tromper le système dans 98,8% des cas. Pour l’ensemble des personnes, le logiciel de reconnaissance faciale a réussi à identifier une personne dans 47,6% des cas, mais ce taux est tombé à 1,2% avec le maquillage.
L’IA est construite à l’aide d’un système d’apprentissage automatique contradictoire, qui oppose deux algorithmes — l’un conçu pour trouver des solutions à un problème, l’autre pour identifier les failles des solutions potentielles.
Le système contradictoire tente d’inverser l’ingénierie des modèles de reconnaissance faciale en observant les éléments du visage d’une personne que les modèles considèrent comme uniques. Les résultats, présentés sous forme de carte thermique sur l’image du visage d’une personne, mettent en évidence les zones qui, selon les systèmes de reconnaissance faciale, identifient le mieux un individu.
Cette carte thermique numérique est ensuite utilisée pour créer une projection de maquillage numérique qui peut être utilisée pour appliquer du maquillage sur ces zones spécifiques, afin de modifier la forme perçue du visage.
La prochaine « mode » de protection de la vie privée
Testé sur 10 hommes et 10 femmes âgés de 20 à 28 ans, le maquillage a fait chuter le taux de réussite de la reconnaissance du visage de 42,6% à 0,9% chez les femmes et de 52,5% à 1,5% chez les hommes. Selon Mariann Hardey, de l’université de Durham (Royaume-Uni), ce qui rend le système si performant, c’est qu’il ne repose pas sur des palettes de couleurs criardes. Au lieu de cela, le système contradictoire se limite à utiliser les teintes naturelles du maquillage.
Et ça fait toute la différence, car cela permet d’éviter d’être reconnu tout en évitant d’attirer l’attention. « Le contouring du visage pourrait devenir plus qu’une tendance TikTok, et ce type de maquillage pourrait devenir la prochaine ‘vague’ pour protéger sa vie privée en public contre les systèmes de reconnaissance faciale automatique », explique Hardey.