La Defense Advanced Research Projects Agency (DARPA) des États-Unis a lancé un nouveau programme pour établir des critères de référence éthiques concernant les armes autonomes ou basées sur l’IA. Le programme tentera notamment de répondre à la question épineuse de savoir si les systèmes autonomes sont aptes à se conformer aux normes éthiques humaines. Les observateurs s’inquiètent cependant de la cohérence de cet objectif en raison des nombreuses subtilités liées aux concepts éthiques humains et à la manière dont les systèmes autonomes pourraient les interpréter.
La DARPA est l’agence du département de la Défense des États-Unis chargée de la recherche et du développement de nouvelles technologies à usage militaire. Elle est à l’origine du développement de nombreuses technologies qui ont eu des impacts considérables dans le monde entier, tels que le GPS, les premiers réseaux informatiques et les interfaces graphiques. Elle est également impliquée dans le développement de nombreuses technologies d’espionnage et organise régulièrement des compétitions inter-entreprises pour le développement de nouvelles technologies militaires.
Actuellement, l’agence, basée en Virginie, fonctionne principalement comme une organisation de subvention, employant environ 100 responsables de programme à temps plein. Avec l’essor des technologies autonomes, des préoccupations ont émergé quant à leur capacité à se conformer aux normes éthiques humaines, en particulier dans les cas d’utilisation dans les conflits armés.
Pour répondre à ces préoccupations, l’agence a lancé le programme ASIMOV (« Autonomy Standards and Ideals with Military Operational Values »), dont les principaux objectifs s’alignent sur ceux du célèbre écrivain éponyme. Plus précisément, il vise « à développer des critères de référence pour mesurer objectivement et quantitativement la difficulté éthique des futurs cas d’utilisation des systèmes autonomes et leur capacité à fonctionner dans le contexte des valeurs opérationnelles militaires », expliquent dans un communiqué les responsables du programme.
« Le développement rapide et l’omniprésence imminente des technologies d’autonomie et d’IA dans les applications civiles et militaires nécessitent un cadre quantitatif robuste pour mesurer et évaluer non seulement la capacité technique, mais, peut-être plus important encore, la capacité éthique des systèmes autonomes à suivre les attentes humaines », ont-ils ajouté.
Un programme inspiré des « Trois lois de la robotique » d’Isaac Asimov
Isaac Asimov (connu pour ses livres de science-fiction et de vulgarisation scientifique) exprimait ses préoccupations quant aux impacts imprévus des technologies avancées dans ses romans. Il est célèbre pour avoir imaginé les « Trois lois de la robotique », qui stipulent que :
- Un robot ne peut pas blesser un être humain ni, par son inaction, permettre qu’un être humain soit blessé.
- Un robot doit obéir aux ordres qui lui sont donnés par des êtres humains, sauf si ces ordres entrent en conflit avec la première loi.
- Un robot doit protéger son existence dans la mesure où cette protection n’entre pas en contradiction avec la première ou la deuxième loi.
Ses romans explorent en grande partie les limites de ces lois ainsi que les conséquences de leur non-respect sur la civilisation humaine. Le programme ASIMOV, tout en s’inspirant de ces principes, cherche à établir des règles adaptées aux technologies militaires. Sept groupes spécialisés en matière d’éthique et de technologies d’armement devront explorer plusieurs cadres théoriques et développer des environnements de modélisation pour explorer la variabilité des scénarios et les difficultés potentielles. « ASIMOV vise à établir les bases pour définir la référence avec laquelle les futurs systèmes autonomes pourront être évalués », explique la DARPA.
Le système de référence sera basé sur les principes d’éthique sur l’IA établis par le ministère de la Défense pour évaluer les technologies en développement sur leur conformité, leur équité, leur traçabilité, leur fiabilité et leur contrôlabilité. La DARPA a attribué un budget initial de 5 millions de dollars au programme et accordera cette année 22 millions de dollars supplémentaires.
Parmi les sept entreprises sélectionnées par la DARPA figurent Raytheon et Lockheed Martin, des sociétés spécialisées dans les technologies de défense et aéronautiques. Cependant, l’agence a précisé que le programme ASIMOV ne vise pas à produire des armes ni à développer de nouvelles technologies autonomes ou des algorithmes dédiés à ces dernières. Il ne vise pas non plus à établir des normes pour tous les systèmes autonomes, mais se concentre uniquement sur ceux à usage militaire.
Des difficultés liées à la variabilité de l’éthique humaine
Cependant, malgré l’effort de réglementation, les concepts éthiques humains contiennent de nombreuses variabilités qui seraient difficiles à appliquer aux technologies autonomes. Les normes de comportement moral peuvent varier considérablement d’un individu à l’autre ou d’une société à l’autre. « On peut utiliser l’IA de manière itérative, pour répéter quelque chose encore et encore, des milliards de fois », explique Peter Asaro, professeur au New School et vice-président du Comité international pour le contrôle des armes robotisées, au New Republic. « L’éthique ne fonctionne pas tout à fait de cette façon. Elle n’est pas quantitative… On développe son caractère moral au fil de sa vie en prenant parfois de mauvaises décisions, en en tirant les leçons et en prenant de meilleures décisions par la suite ».
Cela amène à la question de savoir quelles normes seront choisies par le programme ASIMOV et comment les systèmes autonomes pourraient gérer ces subtilités lorsqu’ils sont déployés sur le terrain et confrontés à des situations imprévues. En outre, s’il était possible de donner une forme de conscience à ces systèmes, ne finiraient-ils pas par désobéir aux ordres ?
Les responsables du programme admettent eux-mêmes que la définition de telles normes sera extrêmement difficile. « Nous sommes conscients de la complexité du problème et savons que toutes les questions ne seront pas résolues dans les premières étapes du programme. Cependant, les enjeux sont suffisamment importants pour justifier cet effort », indique TJ Klausutis, l’un des responsables. « Nous n’atteindrons peut-être pas tous les objectifs du programme, mais nous pensons qu’ASIMOV permettra à la communauté de progresser vers un consensus et d’établir des repères essentiels », conclut-il.