Alors que le Pentagone se relève à peine du récent scandale sur les défaillances liées à l’utilisation de l’IA lors du bombardement d’une école en Iran, il vient d’être rapporté que des hallucinations d’IA ont failli déclencher par erreur une attaque armée contre un navire chinois. Le chatbot utilisé par les services de renseignement aurait généré de fausses informations qu’un analyste humain a omis de vérifier rigoureusement avant de les diffuser au sein des instances de commandement. L’opération a finalement été annulée à la dernière minute, évitant de justesse une possible confrontation directe avec la Chine.
L’armée américaine s’efforce depuis quelques années d’intégrer l’IA dans presque tous les aspects de son travail, allant notamment de l’analyse des données de renseignement brutes à l’identification de cibles de frappe militaire, en passant par la gestion logistique et des chaînes d’approvisionnement.
L’IA offre notamment un avantage notable en permettant de traiter rapidement les grands volumes de données et en accélérant la prise de décision afin de permettre aux centres de commandement à réagir plus rapidement. Cependant, cette même rapidité peut aussi favoriser la propagation d’informations erronées lorsqu’elles ne font pas l’objet d’une vérification humaine suffisante, les modèles d’IA ayant encore tendance à produire des hallucinations.
« Il est important que les militaires comprennent l’incertitude inhérente aux modèles de décision à long terme », explique Jake Steckler, chercheur à GovAI et ancien officier de l’armée américaine, à TechCrunch. « Mais c’est particulièrement crucial pour toute décision pouvant entraîner le recours à la force, comme le ciblage, l’analyse du renseignement ou la planification opérationnelle. Ces décisions peuvent avoir des conséquences vitales. »
Un incident récent illustre les risques liés à l’utilisation de l’IA dans les opérations militaires. En février dernier, deux missiles Tomahawk ont frappé l’école primaire Shajarah Tayyebeh, dans la ville de Minab, au sud de l’Iran, le premier jour du conflit entre les États-Unis et l’Iran.
Les bombardements ont fait plus de 150 morts, dont au moins 123 enfants. Le Pentagone a attribué cette frappe à une série de défaillances évitables liées à une dépendance excessive à l’IA, ainsi qu’à des données de ciblage obsolètes, selon un rapport de Bloomberg.
Une frappe annulée de justesse
Des hallucinations d’IA ont également failli déclencher une frappe contre un navire chinois, qui a été annulée à la dernière minute, selon CNN. Des rapports diffusés par les services de renseignement américains avaient indiqué que le navire en question, qui naviguait au Moyen-Orient, transportait des éléments d’un programme d’armement nucléaire.
Les rapports provenaient d’un analyste du Commandement des opérations spéciales qui avait apparemment demandé à un chatbot d’IA de combiner des données de sources ouvertes avec des renseignements électromagnétiques classifiés. Le chatbot a manifestement mal identifié le chargement du navire et l’analyste a ensuite utilisé l’outil une seconde fois pour présenter les résultats erronés sous forme de résumé d’apparence officielle, lequel a été diffusé au sein des instances de commandement.
En recevant les rapports, les forces américaines ont immédiatement réagi en planifiant une opération pour intercepter le navire, selon des sources proches du dossier interrogées par CNN. Des militaires américains armés se préparaient déjà à aborder le navire et des avions militaires étaient en vol en direction de la cible.
Ce n’est que la veille de l’opération que les responsables ont décidé d’examiner plus en détail le rapport, découvert qu’il avait été généré par IA et que le chatbot avait mal identifié la nature du chargement du navire.
On ignore si le chatbot d’IA utilisé était un produit commercial ou un outil fourni par le gouvernement, mais « les outils internes ne sont pour la plupart que des copies relookées des logiciels commerciaux », a déclaré un ancien haut responsable américain bien informé sur les systèmes d’IA utilisés par les analystes militaires et le renseignement à CNN.
Cet incident met en lumière les effets de l’utilisation de l’IA dans les opérations critiques. Les avantages opérationnels offerts par la technologie font également que les militaires ont tendance à trop s’appuyer sur elle et à en dépendre. En particulier, les chercheurs et les observateurs s’inquiètent de plus en plus d’une perte de contrôle à mesure que les systèmes d’IA gagnent en autonomie.
Steckler estime que plutôt que de supprimer la technologie des chaînes de décision militaires, ce type d’incident devrait inciter à renforcer davantage la sécurité de l’IA. « Ces outils peuvent s’avérer utiles dans certains contextes et avec les mesures de sécurité adéquates », a-t-il déclaré. « Mais privilégier la rapidité d’adoption à tout prix risque d’entraîner des incidents qui ne feront qu’éroder la confiance des militaires envers ces systèmes, ce qui, au final, ne fera que ralentir leur adoption. »
