Un groupe d’anciens et actuels employés d’OpenAI a publié une lettre ouverte alertant une fois de plus sur les problèmes de sécurité liés à la technologie. Ils dénoncent une sous-estimation des risques et une précipitation imprudente dans la course à l’IA générale (IAG) de la part de l’entreprise. L’un d’eux estime qu’il y a environ 70 % de chances que l’IA nuise de manière catastrophique à l’humanité étant donné les négligences en matière de sécurité.
Alors que la technologie évolue à une vitesse fulgurante, l’IA fait l’objet de débats permanents sur les risques qu’elle pourrait engendrer sur la société. Promue pour bientôt égaliser voire dépasser la plupart des compétences humaines, de nombreux experts estiment qu’elle pourrait nuire à l’humanité de nombreuses manières.
Ces risques vont par exemple de la perte massive d’emplois à la perte de contrôle des systèmes d’IA autonomes, qui pourraient prendre des décisions hautement nuisibles, en passant par la manipulation de l’information ou la désinformation. Les entreprises d’IA elles-mêmes et les pionniers de la technologie, ainsi que d’autres experts, ont reconnu ces risques.
Cependant, malgré les avertissements, OpenAI semble avoir instauré une inquiétante culture de l’imprudence dans le processus de développement de ses outils. Un groupe de neuf ex- et actuels employés de l’entreprise a cosigné une lettre ouverte dénonçant ses pratiques douteuses en matière de sécurité. Parmi les signataires de la lettre figurent également un ancien et un actuel employé de Google DeepMind. Elle est en outre approuvée par trois pionniers de l’IA : Geoffrey Hinton, Yoshua Bengio et Stuart Russell.
Les membres du groupe affirment que bien que certaines normes de sécurité soient mises en place par l’entreprise, elles sont loin d’être suffisantes par rapport à l’ampleur des impacts potentiels. D’autre part, le groupe dénonce l’entreprise de prioriser les profits et la croissance avant la sécurité. Elle instaure aussi une politique stricte et restrictive pour ceux souhaitant soulever les problèmes de sécurité.
« OpenAI est vraiment enthousiasmé par la création de l’IAG et se précipite imprudemment pour être le premier », a déclaré au New York Times Daniel Kokotajlo, l’un des signataires et ancien chercheur de la division de gouvernance d’OpenAI. Ce dernier a démissionné en avril de cette année en affirmant avoir perdu confiance dans l’engagement de l’entreprise à se comporter de manière responsable vis-à-vis de la technologie. Ses années passées chez OpenAI lui ont permis notamment de découler sur un constat alarmant.
D’importantes négligences en matière de sécurité
Embauché chez OpenAI en 2022, Kokotajlo était chargé de prévoir les progrès de l’IA et ses impacts potentiels. Il a initialement estimé que l’IAG pourrait voir le jour d’ici 2050. Cependant, après avoir constaté la vitesse à laquelle la technologie évolue, il estime désormais qu’il y a 50 % de chances qu’elle soit disponible d’ici 2027, soit dans seulement 3 ans. Selon ses prévisions, il y aurait aussi 70 % de chances que cette version ultra avancée de l’IA nuise de manière catastrophique à l’humanité (une statistique surnommée « p(doom) »), étant donné les lacunes en matière de sécurité.
Bien que l’entreprise ait mis en place un protocole de sécurité, il serait soit insuffisant, soit non appliqué à la lettre. En 2022, Microsoft a par exemple testé discrètement en Inde une nouvelle version de son moteur de recherche Bing, qui était alimentée avec une version alors inédite de GPT-4. Selon Kokotatjlo, cet essai a été effectué alors que cette dernière n’avait pas encore obtenu l’approbation du comité de sécurité. Microsoft a confirmé ces allégations après les avoir initialement démenties.
Pourtant, après avoir fait part de ses inquiétudes à Sam Altman lui-même, le PDG d’OpenAI, l’entreprise n’aurait pas beaucoup avancé en matière de protocoles de sécurité et de transparence. En effet, d’après la lettre ouverte qu’il a cosignée, « les sociétés d’IA possèdent d’importantes informations non publiques sur les capacités et les limites de leurs systèmes, l’adéquation de leurs mesures de protection et les niveaux de risque de différents types de dommages. Cependant, ils n’ont actuellement que de faibles obligations de partager certaines de ces informations avec les gouvernements, et aucune avec la société civile ».
Perdant l’espoir d’être entendu, il a finalement quitté son poste. À mesure que les systèmes d’IA progressent vers l’intelligence de niveau humain, « le monde n’est pas prêt, et nous ne sommes pas prêts. Et je crains que nous n’avancions sans réfléchir et que nous ne rationalisions nos actions », a-t-il écrit dans un email partagé par le New York Times.
De (très) stricts accords de confidentialité imposés aux employés
À noter que l’entreprise fait également signer un accord de non-dénigrement aux employés en partance, sous peine de perdre leurs capitaux acquis. Cet accord consiste entre autres à ne pas divulguer d’informations négatives sur l’entreprise. Kokotajlo a quitté l’entreprise en prenant le risque de perdre des capitaux accumulés d’environ 1,7 million de dollars.
« De larges accords de confidentialité nous empêchent d’exprimer nos préoccupations, sauf auprès des entreprises mêmes qui ne parviennent pas à résoudre ces problèmes », a écrit le groupe dans la lettre ouverte. Toutefois, OpenAI a récemment démenti cette allégation et a affirmé n’avoir jamais récupéré les capitaux d’anciens employés, ni d’envisager de le faire… L’entreprise a également déclaré qu’elle supprimerait les clauses de non-dénigrement.
Dans sa lettre, le groupe d’employés et d’ex-employés appelle à une politique plus ouverte de la part de l’entreprise, ainsi qu’à davantage d’engagement en matière de sécurité et de responsabilité par rapport à la technologie. Suite à la publication de la demande, OpenAI a publié une récente mise à jour dans ce sens. « Nous convenons qu’un débat rigoureux est crucial étant donné l’importance de cette technologie et nous continuerons à collaborer avec les gouvernements, la société civile et d’autres communautés à travers le monde », ont conclu les responsables dans le communiqué.