Des employés anciens et actuels de la Food and Drug Administration (FDA) américaine tirent la sonnette d’alarme concernant le fait qu’Elsa, le nouveau système d’IA utilisé par l’agence, « hallucine » des études scientifiques inexistantes ou déformées. Alors que l’outil a été intégré dans le but d’accélérer les processus d’approbation des médicaments, cette défaillance pourrait conduire à l’arrivée sur le marché de composés potentiellement dangereux.
La FDA et le Département de la santé et des services sociaux (HHS) aux États-Unis ont dévoilé, il y a quelques semaines, Elsa, un nouvel outil d’IA conçu pour accélérer les processus d’approbation des médicaments et de dispositifs ou de procédés médicaux. Il est déployé dans le but de rationaliser le travail des responsables des agences, de sorte à réduire les dépenses publiques inutiles.
Les responsables de la FDA ont affirmé que l’outil contribue à accélérer l’examen des protocoles des essais cliniques et réduit le temps nécessaire aux évaluations scientifiques en identifiant les cibles d’inspections prioritaires. « Aujourd’hui marque le début de l’ère de l’IA à la FDA avec la sortie d’Elsa. L’IA n’est plus une promesse lointaine, mais une force dynamique qui améliore et optimise les performances et le potentiel de chaque employé », a déclaré Jeremy Walsh, directeur de l’IA à la FDA, dans un communiqué en juin.
Robert Kennedy Jr., le secrétaire à la Santé et aux Services sociaux et célèbre anti-vaccin, a même vanté les mérites de l’adoption de l’outil auprès du Congrès américain. « Nous utilisons déjà cette technologie au HHS pour gérer les données de santé, de manière parfaitement sécurisée, et pour accélérer les approbations de médicaments », a-t-il déclaré, tout en affirmant que « la révolution de l’IA est arrivée ».
Cependant, six anciens et actuels responsables de l’agence ont déclaré à CNN, sous couvert de l’anonymat par crainte de représailles, qu’Elsa présentait de graves défaillances qui pourraient être préjudiciables pour les processus d’approbation. Cela soulève de sérieuses questions quant à la fiabilité de l’outil et sur les médicaments qui arriveront sur le marché dans les années à venir.
« Tout ce qu’on n’a pas le temps de vérifier n’est pas fiable … »
L’architecture d’Elsa est basée sur un modèle d’IA précédent sur lequel la FDA avait commencé à travailler au cours du mandat de Joe Biden. Elle est conçue pour permettre aux régulateurs d’accéder à des documents internes sécurisés et de réduire leurs temps de consultation en fournissant un résumé rapide des effets secondaires et en extrayant des informations sur les composés associés.
Cependant, bien que l’outil soit utile pour générer des notes, des résumés de réunions ou des e-mails, il a, selon les sources interrogées par CNN, inventé des études inexistantes ou déformé des travaux. L’IA hallucinerait même avec assurance, la rendant peu fiable pour les processus d’évaluations les plus critiques. « Tout ce qu’on n’a pas le temps de vérifier n’est pas fiable », a déclaré l’un des employés.
Et lorsque l’erreur est signalée, l’IA se contenterait juste de s’excuser tout en affirmant que les résultats nécessitent une vérification. « L’IA est censée nous faire gagner du temps, mais je vous garantis que je perds beaucoup de temps supplémentaire simplement à cause de la vigilance accrue que je dois avoir [pour vérifier les études fausses ou déformées] », a ajouté un autre employé.
En outre, d’après les responsables, Elsa ne dispose pour le moment pas des capacités nécessaires aux travaux d’évaluation des médicaments et des dispositifs médicaux. Elle ne peut en effet pas accéder à de nombreux documents essentiels à ces processus, tels que les soumissions des industries. En conséquence, elle est incapable de répondre à des questions simples comme le nombre de fois où l’entreprise a déposé une demande d’approbation auprès de la FDA.
En réponse à ces affirmations, un porte-parole du ministère de la santé et des services sociaux a déclaré que les informations fournies à CNN ont été déformées et sorties de leur contexte et que le journal aurait délibérément fait référence à d’anciens employés ou à des sources qui n’ont jamais utilisé la version à jour d’Elsa.
Néanmoins, Walsh a indiqué au journal qu’il est tout de même possible que l’outil hallucine et que les employés étaient libres de ne pas l’utiliser s’ils n’y voyaient pas d’avantage. Il a en outre affirmé que les hallucinations de l’IA pouvaient être atténuées à l’aide de questions plus détaillées …