Trois jours à peine après son lancement officiel, un rapport révèle déjà que le chatbot d’Amazon Q — la nouvelle plateforme d’IA d’Amazon — génère de graves hallucinations. En outre, bien que conçu pour être à l’avant-garde de la sécurisation des informations par rapport aux autres assistants IA, l’outil aurait déjà divulgué des informations confidentielles, notamment concernant les emplacements des centres de données d’Amazon Web Services (AWS) ainsi que sur des fonctionnalités inédites.
Amazon Q (à ne pas confondre avec Q* d’OpenAI) est présenté comme un assistant multitâche destiné aux entreprises. La plateforme fournit des solutions et des conseils éclairés, par exemple en générant du contenu, en analysant des données et en automatisant différents process. Dans un premier temps, il est d’abord capable de répondre aux questions des développeurs d’AWS, de modifier les codes sources et de les citer.
Afin de répondre aux besoins des entreprises, l’outil peut également offrir une importante polyvalence en étant synchronisé avec différents outils et services tels que Salesforce, Jira, Zendesk, Gmail et Amazon S3. Il peut aussi être personnalisé en fonction de ses interactions avec chaque utilisateur.
Le principal élément qui la distingue des plateformes concurrentes est la possibilité de limiter les sources d’information uniquement aux documents internes à une entreprise. En évitant de s’appuyer sur des données généralisées, Q permet de générer des réponses précises et pertinentes, une fonctionnalité censée permettre d’éviter les hallucinations.
Dans cette vision, AWS a donc présenté l’outil comme étant plus sécurisé que les chatbots grand public tels que ChatGPT, ce qui répondrait aux exigences strictes de ses entreprises clientes. Il aurait d’ailleurs été développé en réponse aux problèmes de sécurité et de confidentialité relevés avec d’autres outils d’IA. Cependant, Amazon semble avoir surestimé les capacités de son outil, car à peine trois jours après son lancement, de graves hallucinations et des réponses inappropriées ont déjà été relevées en masse, selon une enquête de Platformer.
Des erreurs suffisamment graves pour solliciter les ingénieurs hors des heures de bureau
Les problèmes d’hallucinations de Q ont été rapportés par certains employés d’AWS, concernant principalement l’exactitude et la confidentialité des réponses générées. L’outil aurait divulgué l’emplacement des centres de données de l’entreprise, les programmes de réduction internes et des fonctionnalités inédites qui étaient encore confidentielles. En outre, un document interne a indiqué que Q pourrait envoyer des réponses nuisibles et inappropriées à des comptes clients, telles que des informations de sécurité obsolètes pouvant mettre ces derniers en danger.
L’ampleur des erreurs était telle qu’un des employés a catégorisé l’incident de « sev 2 », soit suffisamment grave et urgent pour justifier la sollicitation des ingénieurs hors des horaires de bureau (la nuit et le week-end) afin de résoudre le problème. Certaines hallucinations pourraient d’ailleurs potentiellement provoquer des incidents légaux.
Toutefois, les erreurs décrites semblent concorder avec celles communément observées pour la plupart des grands modèles de langage. D’autre part, les hauts responsables d’Amazon Q semblent minimiser le problème en réfutant ce que les employés ont signalé. Selon eux, l’outil n’aurait pas du tout diffusé d’informations confidentielles.
En effet, le partage de commentaires par le biais de canaux internes et de systèmes de billetterie serait une pratique courante au sein de l’entreprise. « Aucun problème de sécurité n’a été identifié à la suite de ces commentaires », a affirmé un porte-parole. « Nous apprécions tous les commentaires que nous avons déjà reçus et continuerons à améliorer Q à mesure qu’il passe du statut de produit en avant-première à celui de produit général », a-t-il ajouté.
D’un autre côté, ces problèmes surviennent à un moment particulièrement inopportun où Amazon tente d’atténuer la perception générale selon laquelle ses principaux concurrents l’ont largement surpassé dans la course à l’IA. Alors que l’entreprise a récemment annoncé investir plus de 4 milliards de dollars dans la start-up d’IA Anthropic, Amazon Q est la plus médiatisée parmi ses nouvelles initiatives dans ce sens. Malheureusement pour la société, l’outil semble encore loin de concorder avec les attentes et les promesses de sécurité annoncées lors de son lancement.