Ils sont « ingénieurs en requêtes », « prompt engineers », ou encore « spécialistes en invites »… Ces nouveaux « experts » de l’intelligence artificielle (IA) ont pour spécialité de bien savoir leur parler pour obtenir ce dont ils ont besoin. Veillant jalousement sur leurs recherches, certains d’entre eux ont tout de même accepté de partager quelques bases.
ChatGPT, Bard, BingChat, MidJourney… Théoriquement, tout le monde peut s’adresser à ces intelligences artificielles (IA) récemment rendues accessibles au public. Pour résumer, il s’agit de programmes d’apprentissage automatique, qui sont capables d’apporter une réponse à une requête formulée par un utilisateur : généralement, une requête écrite. Ils ont été préalablement entraînés à l’aide de nombreuses données touchant à leur spécialité. Par exemple, dans le cas de Midjourney, IA génératrice d’images, les données concernaient des couples « texte-image ». Dans le cas de Bard, ou de ChatGPT, il s’agit de requêtes et de réponses écrites.
Pour s’adresser à ces IA, il suffit donc de leur « parler ». Mais en réalité, il n’est pas si simple d’obtenir un résultat précis à partir de ces échanges. C’est d’ailleurs ce qui a fait dire à Andrej Karpathy, ancien directeur de la branche IA de Tesla, que « le nouveau langage de programmation à la mode est l’anglais », comme on peut le lire dans ce tweet :
The hottest new programming language is English
— Andrej Karpathy (@karpathy) January 24, 2023
Il semble donc qu’une spécialité surprenante, celle de « murmurer à l’oreille des IA », soit en train de prendre naissance. Sur les sites d’annonces d’emploi, on trouve déjà des annonces d’entreprises recherchant des « prompts engineers », que l’on pourrait traduire par « ingénieur en requête ». Il ne s’agit pas encore d’une science exacte, loin de là. « Il s’agit plus de ‘titiller l’ours’ de différentes manières et voir comment il se défend », explique Shane Steinert-Threlkeld, professeur adjoint à l’université de Washington, qui étudie la technologie linguistique sous-jacente à des outils tels que ChatGPT, dans un article du Washington Post repris par le média Entrepreneur.
Il n’y a donc pas vraiment de recette magique, et c’est bien pour ça que les « prompts » ou « requêtes » qui ont des effets particuliers sur les programmes, sont précieux. Dans ce laborieux processus de tests, certains tirent leur épingle du jeu… et la gardent même jalousement pour conserver leur valeur. Il existe ainsi des sites qui proposent de l’achat ou de la vente de prompts. Prompt Hero, un site internet communautaire dédié à l’art du prompt pour les IA génératrices d’images, propose même des formations sur le sujet. « J’ai repéré un problème : lorsque vous essayez de faire quelque chose pour la première fois avec ce logiciel, votre premier rendu est généralement assez mauvais », explique son cofondateur Javier Ramirez, dans un article d’ABC News. « Il est nécessaire d’utiliser les requêtes de la bonne manière pour obtenir un résultat de haute qualité ».
Décomposer une œuvre
JHawkk, l’un des utilisateurs de la plateforme, a par exemple réussi à créer cette image en n’utilisant pas moins de 15 requêtes clefs avec l’IA Stable Diffusion.
Cependant, s’il a pu atteindre la précision voulue, c’est aussi en raison des « requêtes négatives » qu’il a introduites pour exclure certains résultats, comme « jambes supplémentaires », « défiguré », ou encore « filigranes ». Certaines de ces requêtes négatives, parfois aussi étranges que « pieds mal dessinés », que l’on retrouve régulièrement, sont devenues des clefs pour obtenir certains types de résultats. L’idée est de parvenir à décomposer l’image que l’on a en tête en sous-parties interprétables par l’IA : « Il s’agit essentiellement de la manière dont vous pourriez décrire cette image, et surtout de la manière dont le modèle lui-même pourrait l’interpréter », décrit JHawkk.
Ce travail de décomposition et de test peut prendre beaucoup de temps. Un bon exemple de cela serait Jason Allen, créateur d’une œuvre d’art par IA qui avait gagné un concours d’art aux États-Unis avant d’être destitué. Il a refusé de partager ses prompts, mais a précisé qu’il avait passé des « semaines » à effectuer différents tests d’esthétique avec Midjourney pour créer l’ambiance voulue. Il a notamment utilisé des dictionnaires pour rechercher tous les champs de mots clefs liés à la cinématographie, avant de s’intéresser à la composition et aux personnages. En tout, il explique avoir passé plus de 80 heures à travailler ses invites.
Comment parler à ChatGPT
Dans le cas des IA génératrices de texte, telles que ChatGPT, les choses sont un peu différentes. Pour Lingqiao Liu, maître de conférences à l’Australian Institute for Machine Learning (AIML) de l’université d’Adélaïde, qui s’est exprimé auprès d’ABC News, la clef consiste à décomposer une tâche complexe en une série de tâches simples. Si l’on se contente d’une seule requête (« zero shot prompt »), les programmes tels que ChatGPT vont avoir tendance à glisser naturellement vers une réponse qui ne présente pas beaucoup de détail ni de structure. Il faut donc trouver des moyens de guider l’IA vers des réponses plus détaillées. Cela peut passer, explique le chercheur, par le fait de préciser la forme de réponse que l’on souhaite obtenir à l’IA, en lui fournissant par exemple un échantillon de questions et de réponses.
Une autre méthode est d’attribuer un rôle à l’IA. Si on demande à ChatGPT d’incarner un professeur d’histoire agrégé qui parle à des étudiants spécialisés, il ne s’exprimera pas de la même façon et ne donnera pas les mêmes informations que si on lui pose une simple question. Il est aussi possible de demander à l’IA de générer une critique de son propre résultat, et de lui demander ensuite d’ajuster le contenu en fonction de ses retours, pour produire une autoamélioration.
L’amener à établir une liste des étapes nécessaires pour parvenir au résultat voulu peut également l’aider à structurer ses résultats. Pour cela, il suffit de lui demander de rédiger non pas un texte, mais un « plan », et ensuite de l’amener à développer un propos suivant ce plan. De manière générale, comme l’explique Anna Bernstein, « prompt engineer » pour l’entreprise Copy.ai, la clef est la « clarté » du propos. Au quotidien, elle prête une grande attention au moindre mot utilisé pour formuler les requêtes les plus limpides possibles. Cela implique, par exemple, d’éviter les requêtes négatives, qui peuvent mener à de la confusion de la part de l’IA : « L’IA a tendance à penser à des éléphants roses lorsqu’on lui demande de ne pas le faire », décrit l’ingénieure de façon imagée.