Alors que l’utilisation abusive de l’IA devient toujours plus préoccupante, OpenAI envisage d’autoriser son utilisation pour la pornographie et autres contenus explicites, comme le font déjà des concurrents spécialisés dans le domaine. La proposition est mentionnée dans un projet de lignes directrices que l’entreprise a publié mercredi. L’objectif serait d’explorer comment offrir la possibilité de générer ce type de contenu de manière responsable et d’évaluer les avis du public et des décideurs politiques.
L’utilisation croissante des outils d’IA pour générer des contenus pornographiques deepfake devient de plus en plus inquiétante. Bien que la plupart des chatbots et outils de génération d’images soient conçus pour ne pas générer de contenus sexuellement suggestifs ou explicites, certains outils peuvent être utilisés pour dénuder des personnes apparaissant sur des images. Ce problème est devenu particulièrement alarmant chez les adolescents, dont plusieurs ont déjà été arrêtés aux États-Unis pour avoir propagé des « nudes » de leurs camarades de classe générés par IA.
Il s’agit d’une nouvelle forme de harcèlement et d’exploitation sexuelle qui se propage rapidement, non seulement dans les écoles, mais également chez les personnalités publiques. En effet, parmi les exemples les plus célèbres figurent les faux nudes de Taylor Swift, devenus viraux sur X plus tôt cette année. Suite à l’incident, Microsoft a révisé et appliqué de nouvelles restrictions à son modèle de génération d’images.
D’un autre côté, OpenAI estime que certains utilisateurs pourraient avoir besoin de générer des contenus à caractère sexuel dans un contexte créatif, comme ceux travaillant dans le secteur du cinéma. Elle espère ainsi adapter ses outils de sorte que la génération de contenus explicites soit effectuée de manière responsable, consentie et conforme aux lois. Sans compter que la pornographie sera très probablement un moteur de croissance pour l’industrie de l’IA, à l’instar d’internet.
« Il existe des cas créatifs dans lesquels les contenus impliquant de la sexualité ou de la nudité sont importants pour nos utilisateurs », explique à NPR Joanne Jang, responsable du produit DALL-E chez OpenAI. « Nous explorerions cela de manière à ce que nous puissions le servir dans un contexte adapté à l’âge », ajoute-t-elle.
Fournir des contenus explicites de manière responsable ?
La proposition d’OpenAI de générer des contenus explicites est décrite dans un projet de lignes directrices publié mercredi, concernant la manière dont elle souhaite que ses modèles d’IA se comportent. Ces contenus englobent à la fois les idées à caractères érotique et sexuel, ainsi que le gore, la violence, les insultes et la grossièreté (généralement connus sous le nom de contenus NSFW ou « Not Safe For Work »).
La politique d’OpenAI interdit actuellement la génération de ce type de contenus. Le document mis en ligne par l’entreprise comprend un exemple d’invite textuelle pour ChatGPT liée à la santé sexuelle. Dans ce cas, le chatbot peut répondre à la demande de l’utilisateur. Cependant, si l’invite inclut des termes grossiers, par exemple « une histoire torride sur deux personnes ayant des relations sexuelles dans un train », le chatbot répond directement qu’il ne peut pas satisfaire la demande.
Or, Jang estime que le chatbot devrait être capable de répondre à cette demande en tant que forme d’expression créative. Cela devrait notamment être possible à condition qu’aucune loi ne soit enfreinte et qu’aucune image ne soit utilisée sans le consentement de la personne concernée. Dans cette vision, l’entreprise entame des discussions pour assouplir sa politique de restriction pour la génération d’images.
« Nous étudions si nous pouvons fournir de manière responsable la possibilité de générer du contenu NSFW dans des contextes adaptés à l’âge », indiquent les responsables dans le document, baptisé Model Spec. D’autre part, ce dernier a également pour objectif d’apporter plus de transparence sur le processus de développement des outils d’IA de l’entreprise et d’évaluer les avis du public et des décideurs politiques.
Cependant, la décision d’OpenAI soulève inévitablement des questions quant aux risques d’utilisation abusive. L’allégement de sa politique de restriction pourrait notamment décupler les risques d’exploitation non consentie d’images. « C’est un objectif admirable que d’explorer cela à des fins éducatives et artistiques, mais ils doivent y être extrêmement prudents », estime Tiffany Li, professeure de droit à l’Université de San Francisco.
Néanmoins, OpenAI affirme que les images explicites et non consensuelles resteront interdites, même si les contenus NSFW seront autorisés. En d’autres termes, l’usurpation d’identité restera prohibée, mais il reste à savoir si l’entreprise parviendra effectivement à modérer les utilisations non éthiques. Par ailleurs, l’entreprise a déclaré ne pas être encore sûre si Sora, son outil de génération de vidéos ultraréalistes, bénéficiera des mêmes allégements de restrictions, l’impact de telles possibilités étant beaucoup plus vaste et potentiellement bien plus néfaste.