Twitch a interdit « Nothing, Forever », le flux Seinfeld généré par l’IA, pendant au moins 14 jours suite à une explosion transphobe et homophobe. C’est le dernier exemple de « haine in, hate out » lorsque les chatbots IA sont entraînés sur du contenu offensant sans modération adéquate.

Comme Seinfeld, « Nothing, Forever » tourne entre des scènes de stand-up et des scènes dans l’appartement du comédien (il s’appelle « Larry Feinberg » dans la version AI). Tel que rapporté pour la première fois par Vice, lors de l’un des récents actes de stand-up scénarisés par l’IA, l’homologue de Seinfeld a suggéré qu’être transgenre est une maladie mentale. Dans ce qui ressemblait presque à une prise de conscience du caractère offensant du matériel, le comédien de l’IA a rapidement ajouté: «Mais personne ne rit, alors je vais arrêter. Merci d’être venu ce soir. À la prochaine. Où est-ce que tout le monde est allé ?

Bien que Twitch n’ait pas confirmé que la « blague » était la raison de l’interdiction, le flux a été supprimé peu de temps après la diffusion du segment problématique. Les créateurs du programme blâment la diatribe blessante sur un changement de modèle qui a laissé par inadvertance le flux sans outils de modération.

« Plus tôt ce soir, nous avons commencé à avoir une panne en utilisant le modèle GPT-3 Davinci d’OpenAI, ce qui a amené l’émission à afficher des comportements errants (vous avez peut-être vu des salles vides défiler) », a écrit un membre du personnel sur Discord. « OpenAI a un modèle moins sophistiqué, Curie, qui était le prédécesseur de Davinci. Lorsque davinci a commencé à échouer, nous sommes passés à Curie pour essayer de maintenir le spectacle sans aucun temps d’arrêt. Le passage à Curie a entraîné la génération du texte inapproprié. Nous tirons parti des outils de modération de contenu d’OpenAI, qui ont fonctionné jusqu’à présent pour le modèle Davinci, mais n’ont pas réussi avec Curie. Nous avons pu identifier la cause profonde de notre problème avec le modèle Davinci et nous n’utiliserons plus Curie comme solution de secours à l’avenir. Nous espérons que cela éclairera un peu la façon dont cela s’est passé.

L’équipe a élaboré dans un autre post Discord (via Le bord). « Nous avons cru à tort que nous utilisions le système de modération de contenu d’OpenAI pour leurs modèles de génération de texte. Nous travaillons actuellement à la mise en œuvre de l’API de modération de contenu d’OpenAI (c’est un outil que nous pouvons utiliser pour vérifier la sécurité du contenu) avant de remettre en ligne, et nous enquêtons sur les systèmes de modération de contenu secondaires en tant que redondances. »

Bien que l’équipe semble sincèrement désolée, soulignant que la diatribe sectaire était une erreur technique qui ne représente pas son point de vue, elle réitère l’importance d’une modération cohérente de l’IA. Vous vous souvenez peut-être du chatbot Twitter de Microsoft, qui n’a duré qu’environ 16 heures après que les utilisateurs lui aient appris à cracher des théories du complot, des opinions racistes et des remarques misogynes. Ensuite, il y a eu le bot formé entièrement sur 4chan, qui s’est avéré exactement comme vous l’attendiez. Que « Nothing, Forever » revienne ou non, la prochaine fois qu’une équipe de développeurs sera confrontée à un choix entre éviter les temps d’arrêt inattendus et s’assurer que ces filtres sont en place, choisissez ce dernier.