La différence entre cette approche et ses prédécesseurs est que DeepMind espère utiliser « le dialogue à long terme pour la sécurité », explique Geoffrey Irving, chercheur en sécurité chez DeepMind.

« Cela signifie que nous ne nous attendons pas à ce que les problèmes auxquels nous sommes confrontés dans ces modèles, qu’il s’agisse de désinformation, de stéréotypes ou autre, soient évidents à première vue, et nous voulons en parler en détail. Et cela signifie aussi entre les machines et les humains », dit-il.

L’idée de DeepMind d’utiliser les préférences humaines pour optimiser la façon dont un modèle d’IA apprend n’est pas nouvelle, déclare Sara Hooker, qui dirige Cohere for AI, un laboratoire de recherche sur l’IA à but non lucratif.

« Mais les améliorations sont convaincantes et montrent des avantages évidents pour l’optimisation guidée par l’homme des agents de dialogue dans un environnement de modèle de langage étendu », déclare Hooker.

Douwe Kiela, chercheur à la start-up d’IA Hugging Face, déclare que Sparrow est « une belle prochaine étape qui suit une tendance générale en IA, où nous essayons plus sérieusement d’améliorer les aspects de sécurité des déploiements de modèles de grande langue ».

Mais il reste encore beaucoup de travail à faire avant que ces modèles d’IA conversationnelle puissent être déployés dans la nature.

Sparrow fait encore des erreurs. Le modèle s’écarte parfois du sujet ou invente des réponses aléatoires. Les participants déterminés ont également réussi à faire en sorte que le modèle enfreigne les règles 8 % du temps. (Il s’agit toujours d’une amélioration par rapport aux modèles plus anciens : les modèles précédents de DeepMind enfreignaient les règles trois fois plus souvent que Sparrow.)

« Pour les domaines où les dommages humains peuvent être élevés si un agent répond, comme la fourniture de conseils médicaux et financiers, cela peut encore sembler à beaucoup comme un taux d’échec inacceptable », déclare Hooker. Le travail est également construit autour d’un modèle en anglais. , « alors que nous vivons dans un monde où la technologie doit servir de manière sûre et responsable de nombreuses langues différentes », ajoute-t-elle.

Et Kiela souligne un autre problème : « Se fier à Google pour la recherche d’informations conduit à des biais inconnus difficiles à découvrir, étant donné que tout est une source fermée. »