Un champ de mines éthique

Depuis que ses fondateurs ont lancé Anthropic en 2021, l’entreprise s’est présentée comme une entreprise qui adopte une approche du développement de l’IA axée sur l’éthique et la sécurité. L’entreprise se différencie de concurrents comme OpenAI en adoptant ce qu’elle appelle des pratiques de développement responsable et des contraintes éthiques auto-imposées sur ses modèles, comme son système « Constitutional AI ».

Comme le souligne Futurism, ce nouveau partenariat de défense semble entrer en conflit avec le personnage public de « bon gars » d’Anthropic, et les experts pro-IA sur les réseaux sociaux le remarquent. Le commentateur fréquent de l’IA, Nabeel S. Qureshi, a écrit sur X : « Imaginez dire aux fondateurs altruistes et efficaces d’Anthropic, soucieux de la sécurité, en 2021, qu’à peine trois ans après la création de l’entreprise, ils signeraient des partenariats pour déployer leur modèle ~AGI directement sur les lignes de front militaires.« 

Outre les implications de la collaboration avec les agences de défense et de renseignement, l’accord relie Anthropic à Palantir, une société controversée qui a récemment remporté un contrat de 480 millions de dollars pour développer un système d’identification de cibles alimenté par l’IA appelé Maven Smart System pour l’armée américaine. Le projet Maven a suscité des critiques au sein du secteur technologique concernant les applications militaires de la technologie de l’IA.

Il convient de noter que les conditions d’utilisation d’Anthropic décrivent des règles et des limitations spécifiques pour l’utilisation par le gouvernement. Ces termes autorisent des activités telles que l’analyse du renseignement étranger et l’identification de campagnes d’influence secrètes, tout en interdisant des utilisations telles que la désinformation, le développement d’armes, la censure et la surveillance intérieure. Les agences gouvernementales qui maintiennent une communication régulière avec Anthropic au sujet de leur utilisation de Claude peuvent recevoir des autorisations plus larges pour utiliser les modèles d’IA.

Même si Claude n’est jamais utilisé pour cibler un humain ou dans le cadre d’un système d’armes, d’autres problèmes demeurent. Bien que ses modèles Claude soient très appréciés dans la communauté de l’IA, ils (comme tous les LLM) ont tendance à fabuler, générant potentiellement des informations incorrectes d’une manière difficile à détecter.

Il s’agit d’un énorme problème potentiel qui pourrait avoir un impact sur l’efficacité de Claude avec les données secrètes du gouvernement, et ce fait, ainsi que les autres associations, inquiète Victor Tangermann du Futurisme. Comme il le dit : « C’est un partenariat déconcertant qui établit des liens croissants entre l’industrie de l’IA et le complexe militaro-industriel américain, une tendance inquiétante qui devrait sonner l’alarme de toutes sortes étant donné les nombreux défauts inhérents à la technologie – et encore plus lorsque des vies sont en cours. pourrait être en jeu. »