Cette semaine, le National Institute of Standards and Technology (NIST), une agence du département américain du Commerce qui promeut la science de la mesure, a proposé une méthode pour évaluer la confiance des utilisateurs dans les systèmes d’IA. Le projet de document, qui est ouvert aux commentaires du public jusqu’en juillet 2021, vise à stimuler une discussion sur la transparence et la responsabilité autour de l’IA.

Le projet de proposition intervient après qu’un législateur clé de l’Union européenne (UE), Patrick Breyer, ait déclaré que les règles ciblant Facebook, Google, et d’autres grands plateformes en ligne devrait inclure droits à la vie privée ainsi que le droit des utilisateurs à l’anonymat. En avril, la Commission européenne, la branche exécutive de l’UE, a annoncé des réglementations sur l’utilisation de l’IA, y compris des garanties strictes sur le recrutement, les infrastructures critiques, l’évaluation du crédit, la migration et les algorithmes d’application de la loi. Et mardi, Amazon a déclaré qu’il prolongerait jusqu’à nouvel ordre un moratoire qu’il a imposé l’année dernière sur l’utilisation par la police de ses logiciel de reconnaissance faciale.

Brian Stanton, un psychologue cognitif, a co-écrit la publication du NIST avec le chercheur en informatique Ted Jensen. Ils fondent en grande partie la prémisse sur des études antérieures sur la confiance, à commencer par le rôle de la confiance dans l’histoire humaine et la façon dont elle a façonné nos processus de pensée.

«De nombreux facteurs sont intégrés dans nos décisions en matière de confiance», a déclaré Stanton dans un communiqué. « C’est la façon dont l’utilisateur pense et ressent le système et perçoit les risques liés à son utilisation. »

Stanton et Jensen se tournent progressivement vers les défis de confiance uniques associés à l’IA, qui assume rapidement des tâches qui vont au-delà des capacités humaines. Ils proposent une liste de neuf facteurs qui contribuent à la confiance potentielle d’une personne dans un système d’IA, notamment la fiabilité, la résilience, l’objectivité, la sécurité, l’explicabilité, la sécurité, la responsabilité et la confidentialité. Une personne peut peser les facteurs différemment en fonction de la tâche et du risque encouru en faisant confiance à la décision d’une IA. Par exemple, un algorithme de sélection de musique n’a peut-être pas besoin d’être particulièrement précis, mais ce serait une autre histoire avec une IA qui n’était précise qu’à 90% pour poser un diagnostic de cancer.

Au cours du projet, Stanton et Jensen constatent que si un système d’IA (1) a un haut niveau de fiabilité technique et (2) les valeurs des caractéristiques de fiabilité sont perçues comme étant suffisamment bonnes pour le contexte d’utilisation, en particulier le risque inhérent à ce contexte, alors la probabilité de confiance des utilisateurs d’IA augmente. C’est cette confiance – basée sur les perceptions des utilisateurs – qui sera nécessaire à toute collaboration homme-IA, dit Stanton.

«Les systèmes d’IA peuvent être formés pour« découvrir »des modèles dans de grandes quantités de données qui sont difficiles à comprendre pour le cerveau humain. Un système peut surveiller en permanence un très grand nombre de flux vidéo et, par exemple, repérer un enfant tombant dans un port de l’un d’entre eux », a ajouté Stanton. «Nous ne demandons plus à l’automatisation de faire notre travail. Nous lui demandons de faire un travail que les humains ne peuvent pas faire seuls. »

Défis à venir

La nature de «boîte noire» de l’IA reste toutefois un obstacle à surmonter, à la lumière des recherches qui révèlent que les gens sont naturellement enclins à faire confiance aux systèmes même lorsqu’ils sont malveillants. En 2019, Himabindu Lakkaraju, informaticien à la Harvard Business School, et Osbert Bastani, assistant de recherche à l’Université de Pennsylvanie a créé un système d’IA conçu pour induire les gens en erreur. Leur expérience a confirmé l’hypothèse des chercheurs et a montré à quel point les humains peuvent être facilement manipulés par des algorithmes d’IA opaques.

«Nous constatons que la confiance des utilisateurs peut être manipulée par des explications trompeuses et de haute fidélité. Ces explications trompeuses existent car des caractéristiques interdites (par exemple, la race ou le sexe) peuvent être reconstruites en fonction de caractéristiques corrélées (par exemple, le code postal). Ainsi, les acteurs contradictoires peuvent tromper les utilisateurs finaux en leur faisant faire confiance à une boîte noire indigne de confiance [system] – par exemple, celui qui utilise des attributs interdits pour prendre des décisions », ont écrit les coauteurs.

Même lorsque la confiance dans un système d’IA est justifiée, le résultat n’est pas nécessairement souhaitable. Dans une expérience menée par une équipe d’IBM Research, les chercheurs ont évalué dans quelle mesure le fait de montrer aux gens une prédiction de l’IA avec un score de confiance aurait un impact sur leur capacité à prédire le revenu annuel d’une personne. L’étude a révélé que les scores augmentaient la confiance mais n’amélioraient pas la prise de décision, ce qui pourrait dépendre du fait qu’une personne peut apporter suffisamment de connaissances uniques pour compenser les erreurs d’un système d’IA.

Stanton souligne que les idées de la publication du NIST sont basées sur des recherches de fond et bénéficieraient d’un examen public. D’après le corpus de la littérature mettant en évidence les dangers de la perception de la confiance dans l’IA, cela semble être vrai – tout, depuis les pratiques de recrutement, les demandes de prêt et le système de justice pénale, peut être affecté par des algorithmes biaisés mais apparemment dignes de confiance, Résoudre le problème de «confiance» de l’IA nécessitera une résolution approfondie de ce problème, ainsi que des problèmes systémiques qui découlent d’un manque de diversité dans l’IA dans son ensemble.

«Nous proposons un modèle de confiance des utilisateurs de l’IA», a-t-il déclaré. «Tout est basé sur la recherche d’autrui et sur les principes fondamentaux de la cognition. Pour cette raison, nous aimerions recevoir des commentaires sur les travaux que la communauté scientifique pourrait poursuivre pour fournir une validation expérimentale de ces idées. »

Pour la couverture de l’IA, envoyez des conseils de nouvelles à Kyle Wiggers – et assurez-vous de vous abonner à la Bulletin hebdomadaire AI et ajoutez notre chaîne IA à vos favoris, La machine.

Merci d’avoir lu,

Kyle Wiggers

Rédacteur AI