Lemonade, l’application d’assurance à croissance rapide et basée sur l’apprentissage automatique, a sorti un vrai citron Fil Twitter lundi avec une fière déclaration que son IA analyse les vidéos des clients pour déterminer si leurs réclamations sont frauduleuses. Depuis, l’entreprise essaie de s’expliquer et de s’expliquer sur son modèle commercial – et de repousser les graves accusations de parti pris, de discrimination et de chair de poule en général.

La perspective d’être jugée par AI pour quelque chose d’aussi important qu’une réclamation d’assurance était alarmante pour beaucoup de ceux qui voyaient le fil, et cela devrait l’être. Nous avons vu comment l’IA peut discriminer certaines races, certains sexes, certaines classes économiques et certains handicaps, entre autres catégories, ce qui conduit ces personnes à se voir refuser un logement, un emploi, une éducation ou la justice. Nous avons maintenant une compagnie d’assurance qui se targue de remplacer en grande partie les courtiers humains et les actuaires par des robots et l’IA, collectant des données sur les clients sans qu’ils se rendent compte qu’ils les donnaient et utilisant ces points de données pour évaluer leur risque.

Sur une série de sept tweets, Lemonade a affirmé qu’elle rassemblait plus de 1 600 «points de données» sur ses utilisateurs – «100 fois plus de données que les assureurs traditionnels», a déclaré la société. Le fil de discussion n’a pas précisé quels sont ces points de données ni comment et quand ils sont collectés, simplement qu’ils produisent des «profils nuancés» et des «informations remarquablement prédictives» qui aident Lemonade à déterminer, de manière apparemment détaillée, le «niveau de risque. »

Lemonade a ensuite fourni un exemple de la façon dont son IA « analyse soigneusement » les vidéos qu’elle demande aux clients faisant des réclamations d’envoyer « pour des signes de fraude », y compris des « indices non verbaux ». Les assureurs traditionnels ne peuvent pas utiliser la vidéo de cette manière, a déclaré Lemonade, remerciant son IA pour l’avoir aidée à améliorer ses ratios de sinistres, c’est-à-dire en prenant plus de primes qu’elle n’avait à payer en sinistres. La limonade payait beaucoup plus qu’elle n’en coûtait, ce qui, selon l’entreprise, était «terrible». Maintenant, dit le fil, cela prend plus que ce qu’il rapporte.

« Il est incroyablement insensible de célébrer comment votre entreprise économise de l’argent en ne payant pas de réclamations (dans certains cas à des personnes qui ont probablement le pire jour de leur vie) », Caitlin Seeley George, directrice de campagne du groupe de défense des droits numériques Fight for the Future. , a déclaré Recode. « Et c’est encore pire de célébrer l’apprentissage machine biaisé qui rend cela possible. »

Lemonade, qui a été fondée en 2015, propose des assurances aux locataires, aux propriétaires, aux animaux de compagnie et à la vie dans de nombreux États américains et dans quelques pays européens, avec l’ambition de s’étendre à plus d’emplacements et d’ajouter une offre d’assurance automobile. L’entreprise compte plus d’un million de clients, un cap qu’elle a atteint en quelques années seulement. C’est beaucoup de points de données.

« Chez Lemonade, un million de clients se traduit par des milliards de points de données, qui alimentent notre IA à une vitesse toujours croissante », a déclaré Shai Wininger, co-fondateur et directeur de l’exploitation de Lemonade. dit l’année dernière. « La quantité génère la qualité.

Le fil Twitter a fait le tour d’un public horrifié et grandissant, établissant les comparaisons nécessaires avec la série télévisée technologique dystopique. Miroir noir et incitant les gens à demander si leurs réclamations seraient refusées en raison de la couleur de leur peau, ou si le bot des réclamations de Lemonade, « AI Jim », a décidé qu’ils avaient l’air de mentir. Qu’entendait-on par limonade par «indices non verbaux», se demandent beaucoup de gens? Les menaces d’annulation des politiques (et les preuves de capture d’écran des personnes qui ont annulé) se sont élevées

Mercredi, la société est revenue sur ses revendications, supprimant le fil et le remplaçant par un nouveau fil Twitter et article de blog. Vous savez que vous vous êtes vraiment trompé lorsque le fil Twitter d’excuses de votre entreprise inclut le mot « phrénologie ».

« Le fil Twitter était mal rédigé et, comme vous le notez, il a alarmé les gens sur Twitter et déclenché un débat diffusant des mensonges », a déclaré un porte-parole de Lemonade à Recode. « Nos utilisateurs ne sont pas traités différemment en fonction de leur apparence, de leur handicap ou de toute autre caractéristique personnelle, et l’IA n’a pas été et ne sera pas utilisée pour rejeter automatiquement les réclamations. »

La société maintient également qu’elle ne tire aucun profit du refus des réclamations et qu’elle prélève un montant forfaitaire sur les primes des clients et utilise le reste pour payer les réclamations. Tout ce qui reste va à des œuvres caritatives (la société affirme avoir fait don de 1,13 million de dollars en 2020). Mais ce modèle suppose que le client paie plus en primes que ce qu’il demande en réclamations.

Et Lemonade n’est pas la seule compagnie d’assurance à compter sur l’IA pour alimenter une grande partie de ses activités. Root propose une assurance auto avec des primes basées en grande partie (mais pas entièrement) sur la façon dont vous conduisez en toute sécurité – tel que déterminé par une application qui surveille votre conduite pendant une période «d’essai routier». Mais les clients potentiels de Root savent qu’ils optent dès le départ.

Alors, que se passe-t-il vraiment ici ? Selon Lemonade, les vidéos de réclamation que les clients doivent envoyer visent simplement à leur permettre d’expliquer leurs réclamations dans leurs propres mots, et les « indices non verbaux » sont une technologie de reconnaissance faciale utilisée pour s’assurer qu’une personne ne fait pas de réclamations sous plusieurs identités. . Toute fraude potentielle, selon la société, est signalée à un humain pour qu’il l’examine et prenne la décision d’accepter ou de refuser la réclamation. AI Jim ne nie pas les allégations.

Les avocats disent que ce n’est pas assez bon.

« La reconnaissance faciale est connue pour ses préjugés (à la fois dans son utilisation et dans son incapacité à identifier correctement les visages noirs et bruns, les femmes, les enfants et les personnes de genre non conforme), donc l’utiliser pour « identifier » les clients n’est qu’un autre signe de la façon dont l’IA de Lemonade est biaisée », a déclaré George. « Que se passe-t-il si une personne noire tente de déposer une réclamation et que la reconnaissance faciale ne pense pas qu’il s’agit du client réel? Il existe de nombreux exemples d’entreprises qui disent que les humains vérifient tout ce qui est signalé par un algorithme, mais en pratique, c’est pas toujours le cas.  »

L’article de blog n’a pas non plus abordé – et la société n’a pas répondu aux questions de Recode sur – comment l’IA de Lemonade et ses nombreux points de données sont utilisés dans d’autres parties du processus d’assurance, comme la détermination des primes ou si quelqu’un est trop risqué pour assurer du tout.

Lemonade a donné un aperçu intéressant de ses ambitions en matière d’IA dans un article de blog de 2019 rédigé par le PDG et cofondateur Daniel Schreiber, qui expliquait comment les algorithmes (que, dit-il, aucun humain ne peut «comprendre pleinement») peuvent éliminer les préjugés. Il a essayé de faire valoir ce point de vue en expliquant comment un algorithme qui facturait davantage les Juifs pour l’assurance incendie parce qu’ils allument des bougies chez eux dans le cadre de leurs pratiques religieuses ne serait en fait pas discriminatoire, car il ne les évaluerait pas en tant que groupe religieux, mais en tant qu’individus qui allument beaucoup de bougies et se trouvent être juifs:

Le fait qu’un tel penchant pour les bougies soit inégalement réparti dans la population, et plus fortement concentré parmi les Juifs, signifie que, sur moyenne, les Juifs paieront plus. Cela ne signifie pas que les gens sont facturés plus d’être juif.

Le résultat est que le simple fait qu’un algorithme facture plus en moyenne les Juifs – ou les femmes, ou les Noirs – ne le rend pas injustement discriminatoire.

Joyeux Hanoukka!

C’est ce que Schreiber a décrit comme un «algorithme de phase 3», mais l’article n’a pas précisé comment l’algorithme déterminerait cette propension à allumer une bougie en premier lieu – vous pouvez imaginer comment cela pourrait être problématique – ou si et quand Lemonade espère d’intégrer ce type de tarification. Mais, a-t-il dit, «c’est un avenir que nous devrions embrasser et pour lequel nous devrions nous préparer» et qui était «largement inévitable» – en supposant que la réglementation des prix des assurances change pour permettre aux entreprises de le faire.

«Ceux qui n’adhèrent pas à la souscription et à la tarification de précision de la phase 3 seront finalement sélectionnés de manière défavorable à la faillite», a écrit Schreiber.

Tout cela suppose que les clients veulent un avenir où ils sont analysés secrètement sur 1 600 points de données, ils ne se sont pas rendu compte que le robot de Lemonade, «AI Maya», collectait puis se voyait attribuer des primes individualisées en fonction de ces points de données – qui restent un mystère.

La réaction au premier fil Twitter de Lemonade suggère que les clients ne veulent pas de cet avenir.

« Le fil conducteur de Lemonade était un aperçu très effrayant de la façon dont les entreprises utilisent l’IA pour augmenter leurs profits sans tenir compte de la vie privée des gens ou du biais inhérent à ces algorithmes », a déclaré George, de Fight for the Future. « Le contrecoup automatique qui a poussé Lemonade à supprimer le message montre clairement que les gens n’aiment pas l’idée que leurs réclamations d’assurance soient évaluées par l’intelligence artificielle. »

Mais cela suggère également que les clients n’avaient pas réalisé qu’une version de celui-ci se produisait au départ, et que leur expérience d’assurance «instantanée, transparente et agréable» reposait sur leurs propres données – bien plus qu’ils ne le pensaient ils fournissaient. Il est rare qu’une entreprise soit aussi flagrante sur la façon dont ces données peuvent être utilisées dans son propre intérêt et aux dépens du client. Mais soyez assurés que Lemonade n’est pas la seule entreprise à le faire.