Get best of the week

Pourquoi les exigences de l'IA ne peuvent qu'empirer les choses

En créant des réseaux de neurones plus transparents, nous pouvons commencer à leur faire trop confiance. Il peut être utile de changer les méthodes par lesquelles ils expliquent leur travail.




Apol Esan, une fois jugé, a fait un tour dans une voiture robotisée d'Uber. Au lieu de s'inquiéter du siège conducteur vide, les passagers ont été invités à regarder un écran «apaisant», qui montrait comment la voiture voyait la route: les dangers étaient dessinés en orange et rouge, les zones de sécurité en bleu foncé.

Pour Esan, qui étudie l'interaction des personnes avec l'IA au Georgia Institute of Technology d'Atlanta, le message qu'ils ont essayé de lui transmettre était compréhensible: "Ne vous inquiétez pas, ce sont les raisons pour lesquelles la machine se comporte de cette façon." Cependant, quelque chose dans l'image étrangère de la rue ne rassure pas, mais souligne plutôt l'étrangeté de ce qui se passe. Esan s'est demandé: et si le robot pouvait vraiment expliquer?

Le succès de l'apprentissage en profondeur repose sur une sélection incertaine dans le code: les meilleurs réseaux de neurones s'ajustent et s'adaptent pour les améliorer davantage, et les résultats pratiques dépassent leur compréhension théorique. En résumé, les détails du fonctionnement du modèle formé sont généralement inconnus. Nous sommes déjà habitués à considérer l'IA comme une boîte noire.

Et la plupart du temps, cela nous convient - lorsqu'il s'agit de tâches telles que jouer au go, traduire du texte ou choisir la prochaine série avec Netflix. Mais si l'IA est utilisée pour aider à prendre des décisions dans des domaines tels que l'application de la loi, les diagnostics médicaux et les véhicules robotiques, nous devons comprendre comment elle prend ses décisions et savoir quand elles se révèlent erronées.

Les gens ont besoin de l'opportunité d'être en désaccord avec une solution automatique ou de la rejeter, explique Iris Hawley , informaticienne au Williams College de Williamstown, Massachusetts. Et sans elle, les gens résisteront à cette technologie. «Déjà maintenant, vous pouvez observer comment cela se produit, sous la forme de réactions des gens aux systèmes de reconnaissance faciale», dit-elle.

Esan fait partie d'un groupe restreint mais croissant de chercheurs qui tentent d'améliorer la capacité de l'IA à nous expliquer et à nous aider à regarder dans la boîte noire. Le but de la création de la soi-disant interprété ou expliqué par l'IA (III) est d'aider les gens à comprendre sur quels signes de données le réseau neuronal apprend vraiment - et de décider si le modèle résultant s'est avéré exact et impartial.

Une solution consiste à créer des systèmes d'apprentissage automatique (MO) qui démontrent l'intérieur de leur travail - le soi-disant aquarium AI, au lieu de l'IA dans la boîte noire. Les modèles d'aquarium sont généralement des versions radicalement simplifiées de la NS, dans lesquelles il est plus facile de suivre la façon dont des données individuelles affectent le modèle.

«Il y a des gens dans cette communauté qui préconisent l'utilisation de modèles d'aquarium dans toute situation à enjeux élevés», expliqueJennifer Worthman Vaughn , spécialiste informatique chez Microsoft Research. "Et dans l'ensemble, je suis d'accord." Des modèles d'aquarium simples peuvent fonctionner aussi bien que des NS plus complexes, sur certains types de données structurées, telles que des tableaux ou des statistiques. Et dans certains cas, cela suffit.

Cependant, tout dépend du domaine de travail. Si nous voulons apprendre de données floues comme des images ou du texte, nous n'avons pas d'autre choix que d'utiliser des réseaux de neurones profonds et donc opaques. La capacité de ces NS à trouver une connexion significative entre un grand nombre de caractéristiques disparates est associée à leur complexité.

Et même ici, l'aquarium MO peut vous aider. Une solution consiste à parcourir les données deux fois, en entraînant le modèle d'aquarium imparfait comme étape de débogage pour détecter les erreurs potentielles que vous souhaitez corriger. Après avoir nettoyé les données, vous pouvez également former un modèle plus précis d'IA dans une boîte noire.

Cependant, un tel équilibre est difficile à maintenir. Trop de transparence peut entraîner une surcharge d'informations. Dans une étude de 2018, qui a examiné l'interaction d'utilisateurs non formés avec les outils MO, Vaughn a constaté que les modèles transparents peuvent en fait compliquer la recherche et la correction des erreurs de modèle.

Une autre approche consiste à inclure une visualisation qui montre plusieurs propriétés clés du modèle et des données sous-jacentes. L'idée est d'identifier les problèmes graves à l'œil nu. Par exemple, un modèle peut trop s'appuyer sur certains attributs, ce qui peut être un signal de biais.

Ces outils de visualisation sont devenus extrêmement populaires en peu de temps. Mais est-il utile pour eux? Dans la première étude de ce type, Vaughn et l'équipe ont essayé de répondre à cette question et ont finalement trouvé plusieurs problèmes graves.

L'équipe a pris deux outils d'interprétation populaires qui donnent un aperçu du modèle à l'aide de graphiques et de tableaux, où il est noté à quelles données le modèle a principalement prêté attention pendant la formation. Onze professionnels de l'IA ayant des antécédents, des antécédents et des antécédents divers ont été embauchés par Microsoft. Ils ont participé à une simulation d'interaction avec le modèle MO, formés aux données sur le revenu national du recensement des États-Unis de 1994. L'expérience a été spécialement conçue pour simuler comment les scientifiques des données utilisent des outils d'interprétation pour effectuer leurs tâches quotidiennes.

L'équipe a trouvé quelque chose d'incroyable. Oui, parfois des outils ont aidé les gens à trouver des valeurs manquantes dans les données. Cependant, toute cette utilité s'est estompée par rapport à la tendance à une confiance excessive dans les visualisations, ainsi qu'à des erreurs de compréhension. Parfois, les utilisateurs ne pouvaient même pas décrire exactement ce que les visualisations démontrent. Cela a conduit à des hypothèses incorrectes concernant l'ensemble de données, les modèles et les outils d'interprétation eux-mêmes. Cela a également inspiré une fausse confiance dans les outils et suscité un enthousiasme pour la mise en pratique de ces modèles, même si parfois les participants ont eu l'impression que quelque chose n'allait pas. Ce qui est désagréable, cela a fonctionné même lorsque la sortie a été spécialement modifiée afin que les explications du travail n'aient aucun sens.

Pour confirmer les résultats, les chercheurs ont mené une enquête en ligne auprès de 200 professionnels du domaine de Moscou, attirés par les listes de diffusion et les réseaux sociaux. Ils ont trouvé une confusion similaire et une confiance infondée.

Pour aggraver les choses, de nombreux participants au sondage étaient prêts à utiliser des visualisations pour prendre des décisions sur la mise en œuvre du modèle, même s'ils reconnaissaient qu'ils ne comprenaient pas les mathématiques sous-jacentes. «Il était particulièrement surprenant de voir des gens justifier les bizarreries des données en proposant des explications à ce sujet», explique Harmanpreet Kaur de l'Université du Michigan, co-auteur de l'étude. «La distorsion de l'automatisation est un facteur très important que nous n'avons pas pris en compte.»

Oh, c'est une distorsion de l'automatisation. En d'autres termes, les gens ont tendance à faire confiance aux ordinateurs. Et ce n'est pas un phénomène nouveau. Des pilotes automatiques d'avion aux systèmes de vérification orthographique, partout dans le monde, selon la recherche, les gens ont souvent tendance à faire confiance aux solutions de système, même lorsqu'ils ont manifestement tort. Mais lorsque cela se produit avec des outils spécialement conçus pour corriger uniquement ce phénomène, nous avons un problème encore plus important.

Que peut-on faire à ce sujet? Certains pensent qu'une partie des problèmes de la première vague de III est liée au fait que les chercheurs du ministère de la Défense y dominent, dont la plupart sont des experts utilisant des systèmes d'IA. Tim Miller, de l'Université de Melbourne, étudie l'utilisation des systèmes d'IA par les gens: «Il s'agit d'un hôpital psychiatrique sous le contrôle de psychos.»

C'est ce qu'Esan a réalisé sur le siège arrière d'une voiture Uber sans chauffeur. Il sera plus facile de comprendre ce que fait le système automatisé - et de voir où il ne va pas - s'il explique ses actions comme le ferait une personne. Esan et son collègue, Mark Riddle , développent un système MO qui génère automatiquement des explications similaires en langage naturel. Dans un premier prototype, le couple a pris un réseau de neurones, formé pour jouer à un jeu classique des années 1980, Frogger, et l'a formé pour donner des explications avant chaque mouvement.


parmi les voitures ... je ne peux pas passer ... j'attendrai l'écart ...

Pour ce faire, ils ont montré au système de nombreux exemples de la façon dont les gens jouent à ce jeu, commentant les actions à haute voix. Ils ont ensuite pris un réseau de neurones qui se traduisait d'une langue à une autre, et l'a adapté pour traduire les actions du jeu en explications dans un langage naturel. Et maintenant, lorsque l'Assemblée nationale voit une action dans le jeu, elle la «traduit» en explication. Le résultat est une IA jouant à Frogger qui dit des choses comme "bouger à gauche pour être derrière le camion bleu à chaque mouvement."

Le travail d'Esan et Riddle n'est que le début. Premièrement, il n'est pas clair si le système MO pourra toujours expliquer ses actions en langage naturel. Prenez AlphaZero de DeepMind en jouant au jeu de plateau go. L'une des caractéristiques les plus étonnantes de ce programme est qu'il peut faire un geste gagnant auquel les joueurs humains ne pouvaient même pas penser à ce moment particulier du jeu. Si AlphaZero pouvait expliquer ses mouvements, cela aurait-il un sens?

Les raisons peuvent aider, que nous les comprenions ou non, dit Esan: «Le but d'un III axé sur les personnes n'est pas seulement de faire accepter à l'utilisateur ce que dit l'IA, mais aussi de faire réfléchir.» Jedusor se souvient d'avoir regardé une émission du match entre DeepMind AI et le champion coréen Lee Sedol. Les commentateurs ont discuté de ce qu'AlphaZero voit et pense. "Mais AlphaZero ne fonctionne pas de cette façon", explique Riddle. "Cependant, il m'a semblé que les commentaires étaient nécessaires pour comprendre ce qui se passait."

Et bien que cette nouvelle vague de chercheurs III convienne que si plus de personnes utilisent des systèmes d'IA, ces personnes devraient participer à la conception dès le début - et différentes personnes ont besoin d'explications différentes. Ceci est confirmé par une nouvelle étude de Howley et ses collègues, dans laquelle ils ont montré que la capacité des gens à comprendre la visualisation interactive ou statique dépend de leur niveau d'éducation. Imaginez que l'IA diagnostique un cancer, dit Esan. J'aimerais que l'explication qu'il donne à l'oncologue soit différente de celle du patient.

En fin de compte, nous voulons que l'IA soit en mesure d'expliquer non seulement aux scientifiques travaillant avec des données et aux médecins, mais aussi aux policiers utilisant un système de reconnaissance d'image, aux enseignants utilisant des programmes analytiques à l'école, aux étudiants essayant de comprendre le travail des cassettes sur les réseaux sociaux - et avant toute personne sur le siège arrière d'un robot. «Nous avons toujours su que les gens ont tendance à trop faire confiance à la technologie, et cela est particulièrement vrai pour les systèmes d'IA», explique Riddle. «Plus vous appelez le système intelligent souvent, plus les gens sont convaincus qu'il est plus intelligent que les gens.»

Des explications que tout le monde pourrait comprendre pourraient détruire cette illusion.

More articles:


All Articles