Get best of the week

Por que os requisitos de IA podem piorar as coisas

Ao criar redes neurais mais transparentes, podemos começar a confiar demais nelas. Pode valer a pena mudar os métodos pelos quais eles explicam seu trabalho.




Apol Esan, uma vez em julgamento, pegou uma carona em um carro robótico da Uber. Em vez de se preocupar com o banco do motorista vazio, os passageiros foram convidados a assistir a uma tela "calma", que mostrava como o carro via a estrada: perigos eram traçados em laranja e vermelho, áreas seguras em azul escuro.

Para Esan, que estuda a interação de pessoas com IA no Instituto de Tecnologia da Geórgia, em Atlanta, a mensagem que eles tentaram transmitir a ele foi compreensível: "Não se preocupe, essas são as razões pelas quais a máquina se comporta dessa maneira". No entanto, algo na imagem alienígena da rua não tranquilizou, mas enfatizou a estranheza do que estava acontecendo. Esan se perguntou: e se o robomóvel pudesse realmente explicar?

O sucesso da aprendizagem profunda baseia-se na escolha incerta do código: as melhores redes neurais se ajustam e se adaptam para melhorá-las ainda mais, e os resultados práticos superam sua compreensão teórica. Em resumo, os detalhes de como o modelo treinado funciona são geralmente desconhecidos. Já estamos acostumados a pensar na IA como uma caixa preta.

E na maioria das vezes isso nos convém - quando se trata de tarefas como jogar, traduzir texto ou pegar a próxima série com a Netflix. Mas se a IA é usada para ajudar a tomar decisões em áreas como aplicação da lei, diagnóstico médico e veículos robóticos, precisamos entender como ela toma suas decisões e saber quando elas se mostram erradas.

As pessoas precisam da oportunidade de discordar de uma solução automática ou rejeitá-la, diz Iris Hawley , cientista da computação do Williams College em Williamstown, Massachusetts. E sem ela, as pessoas vão resistir a essa tecnologia. "Agora você já pode observar como isso acontece, na forma de reações das pessoas aos sistemas de reconhecimento facial", diz ela.

Esan faz parte de um pequeno mas crescente grupo de pesquisadores que tentam melhorar a capacidade da IA ​​de explicar e nos ajudar a examinar a caixa preta. O objetivo de criar o chamado interpretado ou explicado por AI (III) é ajudar as pessoas a entenderem quais sinais de dados a rede neural está realmente aprendendo - e decidir se o modelo resultante acabou sendo preciso e imparcial.

Uma solução é criar sistemas de aprendizado de máquina (MO) que demonstrem o interior de seu trabalho - os chamados AI do aquário, em vez da AI na caixa preta. Os modelos de aquário geralmente são versões radicalmente simplificadas do NS, nas quais é mais fácil rastrear como dados individuais afetam o modelo.

"Há pessoas nesta comunidade que pedem o uso de modelos de aquário em qualquer situação de alto risco", dizJennifer Worthman Vaughn , especialista em TI da Microsoft Research. "E no geral, eu concordo." Modelos simples de aquário podem funcionar tão bem quanto NSs mais complexos, em certos tipos de dados estruturados, como tabelas ou estatísticas. E, em alguns casos, isso é suficiente.

No entanto, tudo depende da área de trabalho. Se queremos aprender com dados confusos, como imagens ou texto, não temos escolha a não ser usar redes neurais profundas e, portanto, opacas. A capacidade desses NSs de encontrar uma conexão significativa entre um grande número de recursos diferentes está associada à sua complexidade.

E mesmo aqui, o aquário MO pode ajudar. Uma solução é analisar os dados duas vezes, treinando o modelo imperfeito de aquário como uma etapa de depuração para detectar possíveis erros que você deseja corrigir. Depois de limpar os dados, você também pode treinar um modelo mais preciso de IA em uma caixa preta.

No entanto, esse equilíbrio é difícil de manter. Muita transparência pode causar sobrecarga de informações. Em um estudo de 2018, que examinou a interação de usuários não treinados com ferramentas de MO, Vaughn descobriu que modelos transparentes podem realmente complicar a pesquisa e a correção de erros de modelo.

Outra abordagem é incluir uma visualização que mostre várias propriedades principais do modelo e os dados subjacentes. A idéia é identificar problemas sérios a olho nu. Por exemplo, um modelo pode depender muito de certos atributos, que podem ser um sinal de viés.

Essas ferramentas de visualização tornaram-se extremamente populares em pouco tempo. Mas existe alguma utilidade para eles? No primeiro estudo desse tipo, Vaughn e a equipe tentaram responder a essa pergunta e, eventualmente, encontraram vários problemas sérios.

A equipe adotou duas ferramentas interpretativas populares que fornecem uma visão geral do modelo com a ajuda de gráficos e tabelas, onde é observado quais dados o modelo prestou atenção principalmente durante o treinamento. Onze profissionais de IA com vários fundos, fundos e fundos foram contratados da Microsoft. Eles participaram de uma simulação de interação com o modelo MO, treinado em dados de renda nacional do Censo dos Estados Unidos de 1994. O experimento foi projetado especificamente para simular como os cientistas de dados usam ferramentas de interpretação para executar suas tarefas diárias.

A equipe encontrou algo incrível. Sim, às vezes as ferramentas ajudavam as pessoas a encontrar valores ausentes nos dados. No entanto, toda essa utilidade desapareceu em comparação com a tendência à confiança excessiva nas visualizações, bem como a erros de entendimento. Às vezes, os usuários não conseguem nem descrever o que exatamente as visualizações demonstram. Isso levou a suposições incorretas sobre o conjunto de dados, modelos e as próprias ferramentas de interpretação. Também inspirou falsa confiança nas ferramentas e despertou entusiasmo para colocar esses modelos em prática, embora às vezes parecesse aos participantes que algo estava errado. O que é desagradável, funcionou mesmo quando a saída foi especialmente aprimorada para que as explicações do trabalho não fizessem sentido.

Para confirmar as descobertas, os pesquisadores realizaram uma pesquisa on-line entre 200 profissionais da área de Moscou, atraídos por listas de discussão e redes sociais. Eles encontraram confusão semelhante e confiança infundada.

Para piorar a situação, muitos participantes da pesquisa estavam dispostos a usar visualizações para tomar decisões sobre a implementação do modelo, apesar de reconhecerem que não entendiam a matemática subjacente. "Foi especialmente surpreendente ver as pessoas justificarem as esquisitices dos dados, apresentando explicações para isso", disse Harmanpreet Kaur, da Universidade de Michigan, co-autor do estudo. "A distorção da automação é um fator muito importante que não consideramos".

Oh, isso é uma distorção da automação. Em outras palavras, as pessoas tendem a confiar em computadores. E este não é um fenômeno novo. De pilotos automáticos de aviões a sistemas de verificação ortográfica, em todos os lugares, de acordo com a pesquisa, as pessoas costumam confiar nas soluções do sistema, mesmo quando estão obviamente erradas. Mas quando isso acontece com ferramentas projetadas especificamente para corrigir esse fenômeno, temos um problema ainda maior.

O que pode ser feito sobre isso? Alguns acreditam que parte dos problemas da primeira onda do III está relacionada ao fato de os pesquisadores do Ministério da Defesa dominarem, a maioria dos quais são especialistas em sistemas de IA. Tim Miller, da Universidade de Melbourne, estudando o uso de sistemas de IA por pessoas: "Este é um hospital psiquiátrico sob o controle de psicopatas".

Foi isso que Esan percebeu no banco de trás de um carro da Uber sem motorista. Será mais fácil entender o que o sistema automatizado faz - e ver onde ele está errado - se explicar suas ações da maneira que uma pessoa faria. Esan e seu colega, Mark Riddle , estão desenvolvendo um sistema MO que gera automaticamente explicações semelhantes em linguagem natural. Em um protótipo inicial, o casal pegou uma rede neural, treinou para jogar um jogo clássico dos anos 80, Frogger, e treinou-o para dar explicações antes de cada movimento.


entre os carros ... eu não consigo passar ... vou esperar a diferença ...

Para fazer isso, eles mostraram ao sistema muitos exemplos de como as pessoas jogam esse jogo, comentando ações em voz alta. Então eles pegaram uma rede neural que traduzia de um idioma para outro e o adaptou para traduzir as ações do jogo em explicações em um idioma natural. E agora, quando a Assembléia Nacional vê uma ação no jogo, ela a "traduz" em uma explicação. O resultado é uma IA que joga Frogger que diz coisas como "mover para a esquerda para ficar atrás do caminhão azul a cada movimento".

O trabalho de Esan e Riddle é apenas o começo. Em primeiro lugar, não está claro se o sistema MO sempre será capaz de explicar suas ações em linguagem natural. Pegue o AlphaZero do DeepMind no jogo de tabuleiro go. Uma das características mais surpreendentes deste programa é que ele pode fazer uma jogada vencedora na qual os jogadores humanos nem sequer podiam pensar naquele momento específico do jogo. Se o AlphaZero pudesse explicar seus movimentos, isso seria significativo?

As razões podem ajudar, quer as entendamos ou não, Esan diz: "O objetivo de um III com foco nas pessoas não é apenas fazer o usuário aceitar o que a IA diz - mas também causar algum pensamento". Riddle se lembra de assistir à transmissão da partida entre o DeepMind AI e o campeão coreano Lee Sedol. Os comentaristas discutiram o que o AlphaZero vê e pensa. "Mas o AlphaZero não funciona assim", diz Riddle. "No entanto, pareceu-me que os comentários eram necessários para entender o que estava acontecendo".

E embora essa nova onda de pesquisadores da III concorde que se mais pessoas usarem sistemas de IA, essas pessoas devem participar do projeto desde o início - e pessoas diferentes precisam de explicações diferentes. Isso é confirmado por um novo estudo de Howley e seus colegas, no qual eles mostraram que a capacidade das pessoas de entender a visualização interativa ou estática depende do nível de escolaridade. Imagine a IA diagnosticando câncer, diz Esan. Eu gostaria que a explicação que ele desse ao oncologista fosse diferente da explicação para o paciente.

Por fim, queremos que a IA seja capaz de explicar não apenas cientistas que trabalham com dados e médicos, mas também policiais usando um sistema de reconhecimento de imagem, professores usando programas analíticos na escola, alunos tentando entender o trabalho das fitas nas redes sociais - e antes Qualquer pessoa no banco de trás de um robomóvel "Sempre soubemos que as pessoas tendem a confiar demais na tecnologia, e isso é especialmente verdadeiro para os sistemas de IA", diz Riddle. "Quanto mais você chama o sistema de inteligente, mais as pessoas confiam que é mais inteligente do que as pessoas".

Explicações que todos pudessem entender poderiam destruir essa ilusão.

More articles:


All Articles