Get best of the week

Por qué los requisitos de IA solo pueden empeorar las cosas

Al crear redes neuronales más transparentes, podemos comenzar a confiar demasiado en ellas. Puede valer la pena cambiar los métodos por los cuales explican su trabajo.




Apol Esan, una vez en juicio, viajó en un automóvil robótico desde Uber. En lugar de preocuparse por el asiento del conductor vacío, se les pidió a los pasajeros que miraran una pantalla "relajante", que mostraba cómo el automóvil veía el camino: los peligros se dibujaban en naranja y rojo, áreas seguras en azul oscuro.

Para Esan, que estudia la interacción de las personas con IA en el Instituto de Tecnología de Georgia en Atlanta, el mensaje que intentaron transmitirle fue comprensible: "No se preocupe, estas son las razones por las cuales la máquina se comporta de esta manera". Sin embargo, algo en la imagen alienígena de la calle no tranquilizó, sino que enfatizó la extrañeza de lo que estaba sucediendo. Esan se preguntó: ¿y si el robot robótico realmente pudiera explicarlo?

El éxito del aprendizaje profundo se basa en una selección incierta en el código: las mejores redes neuronales se ajustan y adaptan para mejorarlas aún más, y los resultados prácticos superan su comprensión teórica. En resumen, los detalles de cómo funciona el modelo entrenado son generalmente desconocidos. Ya estamos acostumbrados a pensar en la IA como una caja negra.

Y la mayoría de las veces nos conviene, cuando se trata de tareas como jugar go, traducir texto o retomar la próxima serie con Netflix. Pero si la IA se usa para ayudar a tomar decisiones en áreas tales como la aplicación de la ley, el diagnóstico médico y los vehículos robóticos, entonces debemos entender cómo toma sus decisiones y saber cuándo resultan estar equivocados.

La gente necesita la oportunidad de estar en desacuerdo con una solución automática o rechazarla, dice Iris Hawley , una científica de computación en el Williams College en Williamstown, Massachusetts. Y sin ella, la gente resistirá esta tecnología. "Ya se puede observar cómo sucede esto, en forma de reacciones de las personas a los sistemas de reconocimiento facial", dice ella.

Esan es parte de un pequeño pero creciente grupo de investigadores que intenta mejorar la capacidad de AI para explicar y ayudarnos a mirar dentro de la caja negra. El propósito de crear el llamado interpretado o explicado por AI (III) es ayudar a las personas a comprender qué signos de datos está realmente aprendiendo la red neuronal, y decidir si el modelo resultante resultó ser preciso e imparcial.

Una solución es crear sistemas de aprendizaje automático (MO) que demuestren el interior de su trabajo, los llamados acuario AI, en lugar de la IA en el cuadro negro. Los modelos de acuario suelen ser versiones radicalmente simplificadas del NS, en las que es más fácil rastrear cómo los datos individuales afectan el modelo.

"Hay personas en esta comunidad que recomiendan el uso de modelos de acuarios en cualquier situación de alto riesgo", diceJennifer Worthman Vaughn , Especialista en TI en Microsoft Research. "Y en general, estoy de acuerdo". Los modelos simples de acuarios pueden funcionar tan bien como los NS más complejos, en ciertos tipos de datos estructurados, como tablas o estadísticas. Y en algunos casos esto es suficiente.

Sin embargo, todo depende del área de trabajo. Si queremos aprender de datos borrosos como imágenes o texto, no tenemos más remedio que usar redes neuronales profundas, y por lo tanto opacas. La capacidad de tales NS para encontrar una conexión significativa entre una gran cantidad de características dispares está asociada con su complejidad.

E incluso aquí, el acuario MO puede ayudar. Una solución es revisar los datos dos veces, entrenando el modelo de acuario imperfecto como un paso de depuración para detectar posibles errores que le gustaría corregir. Después de limpiar los datos, también puede entrenar un modelo más preciso de IA en un cuadro negro.

Sin embargo, ese equilibrio es difícil de mantener. Demasiada transparencia puede causar sobrecarga de información. En un estudio de 2018, que examinó la interacción de usuarios no capacitados con herramientas MO, Vaughn descubrió que los modelos transparentes en realidad pueden complicar la búsqueda y la corrección de los errores del modelo.

Otro enfoque es incluir una visualización que muestre varias propiedades clave del modelo y los datos subyacentes. La idea es identificar problemas serios a simple vista. Por ejemplo, un modelo puede depender demasiado de ciertos atributos, lo que puede ser una señal de sesgo.

Estas herramientas de visualización se han vuelto extremadamente populares en poco tiempo. ¿Pero hay algún uso para ellos? En el primer estudio de este tipo, Vaughn y el equipo intentaron responder a esta pregunta, y finalmente encontraron varios problemas graves.

El equipo tomó dos herramientas interpretativas populares que proporcionan una visión general del modelo con la ayuda de gráficos y tablas, donde se observa a qué datos prestó atención principalmente el modelo durante el entrenamiento. Once profesionales de IA con diversos antecedentes, antecedentes y antecedentes han sido contratados por Microsoft. Participaron en una simulación de interacción con el modelo MO, capacitados en datos de ingresos nacionales del Censo de Estados Unidos de 1994. El experimento fue diseñado específicamente para simular cómo los científicos de datos usan herramientas de interpretación para realizar sus tareas diarias.

El equipo encontró algo asombroso. Sí, a veces las herramientas ayudan a las personas a encontrar valores faltantes en los datos. Sin embargo, toda esta utilidad se ha desvanecido en comparación con la tendencia a la confianza excesiva en las visualizaciones, así como a los errores en su comprensión. A veces los usuarios ni siquiera pueden describir lo que demuestran exactamente las visualizaciones. Esto condujo a suposiciones incorrectas con respecto al conjunto de datos, los modelos y las herramientas de interpretación en sí. También inspiró una falsa confianza en las herramientas y despertó el entusiasmo por poner en práctica estos modelos, aunque a veces a los participantes les pareció que algo iba mal. Lo que es desagradable, funcionó incluso cuando la salida se ajustó especialmente para que las explicaciones del trabajo no tuvieran sentido.

Para confirmar los hallazgos, los investigadores realizaron una encuesta en línea entre 200 profesionales en el campo de Moscú, atraídos a través de listas de correo y redes sociales. Encontraron una confusión similar y una confianza infundada.

Para empeorar las cosas, muchos participantes de la encuesta estaban dispuestos a usar visualizaciones para tomar decisiones sobre la implementación del modelo, a pesar de reconocer que no entendían las matemáticas subyacentes. "Fue especialmente sorprendente ver a las personas justificar las rarezas en los datos al dar explicaciones para esto", dijo Harmanpreet Kaur, de la Universidad de Michigan, coautor del estudio. "La distorsión de la automatización es un factor muy importante que no hemos considerado".

Oh, esto es una distorsión de la automatización. En otras palabras, las personas tienden a confiar en las computadoras. Y este no es un fenómeno nuevo. Desde pilotos automáticos de aviones hasta sistemas de corrección ortográfica, en todas partes, según la investigación, las personas a menudo tienden a confiar en las soluciones del sistema, incluso cuando obviamente están equivocadas. Pero cuando esto sucede con herramientas diseñadas específicamente para corregir solo este fenómeno, tenemos un problema aún mayor.

¿Qué se puede hacer con esto? Algunos creen que parte de los problemas de la primera ola de III están relacionados con el hecho de que los investigadores del Ministerio de Defensa dominan, la mayoría de los cuales son expertos que utilizan sistemas de inteligencia artificial. Tim Miller, de la Universidad de Melbourne, estudia el uso de sistemas de IA por parte de las personas: "Este es un hospital psiquiátrico bajo el control de psicópatas".

Esto es lo que Esan se dio cuenta en el asiento trasero de un automóvil Uber sin conductor. Será más fácil entender lo que hace el sistema automatizado, y ver dónde está mal, si explica sus acciones como lo haría una persona. Esan y su colega, Mark Riddle , están desarrollando un sistema MO que genera automáticamente explicaciones similares en lenguaje natural. En un prototipo temprano, la pareja tomó una red neuronal, se entrenó para jugar un juego clásico de la década de 1980, Frogger, y lo entrenó para dar explicaciones antes de cada movimiento.


entre los autos ... No puedo pasar ... Esperaré la brecha ...

Para hacer esto, mostraron al sistema muchos ejemplos de cómo las personas juegan este juego, comentando las acciones en voz alta. Luego tomaron una red neuronal que traducía de un idioma a otro y la adaptaron para traducir las acciones del juego en explicaciones en un lenguaje natural. Y ahora, cuando la Asamblea Nacional ve una acción en el juego, la "traduce" en una explicación. El resultado es una IA jugando a Frogger que dice cosas como "moverse hacia la izquierda para estar detrás del camión azul con cada movimiento".

El trabajo de Esan y Riddle es solo el comienzo. En primer lugar, no está claro si el sistema MO siempre podrá explicar sus acciones en lenguaje natural. Tome AlphaZero de DeepMind jugando el juego de mesa go. Una de las características más sorprendentes de este programa es que puede hacer un movimiento ganador que los jugadores humanos ni siquiera podrían pensar en ese momento particular del juego. Si AlphaZero pudiera explicar sus movimientos, ¿sería significativo?

Las razones pueden ayudar, ya sea que las entendamos o no, dice Esan: "El objetivo de un III con un enfoque en las personas no es solo hacer que el usuario acepte lo que dice la IA, sino también pensar un poco". Riddle recuerda haber visto una transmisión del partido entre DeepMind AI y el campeón coreano Lee Sedol. Los comentaristas discutieron lo que AlphaZero ve y piensa. "Pero AlphaZero no funciona de esa manera", dice Riddle. "Sin embargo, me pareció que los comentarios eran necesarios para comprender lo que estaba sucediendo".

Y aunque esta nueva ola de investigadores III está de acuerdo en que si más personas usan sistemas de IA, estas personas deberían participar en el diseño desde el principio, y diferentes personas necesitan explicaciones diferentes. Esto lo confirma un nuevo estudio realizado por Howley y sus colegas, en el que mostraron que la capacidad de las personas para comprender la visualización interactiva o estática depende de su nivel de educación. Imagine que AI diagnostica cáncer, dice Esan. Me gustaría que la explicación que le da al oncólogo sea diferente de la explicación para el paciente.

En última instancia, queremos que la IA pueda explicar no solo a los científicos que trabajan con datos y médicos, sino también a los policías que usan un sistema de reconocimiento de imágenes, los maestros que usan programas analíticos en la escuela, los estudiantes que intentan comprender el trabajo de las cintas en las redes sociales, y antes cualquier persona en el asiento trasero de un robot robótico. "Siempre supimos que las personas tienden a confiar demasiado en la tecnología, y esto es especialmente cierto para los sistemas de inteligencia artificial", dice Riddle. "Cuanto más a menudo llames al sistema inteligente, más personas confían en que es más inteligente que las personas".

Las explicaciones que todos podrían entender podrían destruir esta ilusión.

More articles:


All Articles