"No daremos lugar a teorías de conspiración". Hable sobre conferencias de ML con personas de compañías de ciencia y TI

Ahora casi no se realizan eventos públicos, pero esperamos que la situación cambie pronto (y estamos haciendo esfuerzos para hacerlo). Esperamos que los eventos transferidos se realicen en otras fechas, y los eventos futuros no se cancelarán, ya que no será necesario cancelarlos. Incluso en 2020, se deberían celebrar docenas de grandes conferencias sobre aprendizaje automático.

NeurIPS (anteriormente NIPS) se considera el más prestigioso de ellos. Cada año, NeurIPS reúne a miles de investigadores e ingenieros que presentan sus resultados científicos en diferentes áreas de ML: aprendizaje profundo, aprendizaje reforzado, optimización escalable, métodos bayesianos y más.



Basado en el NeurIPS celebrado hace unos meses en Vancouver, tuvimos una discusión donde invitamos a expertos del mundo científico y del mundo de TI. Cada uno de ellos está interesado en diferentes cosas en el aprendizaje automático, la experiencia de visitar NeurIPS también es diferente. Debajo del corte: un breve resumen de aquellas partes de la discusión que se relacionan con las razones para asistir a la conferencia.

Miembros

Dmitry Vetrov . Candidato de Phys.-Math Sci., Profesor-investigador, Facultad de Informática, HSE, jefe del Laboratorio Samsung en HSE y profesor de ShAD. El autor de más de 130 artículos científicos. Dima ha hecho repetidamente publicaciones en las principales conferencias de ML, incluido NeurIPS. Ha estado en la conferencia cinco veces desde 2011: como orador y como participante.

Mikhail Burtsev . Doctorado en Física y Matemáticas, Jefe del Laboratorio de Sistemas Neurales y Aprendizaje Profundo MIPT. Coautor de más de 20 artículos científicos. Desde 2017, lleva a cabo concursos en sistemas de diálogo en NeurIPS, está interesada en todo lo relacionado con la inteligencia artificial conversacional.

Sergey KolesnikovScitator. Líder de I + D en Tinkoff, jefe de proyecto en Catalyst, investigador en Yandex y MIPT. Los últimos cinco años han estado involucrados en DL y RL. NeurIPS visitó por primera vez en 2019.

Mikhail Bilenko . Jefe de Machine Intelligence and Research en Yandex, anteriormente trabajó en Microsoft. Área de interés: aprendizaje distribuido. Participa en NeurIPS desde 2005, solo lo perdí tres veces.

Konstantin Lahmanklakhman. Jefe de Visión por Computadora y Aplicaciones de ML en Yandex. Interesado en CV y ​​PNL. Monta el NeurIPS todos los años, a partir de 2014.

Alexey Natekinnatekin. Creador y dictador de Open Data Science (ODS): la comunidad en línea más grande de científicos de datos en el CIS. Las áreas de interés en ML son meta aprendizaje, aprendizaje federado, aprendizaje de transferencia y todo lo que se encuentra alrededor del auto-ML. Fue a NeurIPS por primera vez en 2016, participó dos veces y dos veces ayudó a organizar competiciones.

Descansa con carga de ingeniería matemática

¿Por qué montas NeurIPS?

Sergey Kolesnikov :
Durante los últimos tres años he estado promoviendo RL, esta es una de las razones por las que quería llegar allí. Gané el concurso, me invitaron, pero es difícil hacer una visa por un mes en Canadá. Y en 2019, finalmente entendí: había una visa del pasado de NeurIPS, que se realizó durante seis meses. Esta es una historia de éxito y tres visas perdidas.

Mikhail Bilenko :
Allí encuentro artículos y personas a las que no encontraría de otra manera, me comunico con mis colegas. En 2016, fui a NeurlPS sin trabajo, justo entonces conocimos a Kostya Lahman. La conferencia es un excelente turismo de ingeniería y ciencia: descanso, pero con una carga matemática y de ingeniería. Le permite no engordar, corregir la forma y estar en buena forma. No puede distraerse con las tareas laborales, solo obtiene puro placer intelectual.

Dmitry Vetrov :
Cuando era más joven e inteligente, fui a aprender nuevas direcciones y nuevas técnicas de aprendizaje automático. Después de unos diez años, comenzó a parecer que los informes ya no eran tan geniales, y pronto no pude encontrar nada valioso para mí. Pero hasta ahora cada vez que me llevo de la conferencia muchas cosas interesantes, algo que no se puede leer en arXiv.

Mikhail Burtsev :
Me uno a Dima. Por un lado, parece extraño venir y escuchar lo que leíste hace mucho tiempo. Por otro lado, la conferencia ayuda a prestar atención al trabajo que quizás no haya notado. Al comunicarse con otras personas, puede obtener una visión completamente nueva de su trabajo, ver algo que usted no había visto antes. Y a diferencia de los artículos, aquí la gente todavía discute lo que está haciendo ahora o planea hacer. Esto ayuda a ajustar el curso de su trabajo, no a cometer errores. De repente, puede descubrir que no necesita hacer lo que iba a hacer.

Konstantin Lahman :
Además de la creación de redes, hay otro punto importante: la conferencia ayuda a verificar dónde sopla el viento. Cuando el NIPS era ligeramente más pequeño, la dirección del viento era más comprensible. Primero, el viento sopló en las velas de las redes GAN, luego en las velas de la PNL, luego en el RL.

Ahora a veces hay una sensación de que el viento sopla en todas las velas al mismo tiempo, pero no tanto. Sin embargo, es útil compararse con lo que está sucediendo en el mundo en su esfera. La coincidencia es opcional, pero interesante para comparar.

La ciencia moderna está diseñada para que no se publiquen resultados negativos. Solo los positivos se publican, desafortunadamente. Tales conferencias son una excelente manera de descubrir qué y por qué no funcionó.

Alexey Natekin :
Hay una temperatura promedio en la sala: lo que dicen en la conferencia en sí y lo que está al margen en la fiesta posterior. Las conversaciones entre bastidores son quizás más interesantes que las de la sala. Algo realmente nuevo se puede encontrar principalmente en los talleres, porque las solicitudes de participación en ellos se presentan en un mes, y las solicitudes de participación en la conferencia en sí, en seis meses.

De año en año, la conferencia crece y cambia un poco, pero no se agrega nada fundamentalmente nuevo. ¿No crees que la novedad científica se está reduciendo?

Dmitry Vetrov :
Para citar a Axiom Cole: "La suma de la mente en el planeta es un valor constante, y la población está en constante crecimiento". Me parece que la novedad científica en la conferencia también es un valor constante, y cada vez hay más conferencias. Por lo tanto, en mi opinión, el nivel promedio de informes en NeurIPS está cayendo.

Mikhail Bilenko :
Dima dijo correctamente, pero siempre es importante para mí sacar algo útil de ese porcentaje del material que sigue siendo interesante. Existe la ley de Sturgeon de que el 90% de todo es una tontería. Me concentro en los diez restantes. Y en la proporción cuantitativa de tonterías se volvió más, estoy de acuerdo.

Konstantin Lahman :
Por cierto, me parece que lo que sucede con NeurlPS no es lo mismo que con todas las conferencias. Debido al marco administrativo, está tratando de ser una reserva de este tipo, donde se mantiene artificialmente la población mínima necesaria de todas las regiones. Las conferencias de CV se organizan de manera diferente: no hay trabajo sobre algún tema; bueno, mucho trabajo sobre otro tema también es bueno.

Mikhail Bilenko :
Estuve en el comité del programa NeurIPS durante varios años y, sin embargo, de hecho, hay una distribución bastante orgánica de las áreas. No generemos teorías de conspiración.

Academia y empresas de TI

¿Qué tan visible es el problema con NeurlPS de que los modelos deben aprenderse en toneladas de GPU y que las empresas y no las academias pueden permitírselo?

Mikhail Bilenko :
En los últimos años, los organizadores han estado celebrando una reunión abierta. En él, los académicos dicen que los camaradas de las grandes compañías de TI escriben artículos solo porque tienen un hardware genial y pueden realizar experimentos gigantescos. Nuestros recursos no son realmente iguales. Por lo tanto, hay grandes demandas para que los resultados sean reproducibles.

Pregunta a los científicos. ¿Qué le parece el hecho de que muchas personas de la industria vienen a la conferencia y escuchan informes, se comunican, pero no aportan nada nuevo?

Dmitry Vetrov :
Siento un gran revuelo cuando puedo hablar sobre lo que he hecho a un gran número de personas: no importa a los científicos o especialistas de la industria. Lo principal es que les gusta mi trabajo tanto como los científicos.

Mikhail Burtsev :
A mí no me importa quién es de la industria y quién de los científicos, especialmente porque ahora muchos científicos se han mudado a la industria, y todo está mezclado. Es importante que sea interesante comunicarse con la persona. En este sentido, me gustan más los talleres: allí el círculo de personas es limitado y hay más oportunidades de comunicación.

Siempre hay una brecha entre lo que hace la ciencia y lo que entra en producción. ¿Qué tan cerca están los artículos presentados en la conferencia de lo que se puede implementar rápidamente en producción?

Konstantin Lahman :
Es incorrecto decir eso sobre NeurIPS, porque originalmente no hay prácticamente nada que pueda aplicarse inmediatamente en la producción. El presupuesto de la conferencia consiste en contribuciones de patrocinadores y participantes. La mayoría de los participantes son de la industria. Resulta que las compañías de TI pagan por una conferencia científica. Y esto plantea una pregunta interesante: ¿debería la comunidad científica tener esto en cuenta de alguna manera? La industria paga más por su trabajo. ¿Quizás él también necesita algo para ayudar a la industria?

NeurlPS se trata de encontrar inspiración y comprensión donde se desarrolla el aprendizaje automático.

Sergey Kolesnikov :
Sí, NeurIPS es interesante precisamente porque en una semana logras hablar con un gran número de personas, puedes sumergirte en varios casos industriales y académicos, obtener una visión amplia de todo lo que sucede. Todas las ideas a partir de ahí se pueden poner en un cuadro negro y luego abrirlo periódicamente. Y en la próxima conferencia ya es para verificar qué funcionó y qué no. En este sentido, divino.

Principales conferencias de ML

Si solo pudieras asistir a dos conferencias del año, ¿qué elegirías?

Alexey Natekin :
Data Fest y Data Fest en Minsk!

Konstantin Lahman :
NeurIPS y CVPR.

Mikhail
Burtsev : NeurIPS y PNL.

Mikhail Bilenko :
ICML y NeurlPS.

Sergey Kolesnikov :
NeurlPS y Data Fest.

Dmitry Vetrov :
ICML y NeurlPS. ¡Intercambíalos cuando no haya atascos en NeurlPS!

Vídeo