"Não daremos origem a teorias da conspiração". Fale sobre conferências de ML com pessoas de empresas de ciência e TI

Agora, quase nenhum evento público ocorre, mas esperamos que a situação mude em breve (e estamos fazendo esforços para fazer isso). Esperamos que os eventos transferidos ocorram em outras datas e os eventos futuros não serão cancelados, pois não haverá necessidade de cancelá-los. Incluindo em 2020, dezenas de grandes conferências sobre aprendizado de máquina devem ser realizadas.

NeurIPS (anteriormente NIPS) é considerado o mais prestigiado deles. A cada ano, a NeurIPS reúne milhares de pesquisadores e engenheiros que apresentam seus resultados científicos em diferentes áreas da ML: aprendizado profundo, aprendizado reforçado, otimização escalável, métodos bayesianos e muito mais.



Com base no NeurIPS realizado há alguns meses em Vancouver, tivemos uma discussão em que convidamos especialistas do mundo científico e do mundo da TI. Cada um deles está interessado em coisas diferentes no aprendizado de máquina, a experiência de visitar o NeurIPS também é diferente. Sob o corte - um breve aperto das partes da discussão relacionadas aos motivos de participação na conferência.

Membros

Dmitry Vetrov . Candidato de Física-Matemática Sci., Professor-pesquisador, Faculdade de Ciência da Computação, HSE, chefe do Laboratório Samsung da HSE e professor da ShAD. O autor de mais de 130 trabalhos científicos. Dima fez publicações várias vezes nas principais conferências de ML, incluindo o NeurIPS. Ele esteve na conferência cinco vezes desde 2011: como palestrante e como participante.

Mikhail Burtsev . Doutora em Física e Matemática, Chefe do Laboratório de Sistemas Neurais e Deep Learning MIPT. Co-autor de mais de 20 artigos científicos. Desde 2017, ela realiza concursos em sistemas de diálogo no NeurIPS, está interessada em tudo relacionado à inteligência artificial conversacional.

Sergey KolesnikovScitator. Líder de pesquisa e desenvolvimento na Tinkoff, líder de projeto na Catalyst, pesquisador na Yandex e MIPT. Os últimos cinco anos foram contratados em DL e RL. NeurIPS visitado pela primeira vez em 2019.

Mikhail Bilenko . Chefe de Inteligência de Máquina e Pesquisa na Yandex, trabalhou anteriormente na Microsoft. Área de interesse - aprendizado distribuído. Participa do NeurIPS desde 2005, perdeu apenas três vezes.

Konstantin Lahmanklakhman. Chefe de Visão Computacional e Aplicações ML na Yandex. Interessado em CV e PNL. Conduz o NeurIPS todos os anos, a partir de 2014.

Alexey Natekinnatekin. Criador e ditador da Open Data Science (ODS) - a maior comunidade on-line de cientistas de dados da CEI. As áreas de interesse no ML são o meta-aprendizado, o aprendizado federado, o aprendizado por transferência e tudo o que existe ao redor do auto-ML. Ele foi ao NeurIPS pela primeira vez em 2016, participou duas vezes e duas vezes ajudou a organizar competições.

Descanse com a carga matemática de engenharia

Por que você monta NeurIPS?

Sergey Kolesnikov :
Nos últimos três anos venho promovendo a RL, essa é uma das razões pelas quais eu queria chegar lá. Ganhei a competição, fui convidado, mas é difícil fazer um visto por um mês no Canadá. E em 2019, finalmente entendi: havia um visto do passado do NeurIPS, que foi feito por seis meses. Esta é uma história de sucesso e três vistos perdidos.

Mikhail Bilenko :
Lá encontro artigos e pessoas que não encontraria de outra maneira, comunico-me com colegas. Em 2016, fui para o NeurlPS sem trabalho, e então conhecemos Kostya Lahman. A conferência é um excelente turismo de engenharia e científico: descanso, mas com uma carga matemática e de engenharia. Permite não engordar, corrigir a forma e estar em boa forma. Você não pode se distrair com as tarefas de trabalho - apenas obtém puro prazer intelectual.

Dmitry Vetrov :
Quando eu era mais jovem e inteligente, fui aprender novas direções e novas técnicas de aprendizado de máquina. Após cerca de dez anos, começou a parecer que os relatórios não eram mais tão legais e logo eu não consegui descobrir nada valioso para mim. Mas até agora todas as vezes que retiro da conferência muitas coisas interessantes - algo que não pode ser lido no arXiv.

Mikhail Burtsev :
Eu me junto a Dima. Por um lado, parece estranho ouvir o que você lê há muito tempo. Por outro lado, a conferência ajuda a prestar atenção ao trabalho que você talvez não tenha notado. Ao se comunicar com outras pessoas, você pode ter uma visão completamente nova do seu trabalho, ver algo que você nunca tinha visto antes. E, diferentemente dos artigos, aqui as pessoas ainda discutem o que estão fazendo agora ou planejando fazer. Isso ajuda a ajustar o curso de seu trabalho, não cometer erros. De repente, você pode descobrir que não precisa fazer o que ia fazer.

Konstantin Lahman :
Além das redes, há outro ponto importante - a conferência ajuda a verificar onde o vento sopra. Quando o NIPS era um pouco menor, a direção do vento era mais compreensível. Primeiro, o vento soprava nas velas das redes GAN, depois nas velas da PNL, depois na RL.

Agora, às vezes, há a sensação de que o vento sopra em todas as velas ao mesmo tempo, mas não tanto. No entanto, é útil comparar-se com o que está acontecendo no mundo em sua esfera. A correspondência é opcional, mas interessante de comparar.

A ciência moderna é projetada para que resultados negativos não sejam publicados. Infelizmente, apenas os positivos são publicados. Essas conferências são uma ótima maneira de descobrir o que e por que não funcionou.

Alexey Natekin :
Há uma temperatura média na sala: o que dizem na própria conferência e o que fica à margem no pós-festa. As conversas nos bastidores são talvez mais interessantes do que as do salão. Algo verdadeiramente novo pode ser encontrado principalmente em oficinas, porque os pedidos de participação neles são apresentados em um mês e os pedidos de participação na própria conferência - em seis meses.

De ano para ano, a conferência cresce e muda um pouco, mas nada de fundamentalmente novo é adicionado. Você não acha que a novidade científica está diminuindo?

Dmitry Vetrov :
Para citar Axiom Cole: "A soma da mente do planeta é um valor constante e a população está em constante crescimento". Parece-me que a novidade científica da conferência também é um valor constante, e há cada vez mais conferências. Portanto, na minha opinião, o nível médio de relatórios no NeurIPS está caindo.

Mikhail Bilenko :
Dima disse corretamente, mas é sempre importante para mim tirar algo útil dessa porcentagem do material que permanece interessante. Existe a lei do esturjão de que 90% de tudo é um absurdo completo. Eu me concentro nos dez restantes. E, na proporção quantitativa de bobagens, tornou-se mais, eu concordo.

Konstantin Lahman :
A propósito, parece-me que o que acontece com o NeurlPS não é o mesmo de todas as conferências. Devido à estrutura administrativa, está tentando ser uma reserva, onde a população mínima necessária de todas as regiões é artificialmente mantida. As conferências de CV são organizadas de maneira diferente: não há trabalho em algum tópico - bem, muito trabalho em outro tópico também é bom.

Mikhail Bilenko :
Eu participei do comitê do programa NeurIPS por vários anos e, de fato, há uma distribuição bastante orgânica das áreas. Não vamos gerar teorias da conspiração.

Academia e empresas de TI

Quão visível é o problema do NeurlPS de que os modelos precisam ser aprendidos em toneladas de GPUs, e as empresas e não as academias podem pagar?

Mikhail Bilenko :
Nos últimos anos, os organizadores realizaram uma reunião aberta. Nele, os acadêmicos dizem que camaradas de grandes empresas de TI escrevem artigos apenas pelo fato de terem um hardware interessante e de realizar experiências gigantescas. Nossos recursos realmente não são iguais. Portanto, há grandes demandas para que os resultados sejam reproduzíveis.

Pergunta aos cientistas. Como você se sente com o fato de muitas pessoas do setor comparecerem à conferência que ouvem relatórios, se comunicam, mas não trazem nada de novo?

Dmitry Vetrov :
Sinto um grande burburinho quando consigo falar sobre o que fiz com um grande número de pessoas - isso não importa para cientistas ou especialistas do setor. O principal é que eles gostam tanto do meu trabalho quanto dos cientistas.

Mikhail Burtsev : Para
mim, não importa quem é da indústria e quem é dos cientistas, tanto mais agora que agora muitos cientistas se mudaram para a indústria e tudo está confuso. É importante que seja interessante se comunicar com a pessoa. A esse respeito, gosto mais de oficinas - lá o círculo de pessoas é limitado e há mais oportunidades de comunicação.

Sempre existe uma lacuna entre o que a ciência faz e o que entra em produção. Qual a proximidade dos artigos apresentados na conferência com o que pode ser rapidamente implementado na produção?

Konstantin Lahman :
É incorreto dizer isso sobre o NeurIPS, porque originalmente não há praticamente nada nele que possa ser aplicado imediatamente na produção. O orçamento da conferência consiste em contribuições de patrocinadores e participantes. A maioria dos participantes é do setor. Acontece que as empresas de TI pagam por uma conferência científica. E isso levanta uma questão interessante - a comunidade científica deve levar isso em consideração de alguma forma? A indústria paga mais por seu trabalho. Talvez ele também precise de algo para ajudar a indústria?

O NeurlPS trata de encontrar inspiração e entendimento onde o aprendizado de máquina se desenvolve.

Sergey Kolesnikov :
Sim, o NeurIPS é interessante justamente porque em uma semana você consegue conversar com um grande número de pessoas, pode mergulhar em vários casos industriais e acadêmicos, ter uma visão ampla de tudo o que acontece. Todas as idéias de lá podem ser colocadas em uma caixa preta e depois aberta periodicamente. E na próxima conferência já é para verificar o que funcionou e o que não funcionou. A esse respeito, divino.

Principais Conferências ML

Se você pudesse participar apenas de duas conferências do ano, o que escolheria?

Alexey Natekin :
Data Fest e Data Fest em Minsk!

Konstantin Lahman :
NeurIPS e CVPR.

Mikhail Burtsev :
NeurIPS e PNL.

Mikhail Bilenko :
ICML e NeurlPS.

Sergey Kolesnikov :
NeurlPS e Data Fest.

Dmitry Vetrov :
ICML e NeurlPS. Troque-os quando não houver engarrafamentos no NeurlPS!

Vídeo