"Kami tidak akan memunculkan teori konspirasi." Bicara tentang konferensi ML dengan orang-orang dari perusahaan sains dan TI

Sekarang hampir tidak ada acara publik yang terjadi, tetapi kami berharap bahwa situasinya akan segera berubah (dan kami melakukan upaya untuk melakukan ini). Kami berharap bahwa acara yang ditransfer akan berlangsung pada tanggal lainnya, dan acara mendatang tidak akan dibatalkan, karena tidak perlu membatalkannya. Termasuk pada tahun 2020, puluhan konferensi besar tentang pembelajaran mesin harus diadakan.

NeurIPS (sebelumnya NIPS) dianggap yang paling bergengsi di antara mereka. Setiap tahun, NeurIPS mengumpulkan ribuan peneliti dan insinyur yang mempresentasikan hasil ilmiah mereka di berbagai bidang ML: pembelajaran mendalam, pembelajaran yang diperkuat, optimasi yang dapat diukur, metode Bayesian dan banyak lagi.



Berdasarkan NeurIPS yang diadakan beberapa bulan lalu di Vancouver, kami berdiskusi di mana kami mengundang para pakar dari dunia ilmiah dan dunia IT. Masing-masing dari mereka tertarik pada hal-hal berbeda dalam pembelajaran mesin, pengalaman mengunjungi NeurIPS juga berbeda. Di bawah potongan - tekanan singkat dari bagian-bagian diskusi yang berkaitan dengan alasan menghadiri konferensi.

Anggota

Dmitry Vetrov . Kandidat Fisika-Matematika Sci., Profesor-peneliti, Fakultas Ilmu Komputer, HSE, kepala Laboratorium Samsung di HSE dan profesor ShAD. Penulis lebih dari 130 makalah ilmiah. Dima telah berulang kali membuat publikasi di konferensi ML top, termasuk NeurIPS. Dia telah menghadiri konferensi lima kali sejak 2011: sebagai pembicara dan sebagai peserta.

Mikhail Burtsev . PhD dalam Fisika dan Matematika, Kepala Laboratorium Sistem Saraf dan Pembelajaran Dalam MIPT. Penulis bersama lebih dari 20 makalah ilmiah. Sejak 2017, dia telah melakukan kompetisi dalam sistem dialog pada NeurIPS, dia tertarik pada segala sesuatu yang berkaitan dengan kecerdasan buatan percakapan.

Sergey KolesnikovScitator. R & D memimpin di Tinkoff, memimpin proyek di Catalyst, peneliti di Yandex dan MIPT. Lima tahun terakhir telah terlibat dalam DL dan RL. NeurIPS pertama kali dikunjungi pada 2019.

Mikhail Bilenko . Kepala Riset dan Kecerdasan Mesin di Yandex, sebelumnya bekerja di Microsoft. Bidang minat - distribusi pembelajaran. Berpartisipasi dalam NeurIPS sejak 2005, hanya melewatinya tiga kali.

Konstantin Lahmanklakhman. Kepala Visi Komputer dan Aplikasi ML di Yandex. Tertarik pada CV dan NLP. Rides the NeurIPS setiap tahun, mulai tahun 2014.

Alexey Natekinnatekin. Pencipta dan diktator Open Data Science (ODS) - komunitas ilmuwan data online terbesar di CIS. Bidang yang diminati dalam ML adalah pembelajaran meta, pembelajaran gabungan, pembelajaran transfer, dan segala sesuatu yang ada di sekitar ML-otomatis. Dia pergi ke NeurIPS untuk pertama kalinya pada tahun 2016, adalah peserta dua kali dan dua kali membantu mengatur kompetisi.

Beristirahat dengan beban teknik matematika

Mengapa Anda mengendarai NeurIPS?

Sergey Kolesnikov :
Selama tiga tahun terakhir saya telah mempromosikan RL, ini adalah salah satu alasan mengapa saya ingin sampai di sana. Saya memenangkan kompetisi, saya diundang, tetapi sulit untuk membuat visa selama sebulan di Kanada. Dan pada tahun 2019, saya akhirnya mengetahui: ada visa dari masa lalu NeurIPS, yang dilakukan selama enam bulan. Ini adalah kisah sukses dan tiga visa terlewatkan.

Mikhail Bilenko :
Di sana saya menemukan artikel dan orang-orang yang saya tidak akan menemukan sebaliknya, saya berkomunikasi dengan rekan kerja. Pada 2016, saya pergi ke NeurlPS keluar dari pekerjaan, saat itu kami bertemu Kostya Lahman. Konferensi ini adalah wisata teknik dan ilmiah yang sangat baik: istirahat, tetapi dengan muatan matematika dan teknik. Memungkinkan Anda untuk tidak menjadi gemuk, untuk memperbaiki bentuknya dan berada dalam kondisi yang baik. Anda tidak dapat terganggu oleh tugas-tugas kerja - Anda hanya mendapatkan kesenangan intelektual murni.

Dmitry Vetrov :
Ketika saya masih muda dan lebih pintar, saya pergi untuk mempelajari arahan baru dan teknik pembelajaran mesin baru. Setelah sekitar sepuluh tahun, mulai tampak bahwa laporan itu tidak lagi keren, dan segera saya tidak dapat menemukan sesuatu yang berharga untuk diri saya sendiri. Namun sejauh ini setiap kali saya mengambil dari konferensi banyak hal menarik - sesuatu yang tidak dapat dibaca di arXiv.

Mikhail Burtsev :
Saya bergabung dengan Dima. Di satu sisi, rasanya aneh datang dan mendengarkan apa yang Anda baca sejak dulu. Di sisi lain, konferensi membantu memperhatikan pekerjaan yang mungkin tidak Anda sadari. Berkomunikasi dengan orang lain, Anda bisa mendapatkan tampilan yang benar-benar baru di pekerjaan Anda, melihat sesuatu yang belum pernah Anda lihat sebelumnya. Dan tidak seperti artikel, di sini orang masih mendiskusikan apa yang mereka lakukan sekarang atau berencana untuk lakukan. Ini membantu untuk menyesuaikan jalannya pekerjaan mereka, bukan untuk membuat kesalahan. Anda tiba-tiba dapat mengetahui bahwa Anda tidak perlu melakukan apa yang akan Anda lakukan.

Konstantin Lahman :
Selain jaringan, ada hal penting lainnya - konferensi ini membantu memeriksa di mana angin bertiup. Ketika NIPS sedikit lebih kecil, arah angin lebih mudah dimengerti. Pertama, angin bertiup ke layar jaringan GAN, lalu ke layar NLP, lalu ke RL.

Sekarang kadang-kadang ada perasaan bahwa angin bertiup di semua layar pada saat yang sama, tetapi tidak terlalu banyak. Meskipun demikian, penting untuk membandingkan diri Anda dengan apa yang terjadi di dunia dalam lingkup Anda. Pencocokan adalah opsional, tetapi menarik untuk dibandingkan.

Ilmu pengetahuan modern dirancang sehingga hasil negatif tidak dipublikasikan. Sayangnya, hanya yang positif yang dipublikasikan. Konferensi semacam itu adalah cara yang bagus untuk mencari tahu apa dan mengapa tidak berhasil.

Alexey Natekin :
Ada suhu rata-rata di ruangan itu: apa yang mereka katakan di konferensi itu sendiri dan apa yang ada di sela-sela pesta sesudahnya. Percakapan di belakang panggung mungkin lebih menarik daripada yang ada di aula. Sesuatu yang benar-benar baru dapat ditemukan terutama di lokakarya, karena aplikasi untuk berpartisipasi di dalamnya diajukan dalam sebulan, dan aplikasi untuk berpartisipasi dalam konferensi itu sendiri - dalam enam bulan.

Dari tahun ke tahun konferensi tumbuh dan berubah sedikit, tetapi tidak ada yang secara fundamental baru ditambahkan. Tidakkah Anda berpikir bahwa kebaruan ilmiah semakin kecil?

Dmitry Vetrov :
Mengutip Axiom Cole: "Jumlah pikiran di planet ini adalah nilai konstan, dan populasi terus tumbuh." Tampak bagi saya bahwa kebaruan ilmiah di konferensi juga merupakan nilai konstan, dan ada lebih banyak konferensi. Oleh karena itu, menurut pendapat saya, tingkat rata-rata laporan di NeurIPS menurun.

Mikhail Bilenko :
Dima mengatakan dengan benar, tetapi selalu penting bagi saya untuk mengambil sesuatu yang bermanfaat dari persentase materi yang tetap menarik. Ada hukum Sturgeon bahwa 90% dari semuanya adalah omong kosong. Saya fokus pada sepuluh sisanya. Dan dalam rasio kuantitatif omong kosong itu menjadi lebih, saya setuju.

Konstantin Lahman :
Ngomong-ngomong, menurut saya apa yang terjadi dengan NeurlPS tidak sama dengan semua konferensi. Karena kerangka administratif, ia berusaha menjadi cadangan seperti itu, di mana populasi minimum yang diperlukan dari semua wilayah dipertahankan secara buatan. Konferensi CV diselenggarakan secara berbeda: tidak ada pekerjaan pada beberapa topik - yah, banyak pekerjaan pada topik lain juga bagus.

Mikhail Bilenko :
Saya pernah menjadi anggota komite program NeurIPS selama beberapa tahun, namun sebenarnya ada distribusi area yang cukup organik. Mari kita tidak menelurkan teori konspirasi.

Perusahaan akademi dan IT

Seberapa terlihat masalah dengan NeurlPS yang perlu dipelajari model pada banyak GPU, dan perusahaan dan akademi tidak mampu membelinya?

Mikhail Bilenko :
Dalam beberapa tahun terakhir, panitia telah mengadakan pertemuan terbuka. Saat itu, akademisi mengatakan bahwa kawan-kawan dari perusahaan IT besar menulis artikel hanya karena mereka memiliki perangkat keras yang keren dan mereka dapat melakukan eksperimen raksasa. Sumber daya kami benar-benar tidak setara. Jadi ada tuntutan tinggi agar hasilnya bisa direproduksi.

Pertanyaan untuk para ilmuwan. Bagaimana perasaan Anda tentang fakta bahwa banyak orang dari industri ini datang ke konferensi yang mendengarkan laporan, berkomunikasi, tetapi tidak membawa sesuatu yang baru?

Dmitry Vetrov :
Saya merasakan gebrakan besar ketika saya dapat berbicara tentang apa yang telah saya lakukan kepada sejumlah besar orang - tidak masalah bagi para ilmuwan atau spesialis dari industri ini. Hal utama adalah mereka menyukai pekerjaan saya sama seperti para ilmuwan.

Mikhail Burtsev :
Tidak masalah bagi saya siapa yang berasal dari industri, dan yang dari para ilmuwan, terutama karena sekarang banyak ilmuwan telah pindah ke industri, dan semuanya tercampur aduk. Penting untuk berkomunikasi dengan orang tersebut. Dalam hal ini, saya lebih menyukai lokakarya - di sana lingkaran orang terbatas dan ada lebih banyak peluang untuk komunikasi.

Selalu ada celah antara apa yang dilakukan sains dan apa yang masuk ke dalam produksi. Seberapa dekat artikel yang dipresentasikan di konferensi dengan apa yang dapat dengan cepat diluncurkan ke produksi?

Konstantin Lahman :
Tidak benar untuk mengatakan itu tentang NeurIPS, karena pada awalnya tidak ada apa-apa di dalamnya yang dapat segera diterapkan dalam produksi. Anggaran konferensi terdiri dari kontribusi dari sponsor dan peserta. Sebagian besar peserta berasal dari industri. Ternyata perusahaan IT membayar untuk konferensi ilmiah. Dan ini menimbulkan pertanyaan yang menarik - haruskah komunitas ilmiah mempertimbangkannya? Industri membayar lebih untuk pekerjaannya. Mungkin dia juga butuh sesuatu untuk membantu industri?

NeurlPS adalah tentang menemukan inspirasi dan pemahaman di mana pembelajaran mesin berkembang.

Sergey Kolesnikov :
Ya, NeurIPS cukup menarik karena dalam satu minggu Anda berhasil berbicara dengan banyak orang, Anda dapat membenamkan diri dalam berbagai kasus industri dan akademik, mendapatkan pandangan luas tentang semua yang terjadi. Semua ide dari sana dapat dimasukkan ke dalam kotak hitam dan kemudian membukanya secara berkala. Dan pada konferensi berikutnya sudah untuk memeriksa apa yang berhasil dan apa yang tidak. Dalam hal ini, ilahi.

Konferensi ML Top

Jika Anda hanya dapat menghadiri dua konferensi tahun ini, apa yang akan Anda pilih?

Alexey Natekin :
Data Fest dan Data Fest di Minsk!

Konstantin Lahman :
NeurIPS dan CVPR.

Mikhail Burtsev :
NeurIPS dan NLP.

Mikhail Bilenko :
ICML dan NeurlPS.

Sergey Kolesnikov :
NeurlPS dan Data Fest.

Dmitry Vetrov :
ICML dan NeurlPS. Tukar mereka ketika tidak ada kemacetan lalu lintas di NeurlPS!

Video