"Wir werden keine Verschwörungstheorien hervorbringen." Sprechen Sie über ML-Konferenzen mit Menschen aus Wissenschafts- und IT-Unternehmen

Jetzt finden fast keine öffentlichen Veranstaltungen mehr statt, aber wir hoffen, dass sich die Situation bald ändern wird (und wir bemühen uns, dies zu tun). Wir erwarten, dass die übertragenen Ereignisse an anderen Daten stattfinden und zukünftige Ereignisse nicht abgesagt werden, da sie nicht abgesagt werden müssen. Einschließlich 2020 sollten Dutzende großer Konferenzen zum maschinellen Lernen abgehalten werden.

NeurIPS (ehemals NIPS) gilt als das renommierteste von ihnen. Jedes Jahr versammelt NeurIPS Tausende von Forschern und Ingenieuren, die ihre wissenschaftlichen Ergebnisse in verschiedenen Bereichen der ML präsentieren: Deep Learning, verstärktes Lernen, skalierbare Optimierung, Bayes'sche Methoden und mehr.



Basierend auf dem NeurIPS, das vor einigen Monaten in Vancouver stattfand, hatten wir eine Diskussion, in der wir Experten aus der wissenschaftlichen Welt und der IT-Welt einluden. Jeder von ihnen interessiert sich für verschiedene Dinge im maschinellen Lernen, die Erfahrung beim Besuch von NeurIPS ist ebenfalls unterschiedlich. Unter dem Strich - ein kurzer Überblick über die Teile der Diskussion, die sich auf die Gründe für die Teilnahme an der Konferenz beziehen.

Mitglieder

Dmitry Vetrov . Kandidat für Phys.-Math Sci., Professor-Forscher, Fakultät für Informatik, HSE, Leiter des Samsung-Labors an der HSE und Professor für ShAD. Der Autor von mehr als 130 wissenschaftlichen Arbeiten. Dima hat wiederholt Veröffentlichungen auf Top-ML-Konferenzen veröffentlicht, darunter NeurIPS. Seit 2011 war er fünf Mal auf der Konferenz: als Redner und als Teilnehmer.

Mikhail Burtsev . Promotion in Physik und Mathematik, Leiter des Labors für Neuronale Systeme und Deep Learning MIPT. Mitautor von mehr als 20 wissenschaftlichen Arbeiten. Seit 2017 führt sie Wettbewerbe in Dialogsystemen auf NeurIPS durch. Sie interessiert sich für alles, was mit künstlicher Intelligenz im Gespräch zu tun hat.

Sergey KolesnikovScitator. F & E-Leiter bei Tinkoff, Projektleiter bei Catalyst, Forscher bei Yandex und MIPT. Die letzten fünf Jahre waren mit DL und RL beschäftigt. NeurIPS zum ersten Mal im Jahr 2019 besucht.

Mikhail Bilenko . Der Leiter für Maschinenintelligenz und Forschung bei Yandex war zuvor bei Microsoft tätig. Interessengebiet - verteiltes Lernen. Nimmt seit 2005 an NeurIPS teil und hat es nur dreimal verpasst.

Konstantin Lahmanklakhman. Leiter Computer Vision und ML-Anwendungen bei Yandex. Interessiert an CV und NLP. Fährt jedes Jahr ab 2014 mit dem NeurIPS.

Alexey NatekinNatekin. Schöpfer und Diktator von Open Data Science (ODS) - der größten Online-Community von Datenwissenschaftlern in der GUS. Die Bereiche, die für ML von Interesse sind, sind Meta-Lernen, Verbundlernen, Transfer-Lernen und alles, was mit Auto-ML zu tun hat. Er ging 2016 zum ersten Mal zu NeurIPS, war zweimal Teilnehmer und half zweimal bei der Organisation von Wettbewerben.

Ruhen Sie sich mit der mathematischen Last aus

Warum fährst du NeurIPS?

Sergey Kolesnikov :
In den letzten drei Jahren habe ich RL beworben. Dies ist einer der Gründe, warum ich dorthin wollte. Ich habe den Wettbewerb gewonnen, ich wurde eingeladen, aber es ist schwierig, ein Visum für einen Monat in Kanada zu beantragen. Und 2019 habe ich endlich verstanden: Es gab ein Visum aus der Vergangenheit von NeurIPS, das sechs Monate lang durchgeführt wurde. Dies ist eine Erfolgsgeschichte und drei verpasste Visa.

Mikhail Bilenko :
Dort finde ich Artikel und Menschen, die ich sonst nicht finden würde, kommuniziere ich mit Kollegen. 2016 war ich arbeitslos bei NeurlPS, gerade als wir Kostya Lahman trafen. Die Konferenz ist ein ausgezeichneter Ingenieur- und Wissenschaftstourismus: Ruhe, aber mit einer mathematischen und technischen Belastung. Ermöglicht es Ihnen, nicht fett zu werden, die Form zu korrigieren und in guter Form zu sein. Sie können sich nicht von Arbeitsaufgaben ablenken lassen - Sie bekommen nur reines intellektuelles Vergnügen.

Dmitry Vetrov :
Als ich jünger und schlauer war, lernte ich neue Richtungen und neue Techniken des maschinellen Lernens. Nach ungefähr zehn Jahren schien es, dass die Berichte nicht mehr so ​​cool waren, und bald konnte ich nichts Wertvolles für mich herausfinden. Aber bisher habe ich jedes Mal viele interessante Dinge von der Konferenz mitgenommen - etwas, das auf arXiv nicht gelesen werden kann.

Mikhail Burtsev :
Ich schließe mich Dima an. Einerseits scheint es seltsam, zu kommen und zu hören, worüber Sie vor langer Zeit gelesen haben. Auf der anderen Seite hilft die Konferenz dabei, auf Arbeiten zu achten, die Sie möglicherweise nicht bemerkt haben. Wenn Sie mit anderen Menschen kommunizieren, können Sie einen völlig neuen Blick auf Ihre Arbeit werfen und etwas sehen, das Sie zuvor noch nicht gesehen haben. Und im Gegensatz zu Artikeln diskutieren die Leute hier immer noch, was sie jetzt tun oder planen. Dies hilft, den Verlauf ihrer Arbeit anzupassen und keine Fehler zu machen. Sie können plötzlich feststellen, dass Sie nicht das tun müssen, was Sie tun wollten.

Konstantin Lahman :
Neben der Vernetzung gibt es noch einen weiteren wichtigen Punkt: Die Konferenz hilft zu überprüfen, wo der Wind weht. Wenn der NIPS etwas kleiner war, war die Windrichtung verständlicher. Zuerst blies der Wind in die Segel der GAN-Netze, dann in die Segel der NLP, dann in die RL.

Jetzt gibt es manchmal das Gefühl, dass der Wind in allen Segeln gleichzeitig weht, aber nicht so sehr. Trotzdem ist es nützlich, sich mit dem zu vergleichen, was in der Welt in Ihrer Sphäre geschieht. Matching ist optional, aber interessant zu vergleichen.

Die moderne Wissenschaft ist so konzipiert, dass negative Ergebnisse nicht veröffentlicht werden. Leider werden nur positive veröffentlicht. Solche Konferenzen sind eine großartige Möglichkeit, um herauszufinden, was und warum nicht funktioniert hat.

Alexey Natekin :
Es gibt eine durchschnittliche Temperatur im Raum: was sie auf der Konferenz selbst sagen und was am Rande der Afterparty. Backstage-Gespräche sind vielleicht interessanter als die in der Halle. Etwas wirklich Neues findet sich vor allem in Workshops, da Anträge auf Teilnahme an ihnen in einem Monat und Anträge auf Teilnahme an der Konferenz selbst - in sechs Monaten - eingereicht werden.

Von Jahr zu Jahr wächst und ändert sich die Konferenz ein wenig, aber es wird nichts grundlegend Neues hinzugefügt. Glauben Sie nicht, dass die wissenschaftliche Neuheit immer kleiner wird?

Dmitry Vetrov :
Um Axiom Cole zu zitieren: "Die Summe des Geistes auf dem Planeten ist ein konstanter Wert, und die Bevölkerung wächst ständig." Es scheint mir, dass die wissenschaftliche Neuheit auf der Konferenz auch ein konstanter Wert ist, und es gibt immer mehr Konferenzen. Daher sinkt meiner Meinung nach die durchschnittliche Anzahl von Berichten bei NeurIPS.

Mikhail Bilenko :
Dima hat es richtig gesagt, aber es ist immer wichtig für mich, aus diesem Prozentsatz des Materials, der interessant bleibt, etwas Nützliches herauszunehmen. Es gibt das Störgesetz, dass 90% von allem völliger Unsinn ist. Ich konzentriere mich auf die restlichen zehn. Und im quantitativen Verhältnis von Unsinn wurde es mehr, stimme ich zu.

Konstantin Lahman :
Übrigens scheint mir, dass das, was mit NeurlPS passiert, nicht dasselbe ist wie bei allen Konferenzen. Aufgrund des administrativen Rahmens wird versucht, eine solche Reserve zu schaffen, in der die minimal notwendige Bevölkerung aller Regionen künstlich aufrechterhalten wird. CV-Konferenzen sind anders organisiert: Es gibt keine Arbeit zu einem Thema - nun, viel Arbeit zu einem anderen Thema ist auch gut.

Mikhail Bilenko :
Ich war mehrere Jahre im NeurIPS-Programmkomitee, und tatsächlich gibt es eine ziemlich organische Verteilung der Gebiete. Lassen Sie uns keine Verschwörungstheorien hervorbringen.

Akademie- und IT-Unternehmen

Wie sichtbar ist das Problem mit NeurlPS, dass Modelle auf Tonnen von GPUs erlernt werden müssen und Unternehmen und nicht Akademien es sich leisten können?

Mikhail Bilenko :
In den letzten Jahren haben die Organisatoren ein offenes Treffen abgehalten . Wissenschaftler sagen, dass Kameraden großer IT-Unternehmen Artikel nur schreiben, weil sie über coole Hardware verfügen und gigantische Experimente durchführen können. Unsere Ressourcen sind wirklich nicht gleich. Die Anforderungen an die Reproduzierbarkeit der Ergebnisse sind daher hoch.

Frage an Wissenschaftler. Wie denken Sie über die Tatsache, dass viele Leute aus der Branche zur Konferenz kommen, die Berichte anhören, kommunizieren, aber nichts Neues bringen?

Dmitry Vetrov :
Ich bin sehr begeistert, wenn ich mit einer großen Anzahl von Menschen darüber sprechen kann, was ich getan habe - für Wissenschaftler oder Branchenexperten spielt das keine Rolle. Hauptsache, sie mögen meine Arbeit genauso wie Wissenschaftler.

Mikhail Burtsev :
Es ist mir auch egal, wer aus der Branche stammt und wer von den Wissenschaftlern, zumal inzwischen viele Wissenschaftler in die Branche eingezogen sind und alles durcheinander ist. Es ist wichtig, dass es interessant ist, mit der Person zu kommunizieren. In dieser Hinsicht mag ich Workshops mehr - dort ist der Personenkreis begrenzt und es gibt mehr Kommunikationsmöglichkeiten.

Es gibt immer eine Lücke zwischen dem, was die Wissenschaft tut und dem, was in die Produktion geht. Wie nah sind die auf der Konferenz präsentierten Artikel an dem, was schnell in die Produktion eingeführt werden kann?

Konstantin Lahman :
Es ist falsch, das über NeurIPS zu sagen, da ursprünglich praktisch nichts darauf ist, was sofort in der Produktion angewendet werden kann. Das Konferenzbudget besteht aus Beiträgen von Sponsoren und Teilnehmern. Die meisten Teilnehmer kommen aus der Industrie. Es stellt sich heraus, dass IT-Unternehmen für eine wissenschaftliche Konferenz bezahlen. Und das wirft eine interessante Frage auf - sollte die Wissenschaft dies irgendwie berücksichtigen? Die Industrie zahlt mehr für seine Arbeit. Vielleicht braucht er auch etwas, um der Industrie zu helfen?

Bei NeurlPS geht es darum, Inspiration und Verständnis dafür zu finden, wo sich maschinelles Lernen entwickelt.

Sergey Kolesnikov :
Ja, NeurIPS ist gerade deshalb interessant, weil Sie es in einer Woche schaffen, mit einer großen Anzahl von Menschen zu sprechen, in verschiedene industrielle und akademische Fälle einzutauchen und einen umfassenden Überblick über alles zu erhalten, was passiert. Alle Ideen von dort können in eine Blackbox gestellt und dann regelmäßig geöffnet werden. Und bei der nächsten Konferenz muss bereits überprüft werden, was funktioniert hat und was nicht. In dieser Hinsicht göttlich.

Top ML Konferenzen

Wenn Sie nur an zwei Konferenzen des Jahres teilnehmen könnten, welche würden Sie wählen?

Alexey Natekin : Datenfest
und Datenfest in Minsk!

Konstantin Lahman :
NeurIPS und CVPR.

Mikhail Burtsev :
NeurIPS und NLP.

Mikhail Bilenko :
ICML und NeurlPS.

Sergey Kolesnikov :
NeurlPS und Datenfest.

Dmitry Vetrov :
ICML und NeurlPS. Tauschen Sie sie aus, wenn es auf NeurlPS keine Staus gibt!

Video