"لن نثير نظريات المؤامرة." تحدث عن مؤتمرات ML مع أشخاص من شركات العلوم وتكنولوجيا المعلومات

الآن لا توجد أحداث عامة تقريبًا ، لكننا نأمل أن يتغير الوضع قريبًا (ونحن نبذل جهودًا للقيام بذلك). نتوقع أن تتم الأحداث المنقولة في تواريخ أخرى ، ولن يتم إلغاء الأحداث المستقبلية ، حيث لن تكون هناك حاجة لإلغائها. بما في ذلك عام 2020 ، ينبغي عقد عشرات المؤتمرات الكبيرة حول التعلم الآلي.

يعتبر NeurIPS (المعروف سابقًا باسم NIPS) الأكثر شهرة. في كل عام ، يجمع NeurIPS الآلاف من الباحثين والمهندسين الذين يقدمون نتائجهم العلمية في مجالات مختلفة من ML: التعلم العميق ، التعلم المعزز ، التحسين القابل للتطوير ، طرق Bayesian والمزيد.



بناءً على NeurIPS الذي عقد قبل بضعة أشهر في فانكوفر ، أجرينا مناقشة حيث قمنا بدعوة خبراء من العالم العلمي وعالم تكنولوجيا المعلومات. كل منهم مهتم بأشياء مختلفة في التعلم الآلي ، كما تختلف تجربة زيارة NeurIPS. تحت الخفض - ضغط موجز لتلك الأجزاء من المناقشة التي تتعلق بأسباب حضور المؤتمر.

أفراد

ديمتري فيتوف . مرشح الفيزياء - الرياضيات علوم ، أستاذ باحث بكلية علوم الكمبيوتر ، HSE ، رئيس مختبر سامسونج في HSE وأستاذ شاد. مؤلف أكثر من 130 ورقة علمية. قامت ديما مرارًا وتكرارًا بنشر مطبوعات في أهم مؤتمرات ML ، بما فيها NeurIPS. لقد حضر المؤتمر خمس مرات منذ عام 2011: كمتحدث ومشارك.

ميخائيل بورتسيف . دكتوراه في الفيزياء والرياضيات ، رئيس مختبر النظم العصبية والتعلم العميق MIPT. شارك في تأليف أكثر من 20 ورقة علمية. منذ عام 2017 ، كانت تجري مسابقات في أنظمة الحوار على NeurIPS ، وهي مهتمة بكل شيء يتعلق بالذكاء الاصطناعي للمحادثة.

سيرجي كوليسنيكوفالمستعر. قائد البحث والتطوير في Tinkoff ، مدير المشروع في Catalyst ، باحث في Yandex و MIPT. انخرطت السنوات الخمس الماضية في DL و RL. زار NeurIPS لأول مرة في عام 2019.

ميخائيل بيلينكو . رئيس ذكاء الآلات والبحوث في Yandex ، عمل سابقًا في Microsoft. مجال الاهتمام - التعلم الموزع. يشارك في NeurIPS منذ 2005 ، غاب عنها ثلاث مرات فقط.

قنسطنطين ليمانكلخمان. رئيس قسم رؤية الكمبيوتر وتطبيقات ML في ياندكس. مهتم في السيرة الذاتية و البرمجة اللغوية العصبية. يركب NeurIPS كل عام ، بدءًا من عام 2014.

أليكسي نيتكينnatekin. مبتكر وديكتاتور علوم البيانات المفتوحة (ODS) - أكبر مجتمع عبر الإنترنت لعلماء البيانات في رابطة الدول المستقلة. مجالات الاهتمام في ML هي التعلم التلوي ، والتعلم الفدرالي ، ونقل التعلم وكل ما يكمن في ML-auto. ذهب إلى NeurIPS لأول مرة في عام 2016 ، وكان مشاركًا مرتين ، وساعد مرتين في تنظيم المسابقات.

الراحة مع الحمل الهندسي الرياضي

لماذا تركب NeurIPS؟

سيرجي كوليسنيكوف :
على مدى السنوات الثلاث الماضية ، كنت أقوم بترويج RL ، وهذا أحد أسباب رغبتي في الوصول إلى هناك. لقد فزت في المسابقة ، ودعيت ، ولكن من الصعب الحصول على تأشيرة لمدة شهر في كندا. وفي عام 2019 ، اشتعلت أخيرًا: كانت هناك تأشيرة من الماضي لـ NeurIPS ، والتي تم إجراؤها لمدة ستة أشهر. هذه قصة نجاح وثلاث تأشيرات فائتة.

ميخائيل بيلينكو :
هناك أجد المقالات والأشخاص الذين لن أجدهم خلاف ذلك ، أتواصل مع الزملاء. في عام 2016 ، ذهبت إلى NeurlPS بدون عمل ، ثم التقينا كوستيا ليمان. يعتبر المؤتمر سياحة هندسية وعلمية ممتازة: الراحة ، ولكن بحمل رياضي وهندسي. يسمح لك بعدم الحصول على الدهون ، لتصحيح الشكل ويكون في حالة جيدة. لا يمكنك أن تشتت انتباهك بمهام العمل - فأنت تحصل على متعة فكرية خالصة.

ديمتري فيتوف :
عندما كنت أصغر سنا وأكثر ذكاء ، ذهبت لتعلم اتجاهات جديدة وتقنيات جديدة لتعلم الآلة. بعد حوالي عشر سنوات ، بدأ يبدو أن التقارير لم تعد رائعة ، وسرعان ما لم أتمكن من معرفة أي شيء ذي قيمة لنفسي. ولكن حتى الآن في كل مرة أخرج فيها من المؤتمر الكثير من الأشياء المثيرة للاهتمام - شيء لا يمكن قراءته على arXiv.

ميخائيل بورتسيف :
أنضم إلى ديما. من ناحية ، يبدو من الغريب أن تأتي وتستمع إلى ما قرأته منذ فترة طويلة. من ناحية أخرى ، يساعد المؤتمر على الانتباه للعمل الذي ربما لم تلاحظه. من خلال التواصل مع الآخرين ، يمكنك الحصول على نظرة جديدة تمامًا على عملك ، ورؤية شيء لم تره بنفسك من قبل. وعلى عكس المقالات ، لا يزال الناس هنا يناقشون ما يفعلونه الآن أو يخططون للقيام به. هذا يساعد على تعديل مسار عملهم ، وليس ارتكاب الأخطاء. يمكنك فجأة أن تكتشف أنك لست بحاجة إلى أن تفعل ما كنت ستفعله.

قنسطنطين ليمان :
بالإضافة إلى الربط الشبكي ، هناك نقطة أخرى مهمة - يساعد المؤتمر في التحقق من مكان هبوب الرياح. عندما كانت NIPS أصغر قليلاً ، كان اتجاه الرياح مفهوما أكثر. أولاً ، هبت الرياح إلى أشرعة شبكات GAN ، ثم إلى أشرعة NLP ، ثم إلى RL.

الآن في بعض الأحيان هناك شعور بأن الرياح تهب في جميع الأشرعة في نفس الوقت ، ولكن ليس كثيرًا. ومع ذلك ، من المفيد مقارنة نفسك بما يحدث في العالم في مجالك. المطابقة اختيارية ، ولكنها مثيرة للاهتمام للمقارنة.

تم تصميم العلم الحديث بحيث لا يتم نشر النتائج السلبية. يتم نشر تلك الإيجابية فقط ، للأسف. مثل هذه المؤتمرات هي طريقة رائعة لمعرفة ماذا ولماذا لم تنجح.

أليكسي نيتكين :
هناك متوسط ​​درجة حرارة في الغرفة: ما يقولونه في المؤتمر نفسه وماذا على الهامش في الطرف التالي. ربما تكون محادثات الكواليس أكثر إثارة من تلك الموجودة في القاعة. يمكن العثور على شيء جديد حقًا بشكل رئيسي في ورش العمل ، لأن طلبات المشاركة فيها يتم تقديمها في غضون شهر ، وطلبات المشاركة في المؤتمر نفسه - في ستة أشهر.

من سنة إلى أخرى ، ينمو المؤتمر ويتغير قليلاً ، ولكن لا يتم إضافة أي شيء جديد بشكل أساسي. ألا تعتقد أن الحداثة العلمية أصبحت أصغر؟

ديمتري فيتروف :
على حد تعبير اكسيوم كول: "مجموع العقل على كوكب الأرض هو قيمة ثابتة ، والسكان يتزايدون باستمرار." يبدو لي أن الحداثة العلمية في المؤتمر هي أيضًا قيمة ثابتة ، وهناك المزيد والمزيد من المؤتمرات. لذلك ، في رأيي ، ينخفض ​​متوسط ​​مستوى التقارير في NeurIPS.

ميخائيل بيلينكو :
قال ديما بشكل صحيح ، لكن من المهم دائمًا أن أخرج شيئًا مفيدًا من هذه النسبة المئوية من المواد التي لا تزال مثيرة للاهتمام. يوجد قانون ستورجيون بأن 90٪ من كل شيء هراء كامل. أركز على العشرة المتبقية. وفي النسبة الكمية من الهراء أصبحت أكثر ، أوافق.

قنسطنطين ليمان :
بالمناسبة ، يبدو لي أن ما يحدث مع NeurlPS ليس هو نفسه كما هو الحال مع جميع المؤتمرات. بسبب الإطار الإداري ، فإنه يحاول أن يكون مثل هذا الاحتياطي ، حيث يتم الحفاظ على الحد الأدنى الضروري من جميع المناطق بشكل مصطنع. يتم تنظيم مؤتمرات السيرة الذاتية بشكل مختلف: لا يوجد عمل حول موضوع ما - حسنًا ، الكثير من العمل في موضوع آخر جيد أيضًا.

ميخائيل بيلينكو :
كنت في لجنة برنامج NeurIPS لعدة سنوات ، ولكن في الواقع هناك توزيع عضوي إلى حد ما للمناطق. دعونا لا نفرخ نظريات المؤامرة.

الأكاديمية وشركات تكنولوجيا المعلومات

ما مدى وضوح مشكلة NeurlPS التي تحتاج إلى تعلم النماذج على أطنان من وحدات معالجة الرسوميات ، ويمكن للشركات وليس الأكاديميات تحملها؟

ميخائيل بيلينكو :
في السنوات القليلة الماضية ، كان المنظمون يعقدون جلسة مفتوحة. في ذلك ، يقول الأكاديميون أن الرفاق من شركات تكنولوجيا المعلومات الكبيرة يكتبون المقالات فقط لأن لديهم أجهزة رائعة ويمكنهم إجراء تجارب عملاقة. مواردنا ليست متساوية حقا. لذا هناك مطالب عالية للنتائج لتكون قابلة للتكرار.

سؤال للعلماء. كيف تشعر حيال حقيقة أن العديد من الناس من الصناعة يأتون إلى المؤتمر الذين يستمعون إلى التقارير ويتواصلون ولكن لا يجلبون أي شيء جديد؟

ديمتري فيتروف :
أشعر بضجة كبيرة عندما يمكنني التحدث عما قمت به لعدد كبير من الناس - لا يهم العلماء أو المتخصصين من الصناعة. الشيء الرئيسي هو أنهم يحبون عملي بقدر ما يحب العلماء.

ميخائيل بورتسيف :
لا يهمني أيضًا من هو من الصناعة ، ومن العلماء ، خاصة منذ أن انتقل العديد من العلماء الآن إلى الصناعة ، وكل شيء مختلط. من المهم أن يكون التواصل مع الشخص مثيرًا للاهتمام. في هذا الصدد ، أحب ورش العمل أكثر - هناك دائرة محدودة من الناس وهناك المزيد من الفرص للتواصل.

هناك دائمًا فجوة بين ما يفعله العلم وما يدخل في الإنتاج. ما مدى قرب المقالات المقدمة في المؤتمر إلى ما يمكن طرحه بسرعة في الإنتاج؟

قنسطنطين ليمان :
من غير الصحيح أن نقول ذلك عن NeurIPS ، لأنه في الأصل لا يوجد شيء عمليًا يمكن تطبيقه على الفور في الإنتاج. تتكون ميزانية المؤتمر من مساهمات من الرعاة والمشاركين. معظم المشاركين من الصناعة. اتضح أن شركات تكنولوجيا المعلومات تدفع مقابل مؤتمر علمي. وهذا يثير سؤالًا مثيرًا للاهتمام - هل يجب على المجتمع العلمي أن يأخذ هذا في الاعتبار بطريقة أو بأخرى؟ الصناعة تدفع أكثر مقابل عمله. ربما يحتاج أيضًا إلى شيء ما لمساعدة الصناعة؟

NeurlPS هو إيجاد الإلهام والفهم حيث يتطور التعلم الآلي.

سيرجي كوليسنيكوف :
نعم ، NeurIPS مثير للاهتمام على وجه التحديد لأنه في غضون أسبوع واحد يمكنك التحدث مع عدد كبير من الأشخاص ، يمكنك الانغماس في العديد من الحالات الصناعية والأكاديمية ، والحصول على رؤية واسعة لكل ما يحدث. يمكن وضع جميع الأفكار من هناك في صندوق أسود ثم فتحها بشكل دوري. وفي المؤتمر التالي ، تم بالفعل التحقق مما نجح وما لم ينجح. في هذا الصدد ، إلهي.

أفضل مؤتمرات ML

إذا كنت تستطيع حضور مؤتمرين فقط في العام ، فماذا تختار؟

أليكسي نيتكين :
مهرجان البيانات ومهرجان البيانات في مينسك!

قسطنطين
ليمان : NeurIPS و CVPR.

ميخائيل
بورتسيف : NeurIPS و NLP.

ميخائيل بيلينكو :
ICML و NeurlPS.

سيرجي كوليسنيكوف :
NeurlPS و Data Fest.

ديمتري
فيتوف : ICML و NeurlPS. استبدلها عندما لا يكون هناك اختناقات مرورية على NeurlPS!

فيديو