دورة مفتوحة "Deep Learning in NLP" من مبدعي DeepPavlov بناءً على الدورة cs224n

تحية للجميع!
إذا كان لديك سؤال حول الدورة ، فراجع قسم الأسئلة والأجوبة أدناه.

المقدمة

اسمي أليكسي كلوكوف ، أود أن أتحدث عن إطلاق دورة دراسية في معالجة اللغات الطبيعية ، والتي أطلقها مرة أخرى فنيون فيزيائيون من مشروع DeepPavlov - مكتبة مفتوحة للذكاء الاصطناعي للمحادثة ، تم تطويرها في مختبر الأنظمة العصبية والتعلم العميق في MIPT. شكرا لهم وموريشكاللحصول على إذن لتغطية هذا الموضوع على حبري في مدونة ods. إذن هيا بنا نذهب!

الشكل 1. الشكل 1. شعار DeepPavlov

موجز

C 11- 2020 «Deep Learning in NLP».
NLP . , , . (NLP ), . , , , " ". — cs224n , NLP (. 2019 ). “” !

2. GPU —

, , . python. tensorflow pytorch .

, ( ):

1. (Word embeddings: w2v, fasttext GloVe)
2. (FFNN, backprop)
3. NLP (Language Modeling: RNN. CNN)
4. Transfer learning (ELMo, ULMFiT)
5. (Attention, seq2seq NMT)
6. (Self-Attention, Transformer)
7. BERT
8. Next steps: GANs in NLP .

( @alexeysorokin89) ( @letmypeoplego).

1 : . , , .9 ( ""), 9235 (2 ).
: 11.02.2019, 19:00.

— inverted classroom. , , / Youtube, , , . :

• . cs224n roadmap. ( ). . 1 . ! >>1<<, >>2<< !
• . , . , . — . Youtube, . ( – transfer learning).
• — . , cs231n. w2v, backprop RNN . 2019 - (peer-reviewed). .. , - – .
• . ( NLP-Researcher). . . cs224n — Question Answering. SQuAD 2.0, . . , . , .
• . inclass competition – .

1. : https://forms.gle/1mz9rzoFdf2Von9L7
3. — Telegram. . : https://t.me/dlinnlp2020spring; 2020 : https://t.me/joinchat/HdGuOk3LL4J3iDqj8x0i6g
4. yorko roadmap ( , … ?) https://github.com/Yorko/dl_in_nlp_deeppavlov_cs224n_spring2020
5. , 800+ ( , ): https://t.me/dlinnlp_discuss

Q & A

1. road map? — . . .
2. ? — .
3. , ? — , . .
4. , ? — (moryshka). 19:00 11 .
5. ( .) , ? — , . !

ODS

OpenDataScience, 2 ML DL. DS (~41 ) ( ) . ODS . Slack. workspace_ods. «DL in NLP» #class_cs224n Slack.

. , , - . PhD University of Massachusetts Lowell Google. . – .

3. c RNN

ods.ai , , , . .

:

“ ”