Buka kursus "Deep Learning in NLP" dari pencipta DeepPavlov berdasarkan kursus cs224n

Halo semuanya!
Jika Anda memiliki pertanyaan tentang kursus, lihat bagian Tanya Jawab di bawah.

pengantar

Nama saya Aleksey Klokov, saya ingin berbicara tentang peluncuran kursus kelas di Natural Language Processing, yang sekali lagi diluncurkan oleh teknisi fisik dari proyek DeepPavlov - perpustakaan terbuka untuk kecerdasan buatan percakapan, yang dikembangkan di laboratorium sistem saraf dan pembelajaran mendalam di MIPT. Terima kasih danMoryshkauntuk izin untuk membahas topik ini di Habré di blog ods kami. Jadi ayo pergi!

Gambar 1. Logo DeepPavlov

Secara singkat

C 11- 2020 «Deep Learning in NLP».
NLP . , , . (NLP ), . , , , " ". — cs224n , NLP (. 2019 ). “” !

2. GPU —

, , . python. tensorflow pytorch .

, ( ):

1. (Word embeddings: w2v, fasttext GloVe)
2. (FFNN, backprop)
3. NLP (Language Modeling: RNN. CNN)
4. Transfer learning (ELMo, ULMFiT)
5. (Attention, seq2seq NMT)
6. (Self-Attention, Transformer)
7. BERT
8. Next steps: GANs in NLP .

( @alexeysorokin89) ( @letmypeoplego).

1 : . , , .9 ( ""), 9235 (2 ).
: 11.02.2019, 19:00.

— inverted classroom. , , / Youtube, , , . :

• . cs224n roadmap. ( ). . 1 . ! >>1<<, >>2<< !
• . , . , . — . Youtube, . ( – transfer learning).
• — . , cs231n. w2v, backprop RNN . 2019 - (peer-reviewed). .. , - – .
• . ( NLP-Researcher). . . cs224n — Question Answering. SQuAD 2.0, . . , . , .
• . inclass competition – .

1. : https://forms.gle/1mz9rzoFdf2Von9L7
3. — Telegram. . : https://t.me/dlinnlp2020spring; 2020 : https://t.me/joinchat/HdGuOk3LL4J3iDqj8x0i6g
4. yorko roadmap ( , … ?) https://github.com/Yorko/dl_in_nlp_deeppavlov_cs224n_spring2020
5. , 800+ ( , ): https://t.me/dlinnlp_discuss

Q & A

1. road map? — . . .
2. ? — .
3. , ? — , . .
4. , ? — (moryshka). 19:00 11 .
5. ( .) , ? — , . !

ODS

OpenDataScience, 2 ML DL. DS (~41 ) ( ) . ODS . Slack. workspace_ods. «DL in NLP» #class_cs224n Slack.

. , , - . PhD University of Massachusetts Lowell Google. . – .

3. c RNN

ods.ai , , , . .

:

“ ”