Offener Kurs "Deep Learning in NLP" von den Machern von DeepPavlov basierend auf dem Kurs cs224n

Hallo alle zusammen!
Wenn Sie Fragen zum Kurs haben, lesen Sie den Abschnitt mit den Fragen und Antworten weiter unten.

Einführung

Mein Name ist Alexei Klokov. Ich möchte über den Start eines Unterrichtskurses für die Verarbeitung natürlicher Sprache sprechen, der erneut von physischen Technikern aus dem DeepPavlov- Projekt gestartet wird - einer offenen Bibliothek für künstliche Konversationsintelligenz, die im Labor für neuronale Systeme und Deep Learning am MIPT entwickelt wurde. Danke ihnen undMoryshkafür die Erlaubnis, dieses Thema auf Habré in unserem ods-Blog zu behandeln. So lass uns gehen!

Abbildung 1. DeepPavlov-Logo

Kurz

C 11- 2020 «Deep Learning in NLP».
NLP . , , . (NLP ), . , , , " ". — cs224n , NLP (. 2019 ). “” !

2. GPU —

, , . python. tensorflow pytorch .

, ( ):

1. (Word embeddings: w2v, fasttext GloVe)
2. (FFNN, backprop)
3. NLP (Language Modeling: RNN. CNN)
4. Transfer learning (ELMo, ULMFiT)
5. (Attention, seq2seq NMT)
6. (Self-Attention, Transformer)
7. BERT
8. Next steps: GANs in NLP .

( @alexeysorokin89) ( @letmypeoplego).

1 : . , , .9 ( ""), 9235 (2 ).
: 11.02.2019, 19:00.

— inverted classroom. , , / Youtube, , , . :

• . cs224n roadmap. ( ). . 1 . ! >>1<<, >>2<< !
• . , . , . — . Youtube, . ( – transfer learning).
• — . , cs231n. w2v, backprop RNN . 2019 - (peer-reviewed). .. , - – .
• . ( NLP-Researcher). . . cs224n — Question Answering. SQuAD 2.0, . . , . , .
• . inclass competition – .

1. : https://forms.gle/1mz9rzoFdf2Von9L7
3. — Telegram. . : https://t.me/dlinnlp2020spring; 2020 : https://t.me/joinchat/HdGuOk3LL4J3iDqj8x0i6g
4. yorko roadmap ( , … ?) https://github.com/Yorko/dl_in_nlp_deeppavlov_cs224n_spring2020
5. , 800+ ( , ): https://t.me/dlinnlp_discuss

Q & A

1. road map? — . . .
2. ? — .
3. , ? — , . .
4. , ? — (moryshka). 19:00 11 .
5. ( .) , ? — , . !

ODS

OpenDataScience, 2 ML DL. DS (~41 ) ( ) . ODS . Slack. workspace_ods. «DL in NLP» #class_cs224n Slack.

. , , - . PhD University of Massachusetts Lowell Google. . – .

3. c RNN

ods.ai , , , . .

:

“ ”