Curso abierto "Deep Learning in NLP" de los creadores de DeepPavlov basado en el curso cs224n

¡Hola a todos!
Si tiene alguna pregunta sobre el curso, consulte la sección de preguntas y respuestas a continuación.

Introducción

Mi nombre es Alexei Klokov, quiero hablar sobre el lanzamiento de un curso en el aula de Procesamiento del lenguaje natural, que nuevamente es lanzado por técnicos físicos del proyecto DeepPavlov , una biblioteca abierta para la inteligencia artificial conversacional, que se desarrolla en el laboratorio de sistemas neuronales y aprendizaje profundo en MIPT. Agradecerles yMoryshkapara obtener permiso para cubrir este tema en Habré en nuestro blog de ods. ¡Entonces vamos!

Figura 1. Logotipo de DeepPavlov

Brevemente

C 11- 2020 «Deep Learning in NLP».
NLP . , , . (NLP ), . , , , " ". — cs224n , NLP (. 2019 ). “” !

2. GPU —

, , . python. tensorflow pytorch .

, ( ):

1. (Word embeddings: w2v, fasttext GloVe)
2. (FFNN, backprop)
3. NLP (Language Modeling: RNN. CNN)
4. Transfer learning (ELMo, ULMFiT)
5. (Attention, seq2seq NMT)
6. (Self-Attention, Transformer)
7. BERT
8. Next steps: GANs in NLP .

( @alexeysorokin89) ( @letmypeoplego).

1 : . , , .9 ( ""), 9235 (2 ).
: 11.02.2019, 19:00.

— inverted classroom. , , / Youtube, , , . :

• . cs224n roadmap. ( ). . 1 . ! >>1<<, >>2<< !
• . , . , . — . Youtube, . ( – transfer learning).
• — . , cs231n. w2v, backprop RNN . 2019 - (peer-reviewed). .. , - – .
• . ( NLP-Researcher). . . cs224n — Question Answering. SQuAD 2.0, . . , . , .
• . inclass competition – .

1. : https://forms.gle/1mz9rzoFdf2Von9L7
3. — Telegram. . : https://t.me/dlinnlp2020spring; 2020 : https://t.me/joinchat/HdGuOk3LL4J3iDqj8x0i6g
4. yorko roadmap ( , … ?) https://github.com/Yorko/dl_in_nlp_deeppavlov_cs224n_spring2020
5. , 800+ ( , ): https://t.me/dlinnlp_discuss

Q & A

1. road map? — . . .
2. ? — .
3. , ? — , . .
4. , ? — (moryshka). 19:00 11 .
5. ( .) , ? — , . !

ODS

OpenDataScience, 2 ML DL. DS (~41 ) ( ) . ODS . Slack. workspace_ods. «DL in NLP» #class_cs224n Slack.

. , , - . PhD University of Massachusetts Lowell Google. . – .

3. c RNN

ods.ai , , , . .

:

“ ”