2018年是旨在解决文本处理问题（或更准确地说，处理自然语言（NLP））的机器学习模型发展的转折点。关于如何呈现单词和句子以最准确地提取它们的语义和它们之间的关系的概念性理解正在迅速发展。此外，NLP社区推广了非常强大的工具，这些工具可以在其模型和管道中免费下载和使用。这个转折点也称为NLP的ImageNet时刻，指的是几年前的时刻，当时类似的发展大大加速了计算机视觉问题领域中机器学习的发展。

贝尔·乌尔姆菲特·埃尔莫变压器

（ULM-FiT与Korzhik无关，但没有发生更好的事情）

– BERT', , NLP. BERT – , NLP-. , , BERT', . , , , .

伯特转移学习

BERT'. 1: ( ); 2: .

BERT , NLP-, , : Semi-supervised Sequence learning ( – Andrew Dai Quoc Le), ELMo ( – Matthew Peters AI2 UW CSE), ULMFiT ( – fast.ai Jeremy Howard Sebastian Ruder), OpenAI Transformer ( – OpenAI Radford, Narasimhan, Salimans, Sutskever) (Vaswani et al).

, , BERT'. , , .

:

BERT – . :

伯特分类垃圾邮件

, , (classifier) BERT' . (fine-tuning), Semi-supervised Sequence Learning ULMFiT.

, : , . . («» « »).

垃圾邮件标记的数据集

BERT':

(sentiment analysis)
- : /. : /
- : SST
(fact-checking):
- : . : «» (Claim) « » (Not Claim)
- / :
  - : (Claim sentence). : «» «»
- Full Fact – , . , , ( , , , )
- :

, BERT', , .

伯特基地伯特大

BERT' :

BERT BASE () – OpenAI Transformer;
BERT LARGE () – , (state of the art), .

, BERT – . . , – BERT’ , .

bert-base-bert-large-encoders

BERT' ( « » (Transformer Blocks)): 12 24 . (768 1024 ) «» (attention heads)(12 16 ), , (6 , 512 , 8 «» ).

伯特输入输出

[CLS] , . CLS .

, , BERT , . (self-attention) , .

伯特编码器输入

, ( , ). .

hidden_size (768 BERT'). , , ( [CLS]).

伯特输出向量

. , .

伯特分类器

(, «», « », « », «» .), .

, , , VGGNet .

vgg-net-classifier

. , NLP- , : Word2Vec GloVe. , , , .

, . Word2Vec , ( ), , (.. , «» – «» «» – «»), (, , «» «» , «» «»).

, , , . , Word2Vec GloVe. GloVe «stick» ( – 200):

手套嵌入

«stick» GloVe – 200 ( 2 ).

向量框

ELMo:

GloVe, «stick» . « », – NLP- ( Peters et. al., 2017, McCann et. al., 2017 Peters et. al., 2018 ELMo). – « «stick» , . , – , , ?». (contextualized word-embeddings).

Elmo-embeding-robin-williams