O ano de 2018 foi um ponto de virada para o desenvolvimento de modelos de aprendizado de máquina destinados a resolver problemas de processamento de texto (ou, mais corretamente, processamento de linguagem natural (PNL)). Um entendimento conceitual de como apresentar palavras e frases para a extração mais precisa de seus significados semânticos e relacionamentos entre eles está crescendo rapidamente. Além disso, a comunidade da PNL promove ferramentas incrivelmente poderosas que podem ser baixadas e usadas gratuitamente em seus modelos e pipelines. Esse ponto de inflexão também é chamado de momento ImageNet da PNL , referindo-se ao momento de vários anos atrás, quando desenvolvimentos semelhantes aceleraram significativamente o desenvolvimento de aprendizado de máquina no campo de problemas de visão computacional.

transformador-ber-ulmfit-elmo

(O ULM-FiT não tem nada a ver com Korzhik, mas algo melhor não ocorreu)

– BERT', , NLP. BERT – , NLP-. , , BERT', . , , , .

bert-transfer-learning

BERT'. 1: ( ); 2: .

BERT , NLP-, , : Semi-supervised Sequence learning ( – Andrew Dai Quoc Le), ELMo ( – Matthew Peters AI2 UW CSE), ULMFiT ( – fast.ai Jeremy Howard Sebastian Ruder), OpenAI Transformer ( – OpenAI Radford, Narasimhan, Salimans, Sutskever) (Vaswani et al).

, , BERT'. , , .

:

BERT – . :

Bert-classificação-spam

, , (classifier) BERT' . (fine-tuning), Semi-supervised Sequence Learning ULMFiT.

, : , . . («» « »).

conjunto de dados rotulado como spam

BERT':

(sentiment analysis)
- : /. : /
- : SST
(fact-checking):
- : . : «» (Claim) « » (Not Claim)
- / :
  - : (Claim sentence). : «» «»
- Full Fact – , . , , ( , , , )
- :

, BERT', , .

bert-base-bert-grande

BERT' :

BERT BASE () – OpenAI Transformer;
BERT LARGE () – , (state of the art), .

, BERT – . . , – BERT’ , .

bert-base-bert-large-encoders

BERT' ( « » (Transformer Blocks)): 12 24 . (768 1024 ) «» (attention heads)(12 16 ), , (6 , 512 , 8 «» ).

bert-entrada-saída

[CLS] , . CLS .

, , BERT , . (self-attention) , .

entrada-codificadores-bert

, ( , ). .

hidden_size (768 BERT'). , , ( [CLS]).

vetor de saída de bert

. , .

classificador de bert

(, «», « », « », «» .), .

, , , VGGNet .

vgg-net-classifier

. , NLP- , : Word2Vec GloVe. , , , .

, . Word2Vec , ( ), , (.. , «» – «» «» – «»), (, , «» «» , «» «»).

, , , . , Word2Vec GloVe. GloVe «stick» ( – 200):

incorporação de luvas

«stick» GloVe – 200 ( 2 ).

caixas de vetor

ELMo:

GloVe, «stick» . « », – NLP- ( Peters et. al., 2017, McCann et. al., 2017 Peters et. al., 2018 ELMo). – « «stick» , . , – , , ?». (contextualized word-embeddings).

elmo-embedding-robin-williams