2018 fue un punto de inflexión para el desarrollo de modelos de aprendizaje automático destinados a resolver problemas de procesamiento de texto (o, más correctamente, procesar lenguaje natural (PNL)). La comprensión conceptual de cómo presentar palabras y oraciones para la extracción más precisa de sus significados semánticos y las relaciones entre ellos está creciendo rápidamente. Además, la comunidad de PNL promueve herramientas increíblemente poderosas que se pueden descargar y usar de forma gratuita en sus modelos y canalizaciones. Este punto de inflexión también se denomina momento ImageNet de NLP , en referencia al momento hace varios años, cuando desarrollos similares aceleraron significativamente el desarrollo del aprendizaje automático en el campo de los problemas de visión por computadora.

transformador-ber-ulmfit-elmo

(ULM-FiT no tiene nada que ver con Korzhik, pero no ocurrió algo mejor)

– BERT', , NLP. BERT – , NLP-. , , BERT', . , , , .

bert-transfer-learning

BERT'. 1: ( ); 2: .

BERT , NLP-, , : Semi-supervised Sequence learning ( – Andrew Dai Quoc Le), ELMo ( – Matthew Peters AI2 UW CSE), ULMFiT ( – fast.ai Jeremy Howard Sebastian Ruder), OpenAI Transformer ( – OpenAI Radford, Narasimhan, Salimans, Sutskever) (Vaswani et al).

, , BERT'. , , .

:

BERT – . :

Bert-clasificación-spam

, , (classifier) BERT' . (fine-tuning), Semi-supervised Sequence Learning ULMFiT.

, : , . . («» « »).

conjunto de datos etiquetados como spam

BERT':

(sentiment analysis)
- : /. : /
- : SST
(fact-checking):
- : . : «» (Claim) « » (Not Claim)
- / :
  - : (Claim sentence). : «» «»
- Full Fact – , . , , ( , , , )
- :

, BERT', , .

base-bert-bert-large

BERT' :

BERT BASE () – OpenAI Transformer;
BERT LARGE () – , (state of the art), .

, BERT – . . , – BERT’ , .

bert-base-bert-large-encoders

BERT' ( « » (Transformer Blocks)): 12 24 . (768 1024 ) «» (attention heads)(12 16 ), , (6 , 512 , 8 «» ).

bert-input-output

[CLS] , . CLS .

, , BERT , . (self-attention) , .

bert-encoders-input

, ( , ). .

hidden_size (768 BERT'). , , ( [CLS]).

vector-salida-bert

. , .

clasificador de bert

(, «», « », « », «» .), .

, , , VGGNet .

vgg-net-classifier

. , NLP- , : Word2Vec GloVe. , , , .

, . Word2Vec , ( ), , (.. , «» – «» «» – «»), (, , «» «» , «» «»).

, , , . , Word2Vec GloVe. GloVe «stick» ( – 200):

incrustación de guantes

«stick» GloVe – 200 ( 2 ).

cajas de vectores

ELMo:

GloVe, «stick» . « », – NLP- ( Peters et. al., 2017, McCann et. al., 2017 Peters et. al., 2018 ELMo). – « «stick» , . , – , , ?». (contextualized word-embeddings).

elmo-incrustación-robin-williams