![classificação de frases de bert-distilbert](https://habrastorage.org/webt/1t/0s/2u/1t0s2udwz_c-rqf3jvlxkigemhm.png)
O progresso no aprendizado de máquina para o processamento de linguagem natural acelerou significativamente nos últimos anos. Os modelos deixaram os laboratórios de pesquisa e se tornaram a base dos principais produtos digitais. Uma boa ilustração disso é o anúncio recente de que o modelo BERT se tornou o principal componente por trás da pesquisa do Google . O Google acredita que esta etapa (isto é, a introdução de um modelo avançado de entendimento da linguagem natural no mecanismo de pesquisa) representa "a maior inovação nos últimos cinco anos e uma das mais significativas da história dos mecanismos de pesquisa".
– BERT' . , , , , .
, Colab.
: SST2
SST2, , ( 1), ( 0):
![sst2](https://habrastorage.org/webt/zn/el/tu/zneltu_kmrm0a2l1duybrs6ust8.png)
:
– , ( , ) 1 ( ), 0 ( ). :
![classificador-de-sentimento-1.png](https://habrastorage.org/webt/f4/mk/px/f4mkpxxli5t3izoldbz2qzfucei.png)
:
, , 768. , .
![distilbert-bert-sentiment-classifier.png](https://habrastorage.org/webt/0v/2c/2f/0v2c2fzigdyzff3vqurbanyc2tk.png)
, BERT, ELMO ( NLP ): ( [CLS]).
, , . DistilBERT', . , , «» BERT', . , , BERT , [CLS] . , , . , , BERT .
transformers DistilBERT', .
![modelo de treinamento](https://habrastorage.org/webt/lx/du/gi/lxdugirbo9cgxehjoggycphulr8.png)
, . DistilBERT' 2 .
![bert-distilbert-tutorial-sentença-incorporação](https://habrastorage.org/webt/bb/uv/_t/bbuv_tdc97jm9upvgj1gcyefemy.png)
DistilBERT'. Scikit Learn. , , :
![bert-distilbert-train-test-split-sentença-incorporação](https://habrastorage.org/webt/r_/e3/mq/r_e3mqtxvjry5xoabovb7il_iec.png)
distilBERT' ( #1) , ( #2). , sklearn , , 75% ,
:
![bert-training-logistic-regression](https://habrastorage.org/webt/wn/f6/9k/wnf69kgqr5azls-edvk6gidjoui.png)
, , , .
«a visually stunning rumination on love». BERT' , . , ( [CLS] [SEP] ).
![bert-distilbert-tokenization-1](https://habrastorage.org/webt/rd/cu/me/rdcumeyavzwbbbleog8_tv1y0o8.png)
, . Word2vec .
![bert-distilbert-tokenization-2-token-ids](https://habrastorage.org/webt/-8/o5/tv/-8o5tv8c37kuyvnzvgcr9dt6vam.png)
:
tokenizer.encode("a visually stunning rumination on love", add_special_tokens=True)
DistilBERT'.
BERT, ELMO ( NLP ), :
![](https://habrastorage.org/webt/3u/i-/gl/3ui-glcku_tpcg8cjoghffb0vt0.png)
DistilBERT
DistilBERT' , BERT'. , 768 .
![bert-modelo-entrada-saída-1](https://habrastorage.org/webt/oq/nf/ip/oqnfip8zglclubfblimrqvwrdz8.png)
, , ( [CLS] ). .
![bert-model-calssification-output-vector-cls](https://habrastorage.org/webt/vr/-x/my/vr-xmyzsavuid9mrskzpysxbvhw.png)
, , . :
![bert-distilbert-sentença-classificação-exemplo](https://habrastorage.org/webt/jm/oy/or/jmoyorskol1nxvxarefclben_ky.png)
, .
. Colab github.
:
import numpy as np
import pandas as pd
import torch
import transformers as ppb
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import train_test_split
github, pandas:
df = pd.read_csv('https://github.com/clairett/pytorch-sentiment-classification/raw/master/data/SST2/train.tsv', delimiter='\t', header=None)
df.head() , 5 , :
df.head()
![sst2-df-head](https://habrastorage.org/webt/t2/-_/tl/t2-_tljwx7gvvwsoqs3hlt6w7ya.png)
DistilBERT
model_class, tokenizer_class, pretrained_weights = (ppb.DistilBertModel, ppb.DistilBertTokenizer, 'distilbert-base-uncased')
tokenizer = tokenizer_class.from_pretrained(pretrained_weights)
model = model_class.from_pretrained(pretrained_weights)
. , , . . ( , 2000).
tokenized = df[0].apply((lambda x: tokenizer.encode(x, add_special_tokens=True)))
.
![sst2-text-to-tokenized-ids-bert-exemplo](https://habrastorage.org/webt/le/zs/gr/lezsgrmkronylp8wh-kays3c0c8.png)
( Series/DataFrame pandas) . DistilBERT , 0 (padding). , ( , Python).
, /, BERT':
![tensor de entrada bert](https://habrastorage.org/webt/u7/uz/ma/u7uzma5jjkbif--qi60zgb0xyy8.png)
DistilBERT'
DistilBERT.
input_ids = torch.tensor(np.array(padded))
with torch.no_grad():
last_hidden_states = model(input_ids)
last_hidden_states DistilBERT', ( , , DistilBERT). , 2000 (.. 2000 ), 66 ( 2000 ), 278 ( DistilBERT).
![bert-distilbert-output-tensor-preditions](https://habrastorage.org/webt/yi/bf/lp/yibflpzn_dbzi72nvns_q92gaqw.png)
BERT'
3-d . :
![tensor de saída bert](https://habrastorage.org/webt/kq/cr/k1/kqcrk198-zwu5t10mtsq4pxri3i.png)
. :
![bert-entrada-para-saída-tensor-recapitulação](https://habrastorage.org/webt/ie/a4/ob/iea4ob8zt474ku1j4uw1uthupdq.png)
BERT' [CLS]. .
![seleção de tensor de saída bert](https://habrastorage.org/webt/84/5i/pd/845ipdjygzhjk4t-k6vj4hrbmem.png)
, 3d , 2d :
features = last_hidden_states[0][:,0,:].numpy()
features 2d numpy, .
![bert-output-cls-senteence-embeddings](https://habrastorage.org/webt/sg/e7/_i/sge7_iy7hdtmvxyk41ajpm4xt_a.png)
, BERT'
, BERT', , . 768 , .
![logistic-regression-dataset-features-labels](https://habrastorage.org/webt/ul/33/yn/ul33ynyfjqqgqwuk-uvwe3mty1k.png)
, . BERT' [CLS] ( #0), (. ). , – , BERT/DistilBERT
, , .
labels = df[1]
train_features, test_features, train_labels, test_labels = train_test_split(features, labels)
:
![bert-distilbert-train-test-split-sentença-incorporação](https://habrastorage.org/webt/r_/e3/mq/r_e3mqtxvjry5xoabovb7il_iec.png)
.
lr_clf = LogisticRegression()
lr_clf.fit(train_features, train_labels)
, .
lr_clf.score(test_features, test_labels)
, (accuracy) – 81%.
: – 96.8. DistilBERT , – , . BERT , ( downstream task). DistilBERT' 90.7. BERT' 94.9.
Colab.
Isso é tudo! Um bom primeiro conhecido aconteceu. O próximo passo é recorrer à documentação e tentar ajustar suas próprias mãos. Você também pode voltar um pouco e ir de distilBERT para BERT e ver como funciona.
Agradecimentos a Clément Delangue , Victor Sanh e à equipe Huggingface, que forneceu feedback sobre as versões anteriores deste guia.
Autores