🔁 🛀🏾 🖋️ फास्टटेक्स्ट मॉडल को 100 बार कैसे कंप्रेस करें 🔼 🏺 🍤

फास्टटेक्स्ट मॉडल रूसी भाषा के लिए शब्दों के सबसे प्रभावी वेक्टर निरूपण में से एक है। हालांकि, इसका व्यावहारिक उपयोग मॉडल के प्रभावशाली (कई गीगाबाइट) आकार के कारण होता है। इस लेख में, हम दिखाते हैं कि कैसे आप फास्टटेक्स्ट मॉडल को 2.7 गीगाबाइट से 28 मेगाबाइट तक कम कर सकते हैं, इसकी गुणवत्ता (3-4%) में बहुत अधिक खोए बिना। Spoiler: मात्रा का ठहराव और सुविधा का चयन अच्छी तरह से काम करता है, लेकिन मैट्रिक्स विस्तार नहीं करता है। हम इस संपीड़न और रूसी शब्दों के लिए एक कॉम्पैक्ट मॉडल के उदाहरणों के लिए एक पायथन पैकेज भी प्रकाशित करते हैं ।

क्यों और किस बारे में है

, fastText: fastText , . unsupervised — n-. navec — glove- . .

: ? , — , , (, 300-), - . , ( ). , , , , , . , , (, ) . , , "" .

— , ELMO BERT. , fastText. fastText' — ( , ) n- ( ) . , , , , . fastText , n- .

fastText Facebook AI Research. :

def embed(word, model):
    if word in model.vocab:
        #       
        # return model.vectors[word]
        result = model.vectors_vocab[word]
    else:
        result = zeros()
    n = 1
    for ngram in get_ngrams(word, model.min_n, model.max_n):
        result += model.vectors_ngrams[hash(ngram)]
        n += 1
    return result / n

: — "" ( ), n-. , , , — - , , , n-. , , , , .

fastText : fastText ( Python ), Gensim ( Python). , Gensim.

, Gensim , . model.vectors_vocab model.vectors_ngrams model.vectors, "" , n-. model.vectors_vocab , model.vectors_ngrams .

FastText ( ) . : , n-, . n- , , fastText hashing trick: , n-, n-. , ( , ), . , ruscorpora_none_fasttextskipgram_300_2_2019 RusVectores 2 , 330 .

, — n- — fastText . 2 500 , . " + n- ", ; . , , . " ", . 16 2 , 94% , n-, ( gensim).

, fastText, — " " , ( , ) . "" n- . (, , self-supervized) .

, . fasttext — 300. (SVD), n*300 n*k k*300. k — . ( , , ), , ( 300 — ).

— "" , . 32- . 16-, , . float' Python , , . 8 256 . , 256 , , . ( ) , .

, 300 32- 300 8- . ? , , — ! , 300- 100 3- , 3- . , , 3- , 3- . product quantization, . , navec , glove- , 25 50 . , fasttext . - .

. ruscorpora_none_fasttextskipgram_300_2_2019 c 300- , 165K 2000K n- (n 3 5), . " " 2.7 . gensim, ( gensim==3.8.1). , n- ( , ).

: , adjust_vectors, n-. , . ruscorpora_none_fasttextskipgram_300_2_2019 gensim, - , adjust_vectors . : intrinsic evalution ( ) . . , , , , gensim. : , , .

, sys.getsizeof ( , numpy-), numpy.ndarray.nbytes ( , ), gc.get_referents "" . , ( save gensim, , , pickle) , , , .

, , . 80 , ( 10 ) . pymorphy2, , ; . , 54 fastText, 26 — . .

, . intrinsic evaluation: , . , : , , NER, .. , .. . .

intrinsic : hj, ae rt RUSSE, simlex965 ( sl) — RusVectores ( ). hj sl , . ae rt , 2*ROC_AUC-1, ROC AUC . , ae rt precision, . .