दो सप्ताह का समाचार एग्रीगेटर

18 नवंबर को, टेलीग्राम ने एक डेटा क्लस्टरिंग प्रतियोगिता शुरू की: डेटा क्लस्टरिंग प्रतियोगिता । अपने समाचार को एग्रीगेटर बनाने के लिए दो सप्ताह में यह आवश्यक था। इस प्रतियोगिता में जो प्रतिबंध लगाए गए थे वे लोगों के झुंड से डर गए, लेकिन मैं और मेरे सहयोगी नहीं। मैं आपको बताऊंगा कि हम कैसे गए, हमने क्या चुनाव किए और हमें किन कठिनाइयों का सामना करना पड़ा। प्रतियोगिता में हमने जो समाधान भेजा, उसने 3.5 सेकंड में 1000 दस्तावेजों को संसाधित किया, 150 एमबी लिया, एक सार्वजनिक वोट में 6 स्थान और अंतिम परिणामों में 3 स्थान लिया। हमने कई गलतियाँ कीं, जिनकी वजह से हमने उच्च स्थान नहीं लिया, उनमें से ज्यादातर अब तय हो गई हैं। सभी कोड और सभी मॉडल रिपॉजिटरी में पाए जा सकते हैं । कोलाब को हस्तांतरित प्रशिक्षण मॉडल के लिए सभी स्क्रिप्ट।

जनता के वोट के ऊपर

कार्य

.

5 :

• ,
• 7
• , ,

, . , : //, . , 5 : , , . .

. , , . , “” , , , . , .

:

• : 200 ( 1.5 )
• 1000
• 2
• Debian GNU/Linux 10.1,

, 1000 , . : 200 , ( word2vec, fasttext, GloVe, ) ULMFiT/ELMo/BERT. , . , 2 .

, , . .

. , Python ( ). . , , . , .

, Go, , , . C++, , . , . C++11, - .

C NLP, 2016 FastText’. , TF-IDF, , , , , . FastText — word2vec n-, . ELMo 197 , BERT — 632 , ( ). , FastText C++ .

- . , ( , !). OpenNMT, . , C++, Python, . .

, , DBSCAN, . DBSCAN MLPack, MLPack Debian’. . , , DBSCAN’ . MLPack .

- : TensorFlow, Torch, MXNet. “TensorFlow C++, ” — . -, , . -, 200 . Tensorflow Lite, . .

. , , . , Eigen, . Keras, , , Torch ( ). .

:

• : C++, FastText, OpenNMTTokenzer, Eigen
• : Python, FastText, OpenNMTTokenzer, Keras

..

FastText’ .

, , . , .

. . , , . 3 2/3, 5 4/5. , . . 60$ . , 327 1176 , . 3-4 .

, . , BBC News categories. .

, FastText . : ; BBC, All the news, News categories . , .

supervised FastText’ ( autotune). Supervised — , , .

2 : . , . ( ) . , , , , . , . , — ( hard-negative ). ( ) . triplet loss. Keras’, Torch’. .

, , , . , , BERT. , . unsupervised ELMo. , ELMo .

SLINK: O(n^2) . , — : , , , .

. .

O(n^2) — . , : . , 10000 2000 . , . , .

3 : , , . — , . 99 . , . PageRank , .

3 : , , .

1. .
2. “” , - “”.
3. , - , .
4. , - .
5. , - , .
7. , - .
8. std::sort std::stable_sort, - .
9. , - .
10. , - .

, . .

?

-, rss- . Telegram — , Instant View, . . .

-, . -: , , , . .

, , README .

आप यहां वर्तमान संस्करण देख सकते हैं , यहां प्रतियोगिता से संस्करण ।