Agregador de notícias de duas semanas

Em 18 de novembro, o Telegram lançou um concurso de cluster de dados: Data Clustering Contest . Em duas semanas, foi necessário criar seu agregador de notícias. As restrições estabelecidas nesta competição assustaram muita gente, mas não eu e meus colegas. Vou lhe contar como fomos, que eleições fizemos e que dificuldades encontramos. A solução que enviamos para a competição processou 1000 documentos em 3,5 segundos, ocupou 150 MB, ficou em 6º lugar em votação pública e em 3º lugar nos resultados finais. Cometemos muitos erros, por causa dos quais não ocupamos um lugar mais alto, a maioria deles está consertada. Todo o código e todos os modelos podem ser encontrados no repositório . Todos os scripts para modelos de treinamento transferidos para a Colab.

Topo da votação do público

Tarefa

.

5 :

• ,
• 7
• , ,

, . , : //, . , 5 : , , . .

. , , . , “” , , , . , .

:

• : 200 ( 1.5 )
• 1000
• 2
• Debian GNU/Linux 10.1,

, 1000 , . : 200 , ( word2vec, fasttext, GloVe, ) ULMFiT/ELMo/BERT. , . , 2 .

, , . .

. , Python ( ). . , , . , .

, Go, , , . C++, , . , . C++11, - .

C NLP, 2016 FastText’. , TF-IDF, , , , , . FastText — word2vec n-, . ELMo 197 , BERT — 632 , ( ). , FastText C++ .

- . , ( , !). OpenNMT, . , C++, Python, . .

, , DBSCAN, . DBSCAN MLPack, MLPack Debian’. . , , DBSCAN’ . MLPack .

- : TensorFlow, Torch, MXNet. “TensorFlow C++, ” — . -, , . -, 200 . Tensorflow Lite, . .

. , , . , Eigen, . Keras, , , Torch ( ). .

:

• : C++, FastText, OpenNMTTokenzer, Eigen
• : Python, FastText, OpenNMTTokenzer, Keras

..

FastText’ .

, , . , .

. . , , . 3 2/3, 5 4/5. , . . 60$ . , 327 1176 , . 3-4 .

, . , BBC News categories. .

, FastText . : ; BBC, All the news, News categories . , .

supervised FastText’ ( autotune). Supervised — , , .

2 : . , . ( ) . , , , , . , . , — ( hard-negative ). ( ) . triplet loss. Keras’, Torch’. .

, , , . , , BERT. , . unsupervised ELMo. , ELMo .

SLINK: O(n^2) . , — : , , , .

. .

O(n^2) — . , : . , 10000 2000 . , . , .

3 : , , . — , . 99 . , . PageRank , .

3 : , , .

1. .
2. “” , - “”.
3. , - , .
4. , - .
5. , - , .
7. , - .
8. std::sort std::stable_sort, - .
9. , - .
10. , - .

, . .

?

-, rss- . Telegram — , Instant View, . . .

-, . -: , , , . .

, , README .

Você pode ver a versão atual aqui , a versão do concurso aqui .