рд╣рдо рдЗрд╕реА рддрд░рд╣ рдХреЗ рдЙрддреНрдкрд╛рджреЛрдВ рдХреА рд╕рд┐рдлрд╛рд░рд┐рд╢ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрдЗрдЯрдо 2vec рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд░рддреЗ рд╣реИрдВ

рдирдорд╕реНрддреЗ, рдореЗрд░рд╛ рдирд╛рдо рд╡рд╛рд╕реНрдпрд╛ рд░реВрдмрддрд╕реЛрд╡ рд╣реИ, рдореИрдВ рдЕрд╡рд┐рддреЛ рдореЗрдВ рд╕рд┐рдлрд╛рд░рд┐рд╢ рдкреНрд░рдгрд╛рд▓реА рд╡рд┐рдХрд╕рд┐рдд рдХрд░ рд░рд╣рд╛ рд╣реВрдВред


рд╡рд┐рдЬреНрдЮрд╛рдкрди рд╕реНрдерд╛рди рдХрд╛ рдореБрдЦреНрдп рдЙрджреНрджреЗрд╢реНрдп рд╡рд┐рдХреНрд░реЗрддрд╛рдУрдВ рдХреЛ рдЦрд░реАрджрд╛рд░ рдФрд░ рдЦрд░реАрджрд╛рд░ рдЦреЛрдЬрдиреЗ рдореЗрдВ рдорджрдж рдХрд░рдирд╛ рд╣реИ рдЬреЛ рдЙрддреНрдкрд╛рджреЛрдВ рдХреА рддрд▓рд╛рд╢ рдХрд░ рд░рд╣реЗ рд╣реИрдВред рдСрдирд▓рд╛рдЗрди рд╕реНрдЯреЛрд░ рдХреЗ рд╡рд┐рдкрд░реАрдд, рдмрд┐рдХреНрд░реА рдХрд╛ рддрдереНрдп рд╣рдорд╛рд░реЗ рдкреНрд▓реЗрдЯрдлреЙрд░реНрдо рдХреЗ рдмрд╛рд╣рд░ рд╣реЛрддрд╛ рд╣реИ, рдФрд░ рд╣рдо рдЗрд╕реЗ рдЯреНрд░реИрдХ рдирд╣реАрдВ рдХрд░ рд╕рдХрддреЗред рдЗрд╕рд▓рд┐рдП, рд╣рдорд╛рд░реЗ рд▓рд┐рдП рдореБрдЦреНрдп рдореАрдЯреНрд░рд┐рдХ "рд╕рдВрдкрд░реНрдХ" рд╣реИ - рдпрд╣ рдЙрддреНрдкрд╛рдж рдХрд╛рд░реНрдб рдкрд░ "рд╢реЛ рдлреЛрди" рдмрдЯрди рджрдмрд╛рдиреЗ, рдпрд╛ рд╡рд┐рдХреНрд░реЗрддрд╛ рдХреЗ рд╕рд╛рде рджреВрдд рдореЗрдВ рдмрд╛рддрдЪреАрдд рдХреА рд╢реБрд░реБрдЖрдд рдХреА рдШрдЯрдирд╛ рд╣реИред рдЗрд╕ рдореАрдЯреНрд░рд┐рдХ рд╕реЗ рд╣рдореЗрдВ "рдЦрд░реАрджрд╛рд░" рдорд┐рд▓рддреЗ рд╣реИрдВ - рдкреНрд░рддрд┐ рджрд┐рди рдЕрджреНрд╡рд┐рддреАрдп рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рдЬрд┐рдиреНрд╣реЛрдВрдиреЗ рдХрдо рд╕реЗ рдХрдо рдПрдХ рд╕рдВрдкрд░реНрдХ рдмрдирд╛рдпрд╛ред


Avito рдХреЗ рдЕрдиреБрд╢рдВрд╕рд╛ рд╡рд┐рднрд╛рдЧ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рджреЛ рдореБрдЦреНрдп рдЙрддреНрдкрд╛рдж рд╣реЛрдо рдкреЗрдЬ рдпрд╛ user2item рдкрд░ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдХреА рд╕рд┐рдлрд╛рд░рд┐рд╢реЗрдВ рдФрд░ рдЙрддреНрдкрд╛рдж рдХрд╛рд░реНрдб рдпрд╛ item2item рдкрд░ рд╕рдорд╛рди рд╡рд┐рдЬреНрдЮрд╛рдкрдиреЛрдВ рдХреЗ рдмреНрд▓реЙрдХ рд╣реИрдВред рд╕рднреА рд╡рд┐рдЬреНрдЮрд╛рдкрди рд╡рд┐рдЪрд╛рд░реЛрдВ рдХрд╛ рдПрдХ рддрд┐рд╣рд╛рдИ рдФрд░ рд╕рднреА рд╕рдВрдкрд░реНрдХреЛрдВ рдХрд╛ рдПрдХ рдЪреМрдерд╛рдИ рд╕рд┐рдлрд╛рд░рд┐рд╢реЛрдВ рд╕реЗ рдЖрддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рд░реЗрдлрд░рд▓ рдЗрдВрдЬрди рдПрд╡рд┐рдЯреЛ рдореЗрдВ рдПрдХ рдорд╣рддреНрд╡рдкреВрд░реНрдг рднреВрдорд┐рдХрд╛ рдирд┐рднрд╛рддреЗ рд╣реИрдВред


рд▓реЗрдЦ рдореЗрдВ рдореИрдВ рдмрддрд╛рдКрдВрдЧрд╛ рдХрд┐ рдХреИрд╕реЗ рд╣рдордиреЗ рдЖрдЗрдЯрдо 2 рд╡реЗрдЯ 2 рдХреА рд╕рд┐рдлрд╛рд░рд┐рд╢реЛрдВ рдХреЗ рдХрд╛рд░рдг рдЕрдкрдиреЗ рдЖрдЗрдЯрдо 2 рдЖрдИрдЯреАрдИрдПрдо рд╕реБрдзрд╛рд░реЛрдВ рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛рдпрд╛ рдФрд░ рдЗрд╕рдиреЗ рдпреВрдЬрд░ 2 рдЖрдИрдЯреАрдПрдо рд╕рд┐рдлрд╛рд░рд┐рд╢реЛрдВ рдХреЛ рдХреИрд╕реЗ рдкреНрд░рднрд╛рд╡рд┐рдд рдХрд┐рдпрд╛ред



рдЬреИрд╕рд╛ рдХрд┐ рдкрд╣рд▓реЗ рдерд╛


рдЗрд╕рд╕реЗ рдкрд╣рд▓реЗ, рдЗрд╕реА рддрд░рд╣ рдХреЗ рд╡рд┐рдЬреНрдЮрд╛рдкрдиреЛрдВ рдХреА рдЦреЛрдЬ рдХреЗ рд▓рд┐рдП, рд╣рдордиреЗ рд╡рд┐рдЬреНрдЮрд╛рдкрдиреЛрдВ рдХреА рдПрдХ рдЬреЛрдбрд╝реА рдХреЗ рд▓рд┐рдП рдкреНрд░рд╛рдкреНрдд рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдкрд░ рдПрдХ рд░реЗрдЦреАрдп рдореЙрдбрд▓ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛: рд╢реАрд░реНрд╖рдХ рдореЗрдВ рдорд┐рд▓рд╛рди рд╢рдмреНрджреЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рдФрд░ рд╡рд┐рдЬреНрдЮрд╛рдкрди, рдорд┐рд▓рд╛рди рдХреЗ рд╕реНрдерд╛рдиреЛрдВ, рдорд╛рдкрджрдВрдбреЛрдВ, рдЬрд┐рдпреЛ рджреНрд╡рд╛рд░рд╛ рдирд┐рдХрдЯрддрд╛ рдХрд╛ рд╡рд┐рд╡рд░рдгред рдЗрд╕ рдореЙрдбрд▓ рдореЗрдВ рдЧреБрдгрд╛рдВрдХреЛрдВ рдХреЛ рдмрд╣реБ-рд╕рд╢рд╕реНрддреНрд░ рдбрд╛рдХреБрдУрдВ рджреНрд╡рд╛рд░рд╛ рдЪреБрдирд╛ рдЧрдпрд╛ рдерд╛ред рд╣рдордиреЗ рдПрдХ рдЕрд▓рдЧ рд▓реЗрдЦ рдореЗрдВ рдпрд╣ рдмрддрд╛рдпрд╛ ред


   , , . ,    ┬л wifi ┬╗ ┬лSQ11┬╗ ,  , , . тАФ ┬л  ┬╗, ┬л   ┬╗, ┬л-┬╗ ┬л ┬╗. ,   , . ┬л┬╗       ,  .


, ,   .   finn.no "Deep neural network marketplace recommenders in online experiments".


item2vec


item2vec  ,     ,   .


 ,   .   .



    ,  ,  . ,   тАФ .   , ,   ,   ,   .  ?   ,  :



  , 0.6 ┬▒ 0.1.       .



 .  , ,   .   ?


, ,   тАФ , ,   . , ,   .   . , . ,      ,  ,   -.


 


  . , , 8 .     3 .



, ,   . ,  desktop   . ,  app тАФ .


  540  180  .



  тАФ 14 . ,   ,   . ,   ┬л┬╗ ┬л┬╗  . .   тАФ .


    :



тАФ 128- .


тАФ ,   embedding : , , (  , ) (  ).  title embedding ,   тАФ lstm. тАФ one-hot .   тАФ .


title , ,  .   , .   . , тАФ lstm GRU .    , .


. ,  . тАФ   . , . тАФ , .


  тАФ .  ,  -1  1. ,  128,    int8   .


  . ,  int8.


GPU, 20 . CPU GPU .


,   id  .  , .



, 128- .
   ,   .   :


1. .



2. 4000  ( тАФ ,   GPU)   .   ,     ,  .



3. , .
тАФ . 100    , 100    .



4. тАФ cross entropy loss тАФ .



  , forward  4001 , backward тАФ  101,  ,  .


    500 000 000 () ├Ч 4 000 ( ) ├Ч 5 () = 10 ^ 13 . 2  4 x Tesla P40.


  :




  : 7    , 6    ,    . ,   , .   prec@8.




  item2vec   ┬л ┬╗.    AvitoNet. AvitoNet тАФ ,   .    .     -.


  3    6 .     тАФ 62 .  , тАФ 2048,   GPU,  CPU . :  ,   тАФ , 3 , . , .   ,   , . Prec@8  0,4%, , .




  ┬л ┬╗:



  ┬л / /122тАФ128 (6тАФ8 )┬╗.   :



  , ,   ┬л┬╗ ┬л┬╗.


 item2vec :



┬л ┬╗. -, -   ┬л┬╗ ┬л┬╗.  , ,   ┬л┬╗. , тАФ !



    top-n .   Sphinx.    , .  200ms (p99) 200K rpm.



    .     -.    , , - тАФ , .   .


  .



  ,  .   :


sim(i, j) = <v_i, v_j> * (log(t_j + 1) ^ a_c)


i j тАФ , j (t_j = now - start_time_j).


, , ,  , .       . , c тАФ a_c. ,   0,   . ,   тАФ .   .  , ,   - . , .



, .
тАФ ,    , , .


 item2vec  30%  ,  20%    .


All Articles