рд╕рднреА рдХреЛ рдирдорд╕реНрдХрд╛рд░! рдореЗрд░рд╛ рдирд╛рдо рд╕рд╛рд╢рд╛ рд╣реИ, рдореИрдВ LoyaltyLab рдореЗрдВ CTO & Co-Founder рд╣реВрдВред рджреЛ рд╕рд╛рд▓ рдкрд╣рд▓реЗ, рдореИрдВ рд╕рднреА рдЧрд░реАрдм рдЫрд╛рддреНрд░реЛрдВ рдХреА рддрд░рд╣ рджреЛрд╕реНрддреЛрдВ рдХреЗ рд╕рд╛рде рд╢рд╛рдо рдХреЛ рдЕрдкрдиреЗ рдШрд░ рдХреЗ рдкрд╛рд╕ рдХреА рджреБрдХрд╛рди рдореЗрдВ рдмреАрдпрд░ рдХреЗ рд▓рд┐рдП рдЧрдпрд╛ рдерд╛ред рд╣рдо рдмрд╣реБрдд рдкрд░реЗрд╢рд╛рди рдереЗ рдХрд┐ рд░рд┐рдЯреЗрд▓рд░, рдпрд╣ рдЬрд╛рдирддреЗ рд╣реБрдП рдХрд┐ рд╣рдо рдПрдХ рдмреАрдпрд░ рдХреЗ рд▓рд┐рдП рдЖрдПрдВрдЧреЗ, рдЪрд┐рдкреНрд╕ рдпрд╛ рдкрдЯрд╛рдЦреЗ рдкрд░ рдЫреВрдЯ рдХреА рдкреЗрд╢рдХрд╢ рдирд╣реАрдВ рдХреА, рд╣рд╛рд▓рд╛рдВрдХрд┐ рдпрд╣ рдмрд╣реБрдд рддрд░реНрдХрд╕рдВрдЧрдд рд╣реИ! рд╣рдореЗрдВ рд╕рдордЭ рдореЗрдВ рдирд╣реАрдВ рдЖрдпрд╛ рдХрд┐ рдпрд╣ рд╕реНрдерд┐рддрд┐ рдХреНрдпреЛрдВ рд╣реЛ рд░рд╣реА рд╣реИ рдФрд░ рд╣рдорд╛рд░реА рдХрдВрдкрдиреА рдмрдирд╛рдиреЗ рдХрд╛ рдлреИрд╕рд▓рд╛ рдХрд┐рдпрд╛ рд╣реИред рдЦреИрд░, рдПрдХ рдмреЛрдирд╕ рдХреЗ рд░реВрдк рдореЗрдВ, рдмрд╣реБрдд рдЪрд┐рдкреНрд╕ рдХреЗ рд▓рд┐рдП рд╣рд░ рд╢реБрдХреНрд░рд╡рд╛рд░ рдХреЛ рдЕрдкрдиреЗ рдЖрдк рдХреЛ рдЫреВрдЯ рд▓рд┐рдЦреЗрдВред
![рдЫрд╡рд┐](https://habrastorage.org/webt/8i/l_/fj/8il_fjdqcdscdkmkymoijiscvrk.jpeg)
рдФрд░ рдпрд╣ рд╕рдм рдЗрддрдирд╛ рдЖрдЧреЗ рдмрдврд╝ рдЧрдпрд╛ рдХрд┐ рдореИрдВ рдЙрддреНрдкрд╛рдж рдХреЗ рддрдХрдиреАрдХреА рдкрдХреНрд╖ рдкрд░ рд╕рд╛рдордЧреНрд░реА рдХреЗ рд╕рд╛рде NVIDIA рдЬреАрдЯреАрд╕реА рдкрд░ рдмреЛрд▓рддрд╛ рд╣реВрдВ ред рд╣рдо рдЕрдкрдиреА рд╕рд░реНрд╡рд╢реНрд░реЗрд╖реНрда рдкреНрд░рдерд╛рдУрдВ рдХреЛ рд╕рдореБрджрд╛рдп рдХреЗ рд╕рд╛рде рд╕рд╛рдЭрд╛ рдХрд░рдХреЗ рдЦреБрд╢ рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рдореИрдВ рдЕрдкрдиреА рд░рд┐рдкреЛрд░реНрдЯ рдПрдХ рд▓реЗрдЦ рдХреЗ рд░реВрдк рдореЗрдВ рдкреЛрд╕реНрдЯ рдХрд░ рд░рд╣рд╛ рд╣реВрдВред
рдкрд░рд┐рдЪрдп
рдпрд╛рддреНрд░рд╛ рдХреА рд╢реБрд░реБрдЖрдд рдореЗрдВ рд╕рдм рдХреБрдЫ рдХреА рддрд░рд╣, рд╣рдордиреЗ рдЗрд╕ рдмрд╛рдд рдХреА рд╕рдореАрдХреНрд╖рд╛ рд╢реБрд░реВ рдХреА рдХрд┐ рд╕рд┐рдлрд╛рд░рд┐рд╢ рдкреНрд░рдгрд╛рд▓реА рдХреИрд╕реЗ рдмрдирд╛рдИ рдЬрд╛рддреА рд╣реИред рдФрд░ рд╕рдмрд╕реЗ рд▓реЛрдХрдкреНрд░рд┐рдп рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдкреНрд░рдХрд╛рд░ рдХреА рд╡рд╛рд╕реНрддреБрдХрд▓рд╛ рдереА:
![рдЫрд╡рд┐](https://habrastorage.org/webt/p1/ys/ih/p1ysihudcy4mrcr19wauvqncwua.png)
:
- , .
- c .
:
- candidate/ тАФ user-product, .
- candidates extraction/extractor/ тАФ тАЬ тАЭ .
. тАФ ALS. , , . , , . , ALS, baselineтАЩ.
, , , realtime , , 30 , , , . , , , , тАФ , .
baseline , ALS . , , :
- Precision тАФ .
- Recall тАФ , target .
- F1-score тАФ F-, .
. 3 :
- precision@5 тАФ -5 .
- response-rate@5 тАФ ( 5 ).
- avg roc-auc per user тАФ roc-auc .
, time-series -, k , test k+1 . / . -, тАФ . , .
, , baseline, ALS .
:
![рдЫрд╡рд┐](https://habrastorage.org/getpro/habr/post_images/07f/379/634/07f379634f5e6798b45598ac77bd6e1c.png)
:
![рдЫрд╡рд┐](https://habrastorage.org/webt/em/zh/7w/emzh7wf3h0l4izudamg0cgkrs9o.png)
, . , , , , тАЬ , тАЭ. , , :
- .
- , .
- .
- /.
- ( ).
- , , (Word2Vec, DSSM, etc.).
, . , K ( 1-3 ), K . , :
![рдЫрд╡рд┐](https://habrastorage.org/webt/jb/bz/hy/jbbzhyad6oi5gprlueoi6n4mp6m.png)
, , , recall precision . тАЬ 2 тАЭ.
,
, тАЬ тАЭ , , , - . . , ALS, , . тАЬ тАЭ , , / , , , , , . 2 :
![рдЫрд╡рд┐](https://habrastorage.org/webt/hp/wp/cu/hpwpcuio0qtrkusiejnuxatm2eg.png)
k тАФ , 14 .
, , .
, - . , //. , - . тАФ , k . , . :
![рдЫрд╡рд┐](https://habrastorage.org/webt/wt/tu/rs/wttursimwerbrz3zg1pufwkwty0.png)
, , , . :
![рдЫрд╡рд┐](https://habrastorage.org/webt/zn/ym/os/znymostug2fwhg-u6gf94ypjile.png)
2 , :
- , , K .
- , .
, :
![рдЫрд╡рд┐](https://habrastorage.org/webt/uf/rl/ni/ufrlnixb_wn7giniixxal-kxkie.png)
ft тАФ , K ( K=5)
tm тАФ ,
, (0, 0) recall precision, . , , k , .
тАФ , . -k тАЬтАЭ / тАЬтАЭ /. тАЬтАЭ тАЬтАЭ . . , , , . . :
![рдЫрд╡рд┐](https://habrastorage.org/webt/lo/qv/qp/loqvqpkcwsduv1jin48dn-atvjm.png)
тАЬcategoryтАЭ .
, , , тАЬтАЭ .
, тАФ . 2 , [ i]-[ j], j > i, . producti-productj , producti . -k , . :
![рдЫрд╡рд┐](https://habrastorage.org/webt/qn/1h/7g/qn1h7g6w7ib6as34ovdoq1zzebu.png)
:
![рдЫрд╡рд┐](https://habrastorage.org/webt/fo/jf/sn/fojfsnnjafpwug6l3qtnbichbpe.png)
, : , , . , , , .
:
![рдЫрд╡рд┐](https://habrastorage.org/webt/4h/uv/mw/4huvmwolwo88lip-xcoz3v4w_ms.png)
k тАФ , .
, k=4. 4 .
, ,
тАФ , . 3:
- ALS
- Word2Vec (Item2Vec )
- DSSM
ALS , , . Word2Vec, gensim. , , . , , тАЬтАЭ ( ). ecommerce , Ozon. DSSM . Microsoft, , research paper. :
![рдЫрд╡рд┐](https://habrastorage.org/webt/zb/xn/n5/zbxnn56hdkgqf5mpygm8amvfyiw.png)
Q тАФ query, , D[i] тАФ document, -. , . (multilayer perceptron). , .
, , тАФ . :
![рдЫрд╡рд┐](https://habrastorage.org/webt/zx/c3/qg/zxc3qg_qwpw9-jnot_4etg_sj80.png)
тАФ ALS DSSM , Word2Vec . 3 :
- , , .
- .
- TF-IDF .
, , , , . 1, , ┬╜, тЕУ, .:
![рдЫрд╡рд┐](https://habrastorage.org/webt/il/s5/j4/ils5j4ul2kodk-7jgf4waxcarcs.png)
TF-IDF , TF-IDF , , , , тАФ . , . :
![рдЫрд╡рд┐](https://habrastorage.org/webt/r8/b1/sa/r8b1say3j7ime-mbrirxz4xq14a.png)
. ALS:
![рдЫрд╡рд┐](https://habrastorage.org/webt/xz/1a/jk/xz1ajkhsu_zhylaw0l29bxa91bm.png)
Item2Vec :
![рдЫрд╡рд┐](https://habrastorage.org/webt/hr/gh/w9/hrghw9cp9d4qe7juxjfcdfrcnoa.png)
, baseline. , k . , , 50-70 .
DSSM:
![рдЫрд╡рд┐](https://habrastorage.org/webt/dx/mu/zp/dxmuzpry5qr27x0qdru5w9nwanm.png)
?
, , ? ? :
- - . , , , .
- ?
, : , . , , , тАЬ тАЭ тАЬ тАЭ.
, , : (recall). , , . .
![рдЫрд╡рд┐](https://habrastorage.org/webt/lc/zm/ec/lczmecnenayn88z0kakkecslfjq.png)
тАФ , recall тАФ . 2 , :
, ┬л, ┬╗ , . , тАЬ тАЭ . , . , .
:
![рдЫрд╡рд┐](https://habrastorage.org/webt/fg/_i/3q/fg_i3qwyamwq1kav4qo4dreufhg.png)
:
![рдЫрд╡рд┐](https://habrastorage.org/webt/3c/wf/c3/3cwfc3duictsz4gpwbwqdwwqhug.png)
, , . , , , . , . , , :
- / .
- .
- .
, , . , . . , :
- / .
- , . , -.
- , , .
:
![рдЫрд╡рд┐](https://habrastorage.org/webt/0d/3_/_p/0d3__pctiv04yhmht56zfjwb2og.png)
overall products conversion тАФ , .
. , , , . , , .
, , , , тАФ 3-4%:
![рдЫрд╡рд┐](https://habrastorage.org/webt/bf/9z/xx/bf9zxxhzhlztrokvhdkeyig2jes.png)
, , realtime , . , .
, . telegram. AI/ telegram тАФ welcome :)