👴🏿 🤾🏽 💺 हम सिफारिशों के चयन की गुणवत्ता और गति पर कैसे काम करते हैं 👸🏻 👩‍👦 🚶

मेरा नाम Pavel Parkhomenko है, मैं एक ML डेवलपर हूं। इस लेख में, मैं Yandex.Zen सेवा के डिजाइन के बारे में बात करना चाहता हूं और तकनीकी सुधारों को साझा करना चाहता हूं, जिनमें से परिचय ने सिफारिशों की गुणवत्ता बढ़ाने की अनुमति दी। पोस्ट से आप सीखेंगे कि केवल कुछ मिलीसेकंड में लाखों दस्तावेजों के बीच उपयोगकर्ता के लिए सबसे अधिक प्रासंगिक कैसे खोजें; एक बड़े मैट्रिक्स के निरंतर अपघटन (लाखों कॉलम और लाखों पंक्तियों के दसियों से मिलकर) कैसे करना है ताकि नए दस्तावेज़ उनके वेक्टर को दसियों मिनटों में प्राप्त करें; वीडियो के लिए एक अच्छा वेक्टर प्रतिनिधित्व पाने के लिए उपयोगकर्ता-लेख मैट्रिक्स अपघटन का पुन: उपयोग कैसे करें।

हमारे संदर्भ डेटाबेस में विभिन्न स्वरूपों के लाखों दस्तावेज शामिल हैं: हमारे मंच पर बनाए गए पाठ लेख और बाहरी साइटों, वीडियो, आख्यानों और छोटे पदों से लिया गया है। ऐसी सेवा का विकास बड़ी संख्या में तकनीकी चुनौतियों से जुड़ा है। ये उनमे से कुछ है:

अलग-अलग कम्प्यूटेशनल कार्य: सभी भारी संचालन ऑफ़लाइन करें, और वास्तविक समय में केवल 200-200 एमएस के लिए जिम्मेदार होने के लिए मॉडल का तेजी से आवेदन करें।
उपयोगकर्ता कार्यों पर तुरंत विचार करें। इसके लिए, यह आवश्यक है कि सभी घटनाओं को तुरंत सिफारिशकर्ता तक पहुंचाया जाए और मॉडलों के परिणाम को प्रभावित किया जाए।
टेप बनाएं ताकि नए उपयोगकर्ता जल्दी से अपने व्यवहार के अनुकूल हो जाएं। जिन लोगों ने अभी सिस्टम में प्रवेश किया है, उन्हें यह महसूस करना चाहिए कि उनकी प्रतिक्रिया सिफारिशों को प्रभावित करती है।
जल्दी से समझें कि नए लेख की सिफारिश कौन करेगा।
नई सामग्री के निरंतर उद्भव के लिए तुरंत प्रतिक्रिया दें। हर दिन दसियों हजार लेख प्रकाशित होते हैं, और उनमें से कई का जीवनकाल सीमित होता है (जैसे, समाचार)। यह फिल्मों, संगीत और अन्य लंबे समय तक रहने वाली और महंगी सामग्री निर्माण से उनका अंतर है।
ज्ञान को एक डोमेन से दूसरे डोमेन पर स्थानांतरित करें। यदि अनुशंसा प्रणाली में पाठ लेखों के लिए प्रशिक्षित मॉडल हैं और हम इसमें वीडियो जोड़ते हैं, तो आप मौजूदा मॉडलों का पुन: उपयोग कर सकते हैं ताकि नए प्रकार की सामग्री बेहतर रैंक कर सके।

मैं आपको बताऊंगा कि हमने इन समस्याओं को कैसे हल किया।

उम्मीदवार का चयन

कैसे कुछ मिलीसेकेंड में एक हजार गुना विचार के तहत दस्तावेजों के सेट को कम करने के लिए, रैंकिंग की गुणवत्ता को व्यावहारिक रूप से खराब किए बिना?

मान लीजिए कि हमने बहुत से एमएल मॉडल प्रशिक्षित किए हैं, उनके आधार पर विशेषताएँ उत्पन्न की हैं, और एक और मॉडल प्रशिक्षित किया है जो उपयोगकर्ता के लिए दस्तावेज रैंक करता है। सब कुछ ठीक होगा, लेकिन आप वास्तविक समय में सभी दस्तावेजों के लिए सभी संकेत नहीं ले सकते हैं और गिन सकते हैं, अगर इनमें से लाखों दस्तावेज़ हैं, और सिफारिशों को 100-200 एमएस में बनाया जाना चाहिए। यह कार्य लाखों लोगों के लिए एक निश्चित सबसेट को चुनना है जिसे उपयोगकर्ता के लिए रैंक किया जाएगा। इस कदम को आमतौर पर उम्मीदवार चयन कहा जाता है। इसकी कई आवश्यकताएं हैं। सबसे पहले, चयन बहुत जल्दी से होना चाहिए, ताकि जितना संभव हो उतना समय रैंकिंग पर ही बना रहे। दूसरे, रैंकिंग के लिए दस्तावेजों की संख्या को बहुत कम करके, हमें उपयोगकर्ता के लिए यथासंभव प्रासंगिक दस्तावेजों को रखना चाहिए।

उम्मीदवार चयन का हमारा सिद्धांत विकसित रूप से विकसित हुआ है, और फिलहाल हम एक बहु-मंच योजना में आए हैं:

सबसे पहले, सभी दस्तावेजों को समूहों में विभाजित किया गया है, और सबसे लोकप्रिय दस्तावेज प्रत्येक समूह से लिए गए हैं। समूह साइट, विषय, क्लस्टर हो सकते हैं। प्रत्येक उपयोगकर्ता के लिए, उसकी कहानी के आधार पर, उसके निकटतम समूहों का चयन किया जाता है और उनसे पहले ही सर्वश्रेष्ठ दस्तावेज ले लिए जाते हैं। हम वास्तविक समय में उपयोगकर्ता के निकटतम दस्तावेजों का चयन करने के लिए kNN इंडेक्स का भी उपयोग करते हैं। केएनएन इंडेक्स के निर्माण के लिए कई तरीके हैं, हमारे पास सबसे अच्छा अर्जित एचएनएसडब्ल्यू है(पदानुक्रमित नौगम्य लघु विश्व रेखांकन)। यह एक पदानुक्रमित मॉडल है जो आपको कुछ मिलीसेकंड में एक लाखवें डेटाबेस से उपयोगकर्ता के लिए एन निकटतम वैक्टर खोजने की अनुमति देता है। पहले, हम अपने पूरे डेटाबेस के दस्तावेज़ों को ऑफ़लाइन करते हैं। चूंकि इंडेक्स में खोज बहुत तेज़ी से काम करती है, यदि कई मजबूत एम्बेडिंग हैं, तो आप कई इंडेक्स (प्रत्येक एम्बेडिंग के लिए एक इंडेक्स) बना सकते हैं और उनमें से प्रत्येक को वास्तविक समय में एक्सेस कर सकते हैं।

हमारे पास अभी भी प्रत्येक उपयोगकर्ता के लिए हजारों दस्तावेज हैं। सभी विशेषताओं को गिनने के लिए यह अभी भी बहुत कुछ है, इसलिए इस स्तर पर हम आसान रैंकिंग लागू करते हैं - कम विशेषताओं वाला एक हल्का भारी रैंकिंग मॉडल। कार्य यह अनुमान लगाना है कि शीर्ष में भारी मॉडल के कौन से दस्तावेज़ होंगे। उच्चतम भविष्यवाणी वाले दस्तावेजों का उपयोग भारी मॉडल में किया जाएगा, अर्थात रैंकिंग के अंतिम चरण में। यह दृष्टिकोण दसियों मिलीसेकंड के लिए उपयोगकर्ता के लिए माना जाने वाले दस्तावेजों के डेटाबेस को लाखों से हजारों तक कम करने की अनुमति देता है।

रनटाइम में एएलएस कदम

एक क्लिक के तुरंत बाद उपयोगकर्ता की प्रतिक्रिया को कैसे ध्यान में रखा जाए?

सिफारिशों में एक महत्वपूर्ण कारक उपयोगकर्ता की प्रतिक्रिया का प्रतिक्रिया समय है। नए उपयोगकर्ताओं के लिए यह विशेष रूप से महत्वपूर्ण है: जब कोई व्यक्ति सिर्फ सिफारिश प्रणाली का उपयोग करना शुरू कर रहा है, तो उसे विभिन्न विषयों के दस्तावेजों का एक गैर-व्यक्तिगत स्ट्रीम प्राप्त होता है। जैसे ही वह पहला क्लिक करता है, आपको तुरंत इसे ध्यान में रखना चाहिए और उसके हितों के अनुकूल होना चाहिए। यदि सभी कारकों की गणना ऑफ़लाइन की जाती है, तो देरी के कारण एक त्वरित प्रणाली प्रतिक्रिया असंभव हो जाएगी। इसलिए आपको वास्तविक समय में उपयोगकर्ता कार्यों को संसाधित करने की आवश्यकता है। इन उद्देश्यों के लिए, हम उपयोगकर्ता के वेक्टर प्रतिनिधित्व का निर्माण करने के लिए रनटाइम में ALS चरण का उपयोग करते हैं।

मान लीजिए कि हमारे पास सभी दस्तावेजों के लिए एक वेक्टर प्रतिनिधित्व है। उदाहरण के लिए, हम ELMo, BERT या अन्य मशीन लर्निंग मॉडल का उपयोग करके लेख टेक्स्ट एम्बेडिंग के आधार पर ऑफ़लाइन निर्माण कर सकते हैं। सिस्टम में अपनी सहभागिता के आधार पर एक ही स्थान में उपयोगकर्ताओं का वेक्टर प्रतिनिधित्व कैसे प्राप्त किया जा सकता है?

उपयोगकर्ता-दस्तावेज़ मैट्रिक्स के गठन और अपघटन का सामान्य सिद्धांत

m n . . m x n: , — . , ́ , . (, , ) - — , 1, –1.

: P (m x d) Q (d x n), d — ( ). d- ( — P, — Q). . , , .

मैट्रिक्स अपघटन के संभावित तरीकों में से एक एएलएस (अल्टरनेटिंग लिस्ट स्क्वायर) है। हम निम्नलिखित नुकसान फ़ंक्शन का अनुकूलन करेंगे:

min_{q *, p *} \sum_{i = 1} (r_{u i} - {q_{i}}^{T} p_{u})^{2} + λ (| | q_{i} | |^{2} + | | p_{u} | |^{2})

$\min_{q*,p*} \sum_{i=1}(r_{ui}-{q_{i}}^{T}p_{u})^2+\lambda(||q_i||^2+||p_u||^2)$

यहाँ r _ui दस्तावेज़ i के साथ उपयोगकर्ता u की सहभागिता है, q _i दस्तावेज़ का वेक्टर है i, p _u उपयोगकर्ता वेक्टर का वेक्टर है।

तब उपयोगकर्ता वेक्टर जो औसत वर्ग त्रुटि (निश्चित दस्तावेज़ वैक्टर के लिए) के दृष्टिकोण से इष्टतम है, संबंधित रेखीय प्रतिगमन को हल करके विश्लेषणात्मक रूप से पाया जाता है।

इसे ALS स्टेप कहा जाता है। और ALS एल्गोरिथ्म में ही इस तथ्य को समाहित किया गया है कि हम बारी-बारी से मेट्रिसेस (उपयोगकर्ता और लेख) में से एक को ठीक करते हैं और दूसरे को अपडेट करते हैं, इष्टतम समाधान ढूंढते हैं।

सौभाग्य से, उपयोगकर्ता के वेक्टर प्रतिनिधित्व को खोजना काफी त्वरित ऑपरेशन है जो वेक्टर निर्देशों का उपयोग करके रनटाइम में किया जा सकता है। यह ट्रिक आपको तुरंत रैंकिंग में उपयोगकर्ता की प्रतिक्रिया को ध्यान में रखने की अनुमति देती है। उम्मीदवारों के चयन में सुधार के लिए kNN इंडेक्स में समान एम्बेडिंग का उपयोग किया जा सकता है।

वितरित सहयोगात्मक फ़िल्टरिंग

वृद्धिशील मैट्रिक्स कारक का वितरण कैसे करें और जल्दी से नए लेखों का वेक्टर प्रतिनिधित्व कैसे करें?

अनुशंसाओं के लिए सामग्री केवल संकेतों का स्रोत नहीं है। सहयोगात्मक जानकारी एक अन्य महत्वपूर्ण स्रोत है। रैंकिंग में अच्छे संकेत पारंपरिक रूप से उपयोगकर्ता-दस्तावेज़ मैट्रिक्स के अपघटन से प्राप्त किए जा सकते हैं। लेकिन जब इस अपघटन को करने की कोशिश की गई, तो हम समस्याओं में भाग गए:

1. हमारे पास लाखों दस्तावेज हैं और लाखों उपयोगकर्ता हैं। मैट्रिक्स पूरी तरह से एक मशीन पर फिट नहीं होता है, और अपघटन बहुत लंबा होगा।
2. सिस्टम की अधिकांश सामग्री का जीवनकाल छोटा होता है: दस्तावेज़ केवल कुछ घंटों के लिए प्रासंगिक रहते हैं। इसलिए, जितनी जल्दी हो सके उनके वेक्टर प्रतिनिधित्व का निर्माण करना आवश्यक है।
3. यदि आप दस्तावेज़ के प्रकाशन के तुरंत बाद अपघटन का निर्माण करते हैं, तो पर्याप्त संख्या में उपयोगकर्ताओं के पास इसका मूल्यांकन करने का समय नहीं होगा। इसलिए, इसका वेक्टर प्रतिनिधित्व बहुत अच्छा नहीं होने की संभावना है।
4. यदि उपयोगकर्ता पसंद या नापसंद करता है, तो हम विस्तार में इसे तुरंत ध्यान में नहीं रख पाएंगे।

इन समस्याओं को हल करने के लिए, हमने एक वृद्धिशील अद्यतन के साथ उपयोगकर्ता-दस्तावेज़ मैट्रिक्स के एक वितरित अपघटन को लागू किया। वह कितना सटीक काम करता है?

मान लीजिए कि हमारे पास N मशीनों (सैकड़ों में N) का एक समूह है और हम उन पर मैट्रिक्स का एक वितरित अपघटन करना चाहते हैं, जो एक मशीन पर फिट नहीं होता है। सवाल यह है कि इस अपघटन को कैसे किया जाए ताकि एक तरफ, प्रत्येक मशीन पर और दूसरे पर पर्याप्त डेटा हो, ताकि गणना स्वतंत्र हो?

हम ऊपर वर्णित ALS अपघटन एल्गोरिथ्म का उपयोग करेंगे। एक एएलएस चरण को वितरित तरीके से प्रदर्शन करने के तरीके पर विचार करें - बाकी चरण समान होंगे। मान लीजिए कि हमारे पास दस्तावेजों का एक निश्चित मैट्रिक्स है और हम उपयोगकर्ताओं के मैट्रिक्स का निर्माण करना चाहते हैं। ऐसा करने के लिए, हम इसे एन भागों में पंक्तियों में विभाजित करते हैं, प्रत्येक भाग में लगभग समान पंक्तियाँ होंगी। हम प्रत्येक मशीन को संबंधित लाइनों की गैर-खाली कोशिकाओं, साथ ही दस्तावेज़ एम्बेडिंग (पूरी तरह से) का एक मैट्रिक्स भेजेंगे। चूंकि यह बहुत बड़ा नहीं है, और उपयोगकर्ता-दस्तावेज़ मैट्रिक्स आमतौर पर बहुत विरल है, यह डेटा एक नियमित मशीन पर फिट होगा।

इस तरह के एक चाल को कई युगों तक दोहराया जा सकता है जब तक कि मॉडल परिवर्तित नहीं होता है, वैकल्पिक रूप से निश्चित मैट्रिक्स को बदल रहा है। लेकिन फिर भी, मैट्रिक्स का अपघटन कई घंटों तक रह सकता है। और यह नए दस्तावेज़ों के एम्बेडिंग को जल्दी से प्राप्त करने की आवश्यकता की समस्या को हल नहीं करता है और उन लोगों के एम्बेडिंग को अपडेट करता है जिनके बारे में मॉडल बनाते समय बहुत कम जानकारी थी।

मॉडल के त्वरित वृद्धिशील अद्यतन की शुरूआत ने हमारी मदद की। मान लीजिए कि हमारे पास एक मौजूदा प्रशिक्षित मॉडल है। उसके प्रशिक्षण के बाद से, नए लेख सामने आए हैं जिनके साथ हमारे उपयोगकर्ताओं ने बातचीत की है, साथ ही उन लेखों के बारे में भी जिन्हें प्रशिक्षण के साथ बहुत कम बातचीत हुई है। ऐसे लेखों को जल्दी से एम्बेड करने के लिए, हम मॉडल के पहले बड़े प्रशिक्षण के दौरान प्राप्त उपयोगकर्ता एम्बेडिंग का उपयोग करते हैं और उपयोगकर्ताओं के एक निश्चित मैट्रिक्स के साथ दस्तावेजों के मैट्रिक्स की गणना करने के लिए एक एएलएस कदम उठाते हैं। यह आपको दस्तावेज़ के प्रकाशन के बाद कुछ मिनटों के भीतर - बहुत जल्दी एम्बेडिंग प्राप्त करने की अनुमति देता है - और अक्सर नए दस्तावेज़ों के एम्बेडिंग को अपडेट करते हैं।

सिफारिशों के लिए तुरंत मानव कार्यों को ध्यान में रखने के लिए, क्रम में हम ऑफ़लाइन प्राप्त उपयोगकर्ता एम्बेड का उपयोग नहीं करते हैं। इसके बजाय, हम ALS कदम उठाते हैं और वर्तमान उपयोगकर्ता वेक्टर प्राप्त करते हैं।

किसी अन्य डोमेन क्षेत्र में स्थानांतरण करें

वीडियो के वेक्टर प्रतिनिधित्व के निर्माण के लिए टेक्स्ट लेखों के लिए उपयोगकर्ता की प्रतिक्रिया का उपयोग कैसे करें?

प्रारंभ में, हमने केवल पाठ लेखों की सिफारिश की, इसलिए हमारे कई एल्गोरिदम इस प्रकार की सामग्री पर केंद्रित हैं। लेकिन जब एक अलग प्रकार की सामग्री जोड़ते हैं, तो हमें मॉडल को अनुकूलित करने की आवश्यकता का सामना करना पड़ा। उदाहरण वीडियो का उपयोग करके हमने इस समस्या को कैसे हल किया? एक विकल्प सभी मॉडलों को खरोंच से पीछे हटाना है। लेकिन यह एक लंबा समय है, इसके अलावा, कुछ एल्गोरिदम प्रशिक्षण नमूने की मात्रा पर मांग कर रहे हैं, जो सेवा पर अपने जीवन के पहले क्षणों में एक नए प्रकार की सामग्री के लिए अभी तक सही मात्रा में नहीं है।

हम दूसरे तरीके से गए और वीडियो के लिए पुन: उपयोग किए गए टेक्स्ट मॉडल का उपयोग किया। वीडियो के वेक्टर प्रतिनिधित्व बनाने में, एएलएस के साथ एक ही चाल ने हमारी मदद की। हमने टेक्स्ट लेखों के आधार पर उपयोगकर्ताओं का वेक्टर प्रतिनिधित्व किया और वीडियो विचारों के बारे में जानकारी का उपयोग करते हुए ALS कदम उठाया। इसलिए हमें आसानी से वीडियो का वेक्टर प्रतिनिधित्व मिल गया। और रनटाइम में, हम बस टेक्स्ट लेख और वीडियो वेक्टर से प्राप्त उपयोगकर्ता वेक्टर के बीच निकटता की गणना करते हैं।

निष्कर्ष

एक वास्तविक समय की अनुशंसा प्रणाली के मूल का विकास कई कार्यों से भरा हुआ है। डेटा को जल्दी से संसाधित करना और इस डेटा का प्रभावी ढंग से उपयोग करने के लिए एमएल तरीके लागू करना आवश्यक है; कम से कम समय में उपयोगकर्ता सिग्नल और नई सामग्री इकाइयों को संसाधित करने में सक्षम जटिल वितरित सिस्टम का निर्माण करें; और कई अन्य कार्य।

वर्तमान प्रणाली में, जिस डिवाइस का मैंने वर्णन किया है, उपयोगकर्ता की सिफारिशों की गुणवत्ता उसकी गतिविधि और सेवा की अवधि के साथ बढ़ती है। लेकिन निश्चित रूप से, यहां मुख्य कठिनाई निहित है: सिस्टम के लिए उस व्यक्ति के हितों को तुरंत समझना मुश्किल है जिसने सामग्री के साथ बहुत कम बातचीत की। नए उपयोगकर्ताओं के लिए सिफारिशों में सुधार हमारी महत्वपूर्ण चिंता है। हम एल्गोरिदम का अनुकूलन जारी रखेंगे ताकि व्यक्ति के लिए प्रासंगिक सामग्री उसके फीड में तेजी से हो और अप्रासंगिक दिखाई न दे।

हम सिफारिशों के चयन की गुणवत्ता और गति पर कैसे काम करते हैं

उम्मीदवार का चयन

रनटाइम में एएलएस कदम

वितरित सहयोगात्मक फ़िल्टरिंग

किसी अन्य डोमेन क्षेत्र में स्थानांतरण करें

निष्कर्ष

More articles: