हमने फिल्मों की सिफारिश करना कैसे सीखा और आपको केवल रेटिंग पर ही निर्भर क्यों नहीं रहना चाहिए

कल्पना कीजिए कि आप शाम को एक फिल्म देखने के लिए खर्च करना चाहते हैं, लेकिन यह नहीं पता कि किसे चुनना है। यैंडेक्स उपयोगकर्ता अक्सर खुद को उसी स्थिति में पाते हैं, इसलिए हमारी टीम उन सिफारिशों को विकसित करती है जो खोज और वायु पर पाई जा सकती हैं। ऐसा लगता है कि यह जटिल है: हम उपयोगकर्ता रेटिंग लेते हैं, उनकी मदद से हम कार को फिल्मों को खोजने के लिए प्रशिक्षित करते हैं जो 5 अंक देने की संभावना रखते हैं, हमें फिल्मों की तैयार सूची मिलती है। लेकिन यह दृष्टिकोण काम नहीं करता है। क्यों? यही मैं आज के बारे में आपको बताता हूँ।

इतिहास का हिस्सा। 2006 में वापस, नेटफ्लिक्स ने नेटफ्लिक्स पुरस्कार मशीन सीखने की प्रतियोगिता शुरू की। यदि आप अचानक भूल गए, तो कंपनी अभी तक इंटरनेट पर स्ट्रीमिंग नहीं कर रही है, लेकिन डीवीडी पर फिल्मों को किराए पर ले रही है। लेकिन फिर भी, उसके लिए उपयोगकर्ता की रेटिंग की भविष्यवाणी करना महत्वपूर्ण था ताकि उसे कुछ सुझाया जा सके। इसलिए, प्रतियोगिता का सार: दर्शकों की रेटिंग का अनुमान लगाने के लिए, सिनेमैच, नेटफ्लिक्स सिफारिश प्रणाली की तुलना में 10% बेहतर (RMSE मीट्रिक के अनुसार) है। यह इस तरह की पहली सामूहिक प्रतियोगिताओं में से एक थी। ब्याज ने एक विशाल डेटासेट (100 मिलियन से अधिक रेटिंग) को गरम किया, साथ ही $ 1 मिलियन का पुरस्कार भी दिया।

प्रतियोगिता 2009 में समाप्त हुई। बेल्कोर के प्रागैमैटिक कैओस और द एन्सेम्बल की टीमें एक ही परिणाम (RMSE = 0.8567) के साथ अंतिम पंक्ति में पहुंच गईं, लेकिन द एन्सेम्बल ने दूसरा स्थान हासिल किया क्योंकि उन्होंने अपने प्रतियोगियों की तुलना में 20 मिनट बाद समाधान भेजा। परिणाम और कार्य यहां देखे जा सकते हैं । लेकिन सबसे दिलचस्प बात अलग है। यदि आप विशेष सम्मेलनों में दोहराई गई कहानियों पर विश्वास करते हैं, तो जीतने वाले एल्गोरिदम वीडियो स्ट्रीमिंग सेवा में उत्पादन में दिखाई नहीं दिए जो जल्द ही लॉन्च किए गए थे। मैं अन्य लोगों के निर्णयों के कारणों के बारे में बात नहीं कर सकता, लेकिन मैं आपको बताऊंगा कि हमने ऐसा क्यों किया।

व्यक्तिगत रेटिंग

अभी कुछ समय के लिए, यांडेक्स उपयोगकर्ता उन फिल्मों को रेट कर सकते हैं जिन्हें उन्होंने देखा है। और न केवल KinoPoisk पर, बल्कि खोज परिणामों में भी। समय के साथ, हमने लाखों लोगों के लाखों-करोड़ों अनुमानों को जमा किया है। कुछ बिंदु पर, हमने उपयोगकर्ताओं को यह समझने में मदद करने के लिए इस डेटा का उपयोग करने का निर्णय लिया कि वे एक फिल्म को कितना पसंद करेंगे। वास्तव में, हमने नेटफ्लिक्स पुरस्कार प्रतियोगिता में उसी समस्या को हल किया, अर्थात, हमने भविष्यवाणी की कि उपयोगकर्ता फिल्म को किस रेटिंग के साथ देगा। उस समय, KinoPoisk और IMDB रेटिंग पहले से मौजूद थीं, जो लोगों की रेटिंग के आधार पर बनाई गई थीं। हमने एक व्यक्तिगत रेटिंग का निर्माण किया, इसलिए हमने दृश्य समानता और भ्रम से बचने के लिए प्रतिशत के रूप में एक अलग पैमाने का उपयोग करने का निर्णय लिया।



वैसे, बिंदु पैमाने और प्रतिशत को सहसंबंधित करने की आवश्यकता एक अलग, स्पष्ट सिरदर्द है, इसलिए मैं इसके बारे में संक्षेप में बात करूंगा। ऐसा लगता है कि 10-बिंदु पैमाने के लिए, प्रत्येक बिंदु के लिए 10% लें - और बिंदु टोपी में है। लेकिन नहीं। इसका कारण मनोविज्ञान और आदतें हैं। उदाहरण के लिए, उपयोगकर्ताओं के दृष्टिकोण से, 8/10 की रेटिंग 80% से बहुत बेहतर है। इसे सहसंबंधित कैसे करें? भीड़ के साथ! और इसलिए हमने किया: हमने टोलोक में कार्य शुरू किया, जिसमें निशानेबाजों ने एक निश्चित स्कोर या व्यक्तिगत रेटिंग के प्रतिशत के साथ फिल्मों की अपेक्षाओं का वर्णन किया। इस मार्कअप के आधार पर, हमने एक फ़ंक्शन का चयन किया जो अंक से प्रतिशत तक की भविष्यवाणी का अनुवाद करता है ताकि उपयोगकर्ता अपेक्षाएं बनी रहें।


फिल्म से उम्मीद लगाना उपयोगी है, लेकिन साथ ही सिफारिशें बनाना अच्छा होगा। यही है, तुरंत व्यक्ति को अच्छी फिल्मों की सूची दिखाएं। उस समय, आप में से बहुत से लोग सोच सकते हैं: "और चलो उन फिल्मों को क्रमबद्ध करें जिन्हें उपयोगकर्ता ने व्यक्तिगत रेटिंग द्वारा नहीं देखा है।" हमने पहले भी ऐसा सोचा था। लेकिन फिर मुझे दो समस्याओं को हल करना पड़ा।

उपकरण की समस्या

जब कोई उपयोगकर्ता किसी विशेष फिल्म की खोज करता है (या एक विशिष्ट डीवीडी किराए पर लेना चाहता है), तो सेवा को इस विशेष फिल्म की रेटिंग का अनुमान लगाना चाहिए। वास्तव में यह समस्या नेटफ्लिक्स पुरस्कार प्रतियोगिता में हल की गई थी, जहां RMSE मीट्रिक का उपयोग किया गया था। लेकिन सिफारिशें एक अलग समस्या को हल करती हैं: आपको ग्रेड का अनुमान लगाने की ज़रूरत नहीं है, लेकिन एक फिल्म खोजने के लिए जिसे अंततः देखा जाएगा। और RMSE मीट्रिक इस का एक खराब काम करता है। उदाहरण के लिए, 1 के बजाय 2 की रेटिंग की भविष्यवाणी करने का दंड बिल्कुल 4 के बजाय 5 के समान है। लेकिन हमारे सिस्टम को कभी भी उन फिल्मों की सिफारिश नहीं करनी चाहिए जिनमें उपयोगकर्ता 2 डालता है! इस कार्य के लिए सूची-आधारित मैट्रिक्स अधिक उपयुक्त हैं, जैसे कि प्रेसिजन @ के, रिकॉल @ के, एमआरआर, या एनडीसीजी। मैं उनकी मदद नहीं कर सकता, लेकिन आपको उनके बारे में थोड़ा और बता दूंगा (लेकिन अगर आपको मेट्रिक्स में कोई दिलचस्पी नहीं है, तो बस अगले पैराग्राफ को छोड़ दें)।

शुरुआत करते हैं मेट्रिक से।MRR (मतलब पारस्परिक रैंक)। हम इस बात पर ध्यान देंगे कि वह फिल्म किस स्थिति में होगी जिसके साथ उपयोगकर्ता ने परीक्षण अवधि में (उदाहरण के लिए देखा या प्रशंसा की) बातचीत की। एमआरआर मेट्रिक इस तरह की फिल्म का उपयोगकर्ता-औसत रिवर्स स्थिति है। अर्थात$$$MRR = \frac{1}{|U|} \sum_{u=1}^{|U|} \frac{1}{rank_u}$। आरएमएसई के विपरीत ऐसी मीट्रिक, पूरी सूची का मूल्यांकन करती है, लेकिन, दुर्भाग्य से, केवल पहले अनुमानित तत्व को देखती है। हालांकि, इस खामी से छुटकारा पाने के लिए मीट्रिक को संशोधित करना आसान है। हम उन सभी फिल्मों के रिवर्स पदों की राशि की गणना कर सकते हैं जिनके साथ उपयोगकर्ता ने बातचीत की। इस मीट्रिक को औसत पारस्परिक हिट रैंक कहा जाता है। यह मीट्रिक इस मुद्दे की सभी अनुमानित फिल्मों को ध्यान में रखता है। ध्यान दें कि पेआउट में स्थिति एक अनुमानित मूवी के लिए 1 / k का वजन और किसी अन्य मूवी के लिए 0 का वजन प्राप्त करती है। अक्सर, 1 / k के बजाय 1 / log (k) का उपयोग किया जाता है: यह इस संभावना के अनुरूप होने की अधिक संभावना है कि उपयोगकर्ता k स्थिति पर स्क्रॉल करेगा। परिणाम एक डीसीजी मीट्रिक (रियायती संचयी लाभ) है$$$DCG = \frac{1}{|U|} \sum_{u=1}^{|U|} \sum_{pos=1}^{N} \frac{gain_{pos}}{\max(1, \log(pos))}$। लेकिन मीट्रिक में अलग-अलग उपयोगकर्ताओं का योगदान अलग-अलग है: किसी के लिए हमने सभी फिल्मों का अनुमान लगाया, किसी के लिए हमने कुछ भी अनुमान नहीं लगाया। इसलिए, एक नियम के रूप में, यह मीट्रिक सामान्यीकृत है। प्रत्येक उपयोगकर्ता के DCG को उस उपयोगकर्ता के लिए सर्वश्रेष्ठ रैंकिंग DCG में विभाजित करें। परिणामी मीट्रिक को NDCG (सामान्यीकृत रियायती संचयी लाभ) कहा जाता है । रैंकिंग की गुणवत्ता का आकलन करने के लिए इसका व्यापक रूप से उपयोग किया जाता है।

इसलिए, प्रत्येक कार्य की अपनी मीट्रिक होती है। लेकिन अगली समस्या इतनी स्पष्ट नहीं है।

पसंद की समस्या

यह वर्णन करना काफी कठिन है, लेकिन मैं कोशिश करूँगा। यह पता चला है कि लोग उन फिल्मों को उच्च अंक नहीं देते हैं जो वे आमतौर पर देखते हैं। दुर्लभ फिल्म मास्टरपीस, क्लासिक्स, आर्थोस को सबसे अधिक अंक मिलते हैं, लेकिन यह एक अच्छी कॉमेडी, एक नई एक्शन फिल्म या एक शानदार स्पेस ओपेरा देखने के लिए खुशी के साथ काम करने के बाद शाम को लोगों को नहीं रोकता है। इसमें यह जोड़ें कि यैंडेक्स पर उपयोगकर्ताओं ने उन सभी फिल्मों की सराहना नहीं की, जो उन्होंने एक बार और कहीं देखी थीं। और अगर हम केवल उच्चतम रेटिंग पर ध्यान केंद्रित करते हैं, तो हम एक अनुशंसित मूवी फ़ीड प्राप्त करने का जोखिम चलाते हैं, जो तार्किक लगेगा, उपयोगकर्ता इसकी गुणवत्ता को भी पहचान सकते हैं, लेकिन अंत में वे कुछ भी नहीं देखते हैं।

उदाहरण के लिए, यह मेरी मूवी फ़ीड की तरह लग सकता है अगर हमने इसे व्यक्तिगत रेटिंग के आधार पर लिया और अतीत में मेरे विचारों के बारे में कुछ भी नहीं जानते थे। बेहतरीन फिल्में। लेकिन मैं आज उनकी समीक्षा नहीं करना चाहता।



यह पता चला है कि बिखरी हुई रेटिंग और उच्च रेटिंग वाली फिल्मों की कमी की स्थिति में, यह न केवल रेटिंग पर ध्यान देने योग्य है। ठीक है, तो हम अनुशंसित फिल्म को देखने के लिए कार को प्रशिक्षित करते हैं, और रेटिंग नहीं। यह तर्कसंगत प्रतीत होगा, क्योंकि उपयोगकर्ता यही चाहता है। क्या गलत हो सकता था? समस्या यह है कि टेप फिल्मों से भरा होगा, जिनमें से प्रत्येक शाम को एक आसान शगल के लिए काफी उपयुक्त है, लेकिन उनकी व्यक्तिगत रेटिंग कम होगी। उपयोगकर्ता, निश्चित रूप से, इस तथ्य पर ध्यान देंगे कि टेप में कोई "मास्टरपीस" नहीं हैं, जिसका अर्थ है कि सिफारिशों की विश्वसनीयता को कम किया जाएगा, वे नहीं देखेंगे कि वे अन्यथा क्या देखेंगे।

परिणामस्वरूप, हमें यह समझ में आया कि दो चरम सीमाओं के बीच संतुलन की आवश्यकता है। मशीन को प्रशिक्षित करना आवश्यक है ताकि किसी व्यक्ति द्वारा अनुशंसा की दृष्टि और देखने की क्षमता दोनों को ध्यान में रखा जाए।

हमारी सिफारिशें कैसे काम करती हैं

हमारी प्रणाली खोज का हिस्सा है, इसलिए हमें बहुत जल्दी सिफारिशें बनाने की आवश्यकता है: सेवा का प्रतिक्रिया समय 100 मिलीसेकंड से कम होना चाहिए। इसलिए, हम डेटा तैयार करने के चरण में, यथासंभव अधिक से अधिक भारी संचालन करने की कोशिश करते हैं। सिफारिश प्रणाली में सभी फिल्मों और उपयोगकर्ताओं को प्रोफाइल द्वारा दर्शाया जाता है (यह महत्वपूर्ण है कि यह खाते से भ्रमित न हो), जिसमें ऑब्जेक्ट कुंजी, काउंटर और एम्बेडिंग (दूसरे शब्दों में, एक निश्चित स्थान पर वैक्टर) शामिल हैं। फिल्मों के प्रोफाइल हर दिन YT ( "Yt" के रूप में पढ़ें ) पर तैयार किए जाते हैं और उन मशीनों की रैम में लोड किए जाते हैं जो अनुरोधों का जवाब देते हैं। लेकिन उपयोगकर्ताओं के साथ, सब कुछ थोड़ा और अधिक जटिल है।

हर दिन हम वाईटी पर मुख्य उपयोगकर्ता प्रोफ़ाइल का निर्माण करते हैं और इसे यैंडेक्स स्टोर पर भेजते हैं, जिससे आप दसियों मिलीसेकेंड के जोड़े में प्रोफ़ाइल प्राप्त कर सकते हैं। लेकिन डेटा जल्दी से पुराना हो जाता है अगर कोई व्यक्ति वीडियो को सक्रिय रूप से देखता है और उसका मूल्यांकन करता है। सिफारिशें पिछड़ने लगीं तो अच्छा नहीं है। इसलिए, हम उपयोगकर्ता घटनाओं की धारा को पढ़ते हैं और प्रोफ़ाइल का गतिशील हिस्सा बनाते हैं। जब कोई व्यक्ति एक अनुरोध में प्रवेश करता है, तो हम एक गतिशील प्रोफ़ाइल के साथ रिपॉजिटरी से प्रोफ़ाइल को जोड़ते हैं और एक एकल प्रोफ़ाइल प्राप्त करते हैं, जो केवल कुछ सेकंड के लिए वास्तविकता से पीछे रह सकती है।

यह ऑफ़लाइन (जो पहले से होता है) होता है, और अब हम सीधे रनटाइम पर जाते हैं। यहां सिफारिश प्रणाली में दो चरण होते हैं। फिल्मों के पूरे डेटाबेस की रैंकिंग बहुत लंबी है, इसलिए पहले चरण में हम केवल कई सौ उम्मीदवारों का चयन करते हैं, अर्थात्, हम ऐसी फिल्में ढूंढते हैं जो दर्शक के लिए रुचि की हो सकती हैं। इसमें लोकप्रिय पेंटिंग और कुछ एम्बेडिंग में उपयोगकर्ता के करीब दोनों शामिल हैं। निकटतम पड़ोसियों को जल्दी से ढूंढने के लिए कई एल्गोरिदम हैं, हम एचएनएसडब्ल्यू (पदानुक्रमित नेविगेबल स्मॉल वर्ल्ड) का उपयोग करते हैं। इसके साथ, हम कुछ मिलीसेकंड में उपयोगकर्ता के सबसे करीब फिल्में देखते हैं।

दूसरे चरण में, हम मूवी, उपयोगकर्ता और उपयोगकर्ता / मूवी पेयर और रैंक उम्मीदवारों द्वारा BBBost का उपयोग करके सुविधाओं (कभी-कभी उन्हें कारक भी कहा जाता है) को निकालते हैं। मैं आपको याद दिलाता हूं: हमने पहले ही महसूस किया कि हमें न केवल विचारों पर, बल्कि सिफारिशों की अन्य गुणवत्ता विशेषताओं पर भी ध्यान केंद्रित करने की आवश्यकता है, इसलिए रैंकिंग के लिए हम विभिन्न लक्ष्यों के लिए प्रशिक्षित कई कैटबॉस्ट मॉडल के संयोजन के लिए आए।

उम्मीदवारों को खोजने के लिए, हम कई मैट्रिक्स डीकंपोज़िशन से एम्बेडिंग का उपयोग करते हैं: एएलएस के क्लासिक संस्करण से, जो एसवीडी ++ के आधार पर अधिक जटिल विविधताओं के लिए मूल्यांकन की भविष्यवाणी करता है। रैंकिंग के लिए सुविधाओं के रूप में, दोनों सरल उपयोगकर्ता इवेंट काउंटर और फिल्मों, विभिन्न घटनाओं के लिए सीटीआर, साथ ही साथ अधिक जटिल पूर्व प्रशिक्षित मॉडल का उपयोग किया जाता है। उदाहरण के लिए, ALS भविष्यवाणी एक विशेषता के रूप में भी कार्य करती है। सबसे उपयोगी मॉडल में से एक है अनुशंसित डीएसएमएस तंत्रिका नेटवर्क, जिसके बारे में मैं शायद थोड़ा और बात करूंगा।

डीएसएसएम की सिफारिश

DSSM एक दो-टॉवर तंत्रिका नेटवर्क है। प्रत्येक टॉवर अपना स्वयं का एम्बेडिंग बनाता है, फिर कॉम्बिंग दूरी को एम्बेडिंग के बीच माना जाता है, यह संख्या नेटवर्क आउटपुट है। यही है, नेटवर्क बाएं और दाएं टावरों में वस्तुओं की निकटता का मूल्यांकन करना सीखता है। इसी तरह के तंत्रिका नेटवर्क का उपयोग किया जाता है, उदाहरण के लिए, किसी क्वेरी के लिए प्रासंगिक दस्तावेज़ खोजने के लिए वेब खोज में । खोज कार्य के लिए, टावरों में से एक के लिए एक अनुरोध और दूसरे को एक दस्तावेज भेजा जाता है। हमारे नेटवर्क के लिए, अनुरोध की भूमिका उपयोगकर्ता द्वारा निभाई जाती है, और फिल्में दस्तावेजों के रूप में कार्य करती हैं।

फिल्म का टॉवर फिल्म के बारे में आंकड़ों के आधार पर एम्बेडिंग बनाता है: यह शीर्षक, विवरण, शैली, देश, अभिनेता आदि है। नेटवर्क का यह हिस्सा खोज के समान है। हालांकि, दर्शक के लिए हम उसकी कहानी का उपयोग करना चाहते हैं। ऐसा करने के लिए, हम घटना के क्षण के बाद से समय के साथ कहानी से फिल्मों की एम्बेडिंग को फीका कर देते हैं। फिर, कुल एम्बेडिंग के शीर्ष पर, हम नेटवर्क की कई परतें लागू करते हैं और परिणामस्वरूप हमें आकार 400 का एम्बेडिंग मिलता है।



यदि आप तुरंत एम्बेड करने में उपयोगकर्ता के पूरे इतिहास को ध्यान में रखते हैं, तो यह प्रशिक्षण को धीमा कर देगा। इसलिए, हम ट्रिक में जाते हैं और नेटवर्क को दो चरणों में सीखते हैं। सबसे पहले, सरल इनरएसएसएसएम सीखें। प्रवेश द्वार पर, वह उपयोगकर्ता के इतिहास से केवल पिछले 50 घटनाओं (प्रकार, रेटिंग ...) में विभाजित किए बिना प्राप्त करता है। फिर हम उपयोगकर्ता के इतिहास में परिणामी इनरडएसएसएम को पुनः प्राप्त करते हैं, लेकिन ईवेंट प्रकारों में टूटने के साथ। तो हमें OuterDSSM मिलता है, जिसका उपयोग रनटाइम में किया जाता है।

माथे में रनटाइम नेटवर्क का उपयोग करने के लिए काफी कंप्यूटिंग संसाधनों की आवश्यकता होती है। इसलिए, हम डेटाबेस में मूवी टॉवर से एम्बेडिंग को सहेजते हैं, और उपयोगकर्ता इतिहास के अनुसार एम्बेडिंग वास्तविक समय के पास अपडेट की जाती हैं। इस प्रकार, अनुरोध के प्रसंस्करण के दौरान, आपको केवल OuterDSSM के एक छोटे से हिस्से को लागू करने और कॉशन की गणना करने की आवश्यकता है, इसमें अधिक समय नहीं लगता है।

निष्कर्ष

अब हमारी सिफारिशें हमारी खोज में पहले से ही उपलब्ध हैं (उदाहरण के लिए, अनुरोध [क्या देखना है] ), Yandex.Air सेवा में, और इस तकनीक का एक अनुकूलित संस्करण भी Yandex.Stations में उपयोग किया जाता है। लेकिन इसका मतलब यह नहीं है कि हम आराम कर सकते हैं। हम लगातार नए मॉडल को प्रशिक्षित करते हैं, अधिक से अधिक डेटा लागू करते हैं, प्रशिक्षण के नए दृष्टिकोण और नए गुणवत्ता के मैट्रिक्स की कोशिश करते हैं। मेरी राय में, यह क्षेत्र जितना पुराना है, उतना ही मुश्किल है इसे विकसित करना। लेकिन विशेषज्ञों के लिए यह मुख्य रुचि है।