हम Yandex खोज में भविष्य की भविष्यवाणी कैसे करते हैं: बग फिक्स से लेकर खोज क्वेरी तक

लोग हमेशा अपने प्रश्नों को सही ढंग से तैयार नहीं करते हैं, इसलिए खोज इंजन को इसके लिए उनकी मदद करनी चाहिए। मेरा नाम सर्गेई युडिन है, मैं यैंडेक्स में खोज कार्यक्षमता विश्लेषिकी के एक समूह का नेतृत्व करता हूं। हर दिन हम मशीन लर्निंग के माध्यम से कुछ सुधार करते हैं। पिछले साल, हम ऐसी तकनीक विकसित कर रहे हैं, जो मानवीय हितों का समर्थन करती है।

मेरी टीम अनास्तासिया गैदाशेंको के एक विशेषज्ञ के साथavgaydashenkoमैं हबर के पाठकों को बताऊंगा कि यह तकनीक कैसे काम करती है, मैं वास्तुकला और अनुप्रयुक्त एल्गोरिदम का वर्णन करूंगा। आप यह भी सीखेंगे कि अगले अनुरोध की भविष्यवाणी भविष्य के मानव हितों की भविष्यवाणी से कैसे भिन्न है।

उपयोगकर्ता क्या चाहता है?

आइए देखें कि एक काल्पनिक उपयोगकर्ता के उदाहरण का उपयोग करके यांडेक्स प्रौद्योगिकियां समस्याओं को हल करने में कैसे मदद करती हैं। मान लीजिए वह खोज बॉक्स में "टिकट सहेजें" प्रिंट करता है। वह क्या खोजना चाहता है? टिकट संचय के बारे में जानने के लिए, या वह सिर्फ गलत था?



हां, उसे सील कर दिया गया था। वह बचत करना नहीं, बल्कि टिकट खरीदना चाहता है। यांडेक्स ने उसे समझा, अभिभावक ने इसमें उसकी मदद की - एक प्रणाली जो गलत तरीके से दर्ज किए गए अनुरोधों को सही करती है । गणितीय रूप से, यह प्रणाली सही ढंग से दर्ज की गई क्वेरी की संभावना को अधिकतम करती है, बशर्ते कि उपयोगकर्ता पाठ में प्रविष्ट हो। यह समस्या दस वर्षों से अधिक समय से यैंडेक्स में हल की गई है। और केवल खोज में नहीं।

इसलिए, हमारे काल्पनिक उपयोगकर्ता ने "टिकट खरीदें" अनुरोध दर्ज किया। इस बिंदु पर, एक sjest खेल में आता है ।(या खोज सुझाव)। सजस्ट उपयोगकर्ता को अनुरोध को तैयार करने, उसे सही ढंग से पूरा करने में मदद करता है।



हमारा सजग साथी लंबा सफर तय कर चुका है। कुछ साल पहले, हम कार्य को जटिल करते हैं। मैं न केवल अनुरोध के सबसे तार्किक पूर्णता को दिखाना चाहता था, बल्कि यह भी अनुमान लगाने के लिए कि यह विशेष उपयोगकर्ता किस अनुरोध को अंत में दर्ज करेगा और क्लिक से पहले अपने prerender को शुरू करेगा। यदि आप रुचि रखते हैं कि यह कैसे काम करता है, तो आप हैबे को देख सकते हैं ।

हमारा काल्पनिक उपयोगकर्ता सुझावों की एक श्रृंखला से अनुरोध के अंत का चयन करता है: यह पता चलता है कि वह ट्रेटीवोव गैलरी के टिकट की तलाश कर रहा था। इस प्रकार, अनुशंसा प्रणाली ने अपना पहला कार्य पूरा किया - इसने उपयोगकर्ता को अनुरोध तैयार करने में मदद की ।

यह कार्य पूरा हो चुका है, लेकिन उपयोगकर्ता के पास अभी भी प्रश्न हैं। वह आगे क्या देखेगा? शायद वह जानना चाहता है कि गैलरी में कैसे पहुंचा जाए? हां, वह पते को सत्यापित करने के लिए Lavrushinsky प्रति 10 प्रिंट करता है।



क्या हम इस अनुरोध की भविष्यवाणी कर सकते हैं? हाँ। और हम काफी समय से ऐसा कर रहे हैं। इस तरह के एक ब्लॉक है - मुद्दे के अंत में "भी पूछा"। यह उन प्रश्नों को दिखाता है जो लोग आमतौर पर खोज क्षेत्र में प्रवेश करने के बाद पूछते हैं। इसमें यह है कि हम ट्रेत्यकोव गैलरी के पते के साथ हमारे अनुरोध को देखेंगे।



हम पिछले उपयोगकर्ता अनुरोध के अधीन एक अनुरोध विषय की संभावना को अधिकतम करते हैं। सिस्टम ने दूसरा कार्य पूरा किया - अगले अनुरोध की भविष्यवाणी की ।

और फिर कुछ बहुत दिलचस्प होता है। उपयोगकर्ता अनुरोध को प्रिंट करता है "जब मैं मुफ्त में ट्रीटीकोव गैलरी का दौरा कर सकता हूं।" यह अनुरोध बाकी से अलग है, उपयोगकर्ता कार्य के लिए काउंटर चलाता है, कुछ ऑर्थोगोनल कार्य को हल करता है।



लेकिन हम सोचते हैं: यदि हम गैलरी के लिए टिकट तलाश रहे थे, तो हम सिफारिश के रूप में क्या देखना चाहेंगे? बड़ी संख्या में लोग यह जानना चाहेंगे कि टिकट खरीदने की आवश्यकता नहीं है। यह कार्य का तीसरा, सबसे कठिन और दिलचस्प हिस्सा है - उपयोगकर्ता को कुछ नया और उपयोगी बनाने के लिए। कुछ ऐसा जो उन्होंने स्वयं अभी तक नहीं सोचा था।

ऐसे अनुरोधों को हम खोज कहते हैं। हम उन्हें अपने खोज लॉग में पहचानना, सहेजना और समस्या के अंत में उनकी अनुशंसा करना सीखते हैं। और यह बिल्कुल नया और क्रांतिकारी कार्य है जिस पर हम सक्रिय रूप से काम कर रहे हैं। स्कैंडिनेवियाई लाठी खरीदने वाले व्यक्ति के लिए, यैंडेक्स उन्हें ऊंचाई से कैसे उठा सकता है, इस पर एक अनुरोध की सिफारिश कर सकता है। यदि कोई व्यक्ति अक्सर यात्रा करता है, तो शायद उसे खोज क्वेरी में दिलचस्पी होगी "जहां बिना वीजा के जाना है।" आदि।



इस मामले में समस्या का गणितीय विवरण इस तरह दिखेगा: हम अगले अनुरोध की संभावना को अधिकतम नहीं करते हैं, लेकिन अनुरोध पर एक क्लिक की संभावना है, जो हम उसके पिछले सत्र के आधार पर उपयोगकर्ता को सुझाते हैं।

यह काम किस प्रकार करता है?

आइए देखें कि हमारी सिफारिश प्रणाली कैसे लागू की जाती है, इसके पीछे कौन सी वास्तुकला छिपी है। लेकिन शुरू करने के लिए, हम यह निर्धारित करेंगे कि हम आम तौर पर सिफारिश प्रणाली से क्या प्राप्त करना चाहते हैं।

1. उपयोगी सिफारिशें! बेशक, हम उन अनुरोधों को चाहते हैं जो हम उपयोगकर्ता को उसके हितों के अनुरूप बनाने की सलाह देते हैं। उन्हें उपयोगी और प्रासंगिक होना चाहिए।

2. स्केलेबिलिटी। हमें उम्मीद है कि सिस्टम अच्छा होगा: अधिक से अधिक उपयोगकर्ता होंगे, और अनुरोधों की संख्या बढ़ जाएगी। और हम उन लोगों के लिए कवरेज बढ़ाना चाहते हैं जिन पर हम सिफारिशें कर सकते हैं।

3. कार्यान्वयन में आसानी।हम मानते हैं कि हमारी प्रणाली अभी भी काम करेगी, और हम इसे कई बार फिर से लिखना नहीं चाहते हैं। सिस्टम को लागू करना आसान होना चाहिए, ताकि हम बाद में इसे सुधार सकें, नया संस्करण लॉन्च नहीं कर सकें, लेकिन वर्तमान में सुधार कर सकें।

हमारी इच्छाओं पर फैसला करने के बाद, आइए देखें कि आप उन्हें कैसे ज़िंदगी में ला सकते हैं।

हमारे पास कुछ खोज डेटाबेस हैं - प्रश्नों का एक डेटाबेस जो हमारे उपयोगकर्ताओं को दिलचस्प और उपयोगी लग सकता है। लेकिन अगर हम इस पूरे आधार की रैंकिंग शुरू करते हैं, तो हमारे पास पर्याप्त कंप्यूटिंग शक्ति नहीं होगी। उपयोगकर्ताओं के कई अनुरोध हैं, वे विविध हैं, इसलिए पहले हमें इस डेटाबेस को फ़िल्टर करने की आवश्यकता है।



छानने का काम अलग-अलग तरीकों से किया जा सकता है। यैंडेक्स में, हम इसके लिए kNN (k-निकटतम पड़ोसी) का उपयोग करते हैं- मशीन सीखने में बुनियादी वर्गीकरण एल्गोरिदम, जिसे "निकटतम पड़ोसी खोज" के रूप में जाना जाता है। इस एल्गोरिथ्म का उपयोग करते हुए, हम डेटाबेस को फ़िल्टर करना चाहते हैं: उपयोगकर्ता के लिए सबसे करीबी प्रश्नों का चयन करें। ऐसा करने के लिए, हम उपयोगकर्ता के अनुरोध और उन अनुरोधों की तुलना करना चाहते हैं जो हम वेक्टर अंतरिक्ष में सिफारिश करने के लिए तैयार हैं।

लेकिन इन अनुरोधों को एक सदिश स्थान में लाने के लिए, हमें कुछ के साथ आने की भी आवश्यकता है। उदाहरण के लिए, आप DSSM (डीप स्ट्रक्चर्ड सेमेटिक मॉडल) का उपयोग कर सकते हैं - एक प्रकार का ब्लैक बॉक्स जो विभिन्न संस्थाओं को एक वेक्टर स्पेस में अनुवाद कर सकता है। प्रारंभ में, यह दृष्टिकोण Microsoft के एक लेख में प्रस्तावित किया गया था। लेकिन यांडेक्स ने पहले ही इसे अपने कार्यों के लिए काफी दृढ़ता से अनुकूलित किया है और मूल विचार से बहुत दूर चला गया है। यदि आप इस बारे में अधिक पढ़ने में रुचि रखते हैं, तो जानकारी पाई जा सकती है, उदाहरण के लिए, पेलख खोज एल्गोरिदम के बारे में लेख में ।



अगला चरण रैंकिंग है। जब हमारे पास उन अनुरोधों की एक सूची होती है जो उपयोगकर्ता में रुचि रखते हैं, तो हम यह समझना चाहते हैं कि उनके लिए क्या अधिक दिलचस्प होगा और क्या कम।

उदाहरण के लिए, हमने 100 प्रश्नों का चयन किया। यह संभावना नहीं है कि उपयोगकर्ता सभी 100 को स्क्रॉल करेगा। आपको शीर्ष 5 का चयन करने और इसकी सिफारिश करने की आवश्यकता है। ऐसा करने के लिए, हम अपने अनुरोधों को रेटिंग प्रदान करते हैं। हमें ये अनुमान एक अनुरोध पर एक क्लिक की संभावना के आधार पर मिलता है जो हम उपयोगकर्ता को उसके पिछले सत्र के आधार पर सुझाते हैं।

हमें अगले क्लिक की संभावना कैसे मिलेगी? हमारा सिस्टम पहले से ही चालू है और चल रहा है, इसलिए हम केवल उपयोगकर्ताओं से प्रतिक्रिया एकत्र करते हैं - और इस तरह धीरे-धीरे हमारी सिफारिश प्रणाली में सुधार होता है।



अब जब हमने सभी चरणों की अलग-अलग समीक्षा की है, तो हम शुरुआत में वापस जाते हैं और इसे एक साथ रखते हैं। कुल: उपयोगकर्ता कुछ अनुरोध के साथ हमारे पास आता है, और हमारे पास कुछ प्रकार की सिफारिशें हैं। हम इस डेटाबेस को लेते हैं और इसे फ़िल्टर करते हैं, जो अनुरोध प्राप्त करते हैं कि हम उपयोगकर्ता को व्यवस्थित करना और सिफारिश करना चाहते हैं।



अब याद रखें कि हमने आमतौर पर अपनी सिफारिश प्रणाली के लिए इच्छाएं तैयार की हैं। और देखते हैं कि हम उन्हें परिणामी वास्तुकला में कैसे लागू कर सकते हैं।

उदाहरण के लिए, हम आधार में सुधार के मामले में स्केलेबिलिटी चाहते थे। हमारे कार्यान्वयन की विधि में ऐसे स्केलिंग के लिए आवश्यक सभी गुण हैं। हमें पूरे आधार को स्मृति में नहीं रखना चाहिए: जैसे ही आधार इतना विस्तारित होता है कि यह एक क्लस्टर पर फिट नहीं होगा, हम इसे दो में विभाजित कर सकते हैं। और अगर पहले हमने केएनएन के साथ एक क्लस्टर के माध्यम से जाना और शीर्ष 100 का चयन किया, जिसे हम रैंक करेंगे, अब हम अलग-अलग दो समूहों के माध्यम से जा सकते हैं और उदाहरण के लिए, प्रत्येक में शीर्ष 50। या, सामान्य रूप से, विषयों द्वारा समूहों को तोड़ दें और केवल वांछित विषयों पर केएनएन के साथ चलें।

उपयोगकर्ताओं की संख्या को मापने के लिए, आप बस अतिरिक्त कंप्यूटिंग शक्ति जोड़ सकते हैं और प्रत्येक को अलग-अलग संसाधित कर सकते हैं, क्योंकि हमारी वास्तुकला में कोई स्थान नहीं है जहां हमें सभी उपयोगकर्ताओं को एक ही समय में स्मृति में रखना होगा।

कुछ अन्य दृष्टिकोणों में, ऐसे स्थान हैं जो फ़िल्टर करते हैं, उदाहरण के लिए, जब मैट्रिक्स को विघटित किया जाता है। मैट्रिक्स अपघटन सिफारिशों में प्रयुक्त एक और दृष्टिकोण है। वास्तव में, यैंडेक्स इसका उपयोग भी करता है, लेकिन फ़िल्टर करने के लिए नहीं, बल्कि प्रशिक्षण के लिए अतिरिक्त सुविधाओं के रूप में, क्योंकि अभी भी बहुत सारी जानकारी है जो विश्लेषण करने के लिए उपयोगी है।

अतिरिक्त सुविधाओं, नए एल्गोरिदम और अन्य तरीकों को बाकी वास्तुकला पर लागू किया जा सकता है। जब सिस्टम उठ रहा है और चल रहा है, तो हम इसे सुधारना शुरू कर सकते हैं।

यह कहाँ काम करता है?

यांडेक्स में इस तरह की वास्तुकला पहले से ही लागू की गई है, और सामान्य सुधारों की तुलना में, जब हमने उपयोगकर्ता को ट्रेटीकोव गैलरी के पते का पता लगाने की सलाह देने की कोशिश की, तो हम पहले से ही सलाह दे सकते हैं कि ट्रेटीकोव गैलरी को लाइन में इंतजार किए बिना या यहां तक ​​कि मुफ्त कैसे प्राप्त करें।



यह खोज इंजन और उपयोगकर्ताओं के बीच बातचीत का एक नया स्तर है। हम केवल गलतियों और पूरक अनुरोधों को सही नहीं करते हैं, लेकिन किसी व्यक्ति के हितों की भविष्यवाणी करना सीखते हैं और उसे कुछ नया प्रदान करते हैं। शायद यह भविष्य की खोज होगी। तुम क्या सोचते हो?