हम कैसे यांडेक्स को सवालों के जवाब देने और उपयोगकर्ताओं को 20 हजार घंटे बचाने के लिए सिखाते हैं

जब हम खोज बार में कोई क्वेरी दर्ज करते हैं, तो हम जानकारी की तलाश करते हैं, लिंक की नहीं। इसके अलावा, अक्सर हमें एक छोटे वाक्य या एक प्रसिद्ध तथ्य की आवश्यकता होती है। उदाहरण के लिए, [ काटे हुए पिरामिड की मात्रा का सूत्र ] सभी साइटों पर समान है - लिंक की आवश्यकता नहीं है, बस एक उत्तर दें।

तथ्यात्मक (सूचनात्मक) उत्तर से कोई भी किसी को आश्चर्यचकित नहीं कर सकता है, लेकिन कम ही लोग जानते हैं कि वे कैसे बनते हैं, वे कैसे भिन्न होते हैं, और हाल ही में इस क्षेत्र में क्या हुआ है। मेरा नाम एंटोन इवानोव है। आज, मेरे सहयोगी मिखाइल आयुव के साथdminerहम खोज में उत्तर की कहानी बताएंगे और कुछ ऐसे विवरण साझा करेंगे जिनके बारे में हमने पहले बात नहीं की थी। आशा है कि यह मददगार होगा।

इंटरनेट का इतिहास सूचना की खोज को सरल बनाने का इतिहास है। एक बार, लोगों ने जवाब खोजने के लिए ऑनलाइन कैटलॉग का दौरा किया, जहां साइटों के लिंक विषय द्वारा समूहीकृत किए गए थे। समय के साथ, खोज इंजन दिखाई दिए, उन्होंने सीखा कि कीवर्ड द्वारा साइटों की खोज कैसे की जाती है। सूचना के लिए त्वरित खोज की मांग ने प्रौद्योगिकी के विकास को प्रेरित किया: एक शब्द खोज धीरे-धीरे अर्थ द्वारा खोज में विकसित हुई, जब उत्तर पृष्ठ पर कीवर्ड द्वारा शून्य चौराहे के साथ पाया जा सकता था। लेकिन इस मामले में भी, मुझे लिंक पर क्लिक करना था। लोगों ने हमेशा अधिक का सपना देखा है।

पहले तथ्य

अब यह याद रखना कठिन है कि यांडेक्स के तथ्यात्मक उत्तर कैसे शुरू हुए। हम यह कह सकते हैं कि समाधान जादूगर का एक विशेष प्रारूप था, जो कि अन्तरक्रियाशीलता के बिना एक संक्षिप्त पाठ प्रतिक्रिया मानता है (जैसा कि अनुरोधों के विरोध में [ मेरा आईपी पता ] या [ एक्वा रंग ])। जैसा कि आप जानते हैं, इस तरह के प्रारूप को लागू करना मुश्किल नहीं है। मुख्य प्रश्न अलग है: उत्तर कहां से प्राप्त करें?



हमने सबसे आसान तकनीकी तरीके से शुरुआत की। विशेष लोगों (मूल्यांकनकर्ताओं) ने सबसे लोकप्रिय प्रश्नों का विश्लेषण किया, उन्हें चुना जिनके लिए आप एक संक्षिप्त उत्तर पा सकते हैं। इस तरह के एक प्रश्न का एक उत्कृष्ट उदाहरण [ कितने पंजे एक मक्खी है ]।



इस तरह, केवल सबसे लोकप्रिय प्रश्नों को कवर करना संभव था, और अन्य प्रश्नों की लंबी पूंछ को नजरअंदाज कर दिया गया था। आंशिक रूप से, हमने क्राउडसोर्सिंग की मदद से इस समस्या को हल किया।

कुछ साल पहले, तथ्यात्मक जवाबों के डेटाबेस को फिर से भरने के लिए टोलकरों ने हमारी मदद करना शुरू किया। प्लेटफ़ॉर्म पर बार-बार अनुरोध अपलोड किए गए, टोलकर्मियों ने कार्य को देखा: “क्या यह सच है कि आप इस अनुरोध का विस्तृत जवाब दे सकते हैं? और अगर सच है, तो दे दो। ” बेशक, अन्य tolokers ने उत्तरों की पर्याप्तता की जांच की, और हमने खोज गार्ड की मदद से गलतियों को पकड़ा । वैसे, tolokers ने हमें यह पता लगाने में भी मदद की कि चित्र के साथ वास्तविक उत्तर आमतौर पर केवल पाठ से अधिक उपयोगकर्ताओं द्वारा पसंद किए जाते हैं।

टोलर्स की मदद महत्वपूर्ण है, लेकिन यहां तक ​​कि वे कम-आवृत्ति वाले प्रश्नों की लंबी पूंछ को कवर करने में मदद नहीं करेंगे। किसी भी मैनुअल मार्कअप के लिए ऐसे कई अनुरोध हैं: दसियों हजारों नहीं, बल्कि लाखों हैं! इस समस्या को हल करने के लिए, खोज रैंकिंग अनुभव हमारे लिए उपयोगी था।

तथ्य स्निपेट

जब आप यैंडेक्स खोज में कुछ खोजते हैं, तो आप न केवल 10 लिंक देखते हैं, बल्कि एक शीर्षक, विवरण, आइकन और अन्य डेटा भी देखते हैं।

हम विवरण पर ध्यान केंद्रित करते हैं। हमारी खोज इसे स्वचालित रूप से बनाती है। पाठ के सर्वश्रेष्ठ टुकड़े को उजागर करने के लिए, हल्के कैटबॉस्ट मॉडल का उपयोग किया जाता है, जो पाठ के टुकड़े की निकटता और एक अनुरोध का अनुमान लगाता है। यह पता चलता है कि लिंक विवरण में कभी-कभी पहले से ही तथ्यात्मक उत्तर होते हैं। इसका लाभ न लेना अजीब होगा - लेकिन इतना सरल नहीं।

ऐसा प्रतीत हो सकता है कि कार्य अनुरोध द्वारा प्राप्त पृष्ठों के सभी विवरणों के बीच "सबसे तथ्यात्मक" विवरण चुनना है, लेकिन यह दृष्टिकोण अच्छी तरह से काम नहीं करेगा। कारण यह है कि पृष्ठ का सूचनात्मक विवरण हमेशा किसी व्यक्ति के प्रत्यक्ष प्रश्न के अच्छे उत्तर के साथ मेल नहीं खाता है। इसलिए, हमारी फैक्ट स्निपेट तकनीक पृष्ठ विवरणों के समानांतर तथ्यों का निर्माण करती है, लेकिन अन्य मापदंडों के आधार पर ताकि परिणाम उत्तर के समान हो। और अब उनमें से आपको सबसे उच्च-गुणवत्ता वाला उत्तर चुनने की आवश्यकता है।

हमने पहले ही बता दियाखोज एल्गोरिदम "पालेख", "कोरोलेव" के बारे में और डीएसएमएस दृष्टिकोण के बारे में हैबेरा पर। यह कार्य तब उन ग्रंथों को खोजने के लिए नीचे आया, जो पृष्ठों की रैंकिंग करते समय अर्थ के करीब थे। वास्तव में, हमने दो वैक्टर की तुलना की: क्वेरी वेक्टर और दस्तावेज़ टेक्स्ट वेक्टर। ये वैक्टर जितने करीब बहुआयामी स्थान पर हैं, उतने ही करीब ग्रंथों के अर्थ हैं। सर्वोत्तम गुणवत्ता तथ्यों को चुनने के लिए, हमने वही किया। हमारे तंत्रिका नेटवर्क मॉडल, उन उत्तरों पर प्रशिक्षित, जिन्हें हम पहले से जानते हैं, खोज में पाए गए पृष्ठों के लिए प्रतिक्रिया वैक्टर बनाता है और उनकी तुलना क्वेरी वेक्टर से करता है। तो हमें सबसे अच्छा जवाब मिलता है।

यह स्पष्ट है कि इस तरह से सभी-सभी अनुरोधों का जवाब देना इसके लायक नहीं है: अधिकांश अनुरोधों को तथ्यात्मक उत्तर की आवश्यकता नहीं होती है। इसलिए, हम "गैर-तथ्यात्मक" अनुरोध छोड़ने के लिए एक और मॉडल का उपयोग करते हैं।

तथ्य स्निपेट 2.0

उपरोक्त सभी "शास्त्रीय" तथ्यात्मक जवाबों के बारे में हमने बात की: लघु, व्यापक, विश्वकोश की तरह। यह दिशा लंबे समय से एक ही रही है। लेकिन जितना आगे, हमने देखा कि एक हाथ पर एक विस्तृत उत्तर के अस्तित्व के आधार पर विभाजन, बहुत अस्थिर है, और दूसरे पर - उपयोगकर्ता के लिए अपारदर्शी: उसे बस अपनी समस्या को तेजी से हल करने की आवश्यकता है। मुझे सामान्य तथ्यों से परे जाना पड़ा। इसलिए परियोजना फैक्ट स्निपेट 2.0 दिखाई दी।



चीजों को सरल बनाने के लिए, फैक्ट स्निपेट 2.0 समान फैक्ट स्निपेट है, लेकिन "व्यापक उत्तर" खोजने की आवश्यकता के बिना। वास्तव में, सब कुछ कुछ अधिक जटिल है।

आपको याद दिला दूं कि फैक्ट स्निपेट दो चरणों में काम करता है। पहले चरण में, एक आसान मॉडल का उपयोग करते हुए, हम अनुरोध के "तथ्यात्मक प्रकृति" का मूल्यांकन करते हैं: इसका मतलब एक तथ्यात्मक उत्तर है या नहीं। यदि हाँ, दूसरे चरण में हम उत्तर की तलाश कर रहे हैं, तो यह खोज परिणामों में दिखाई देता है। फैक्ट स्निपेट 2.0 के लिए, हमने प्रश्नों की एक विस्तृत श्रृंखला के उत्तर खोजने के लिए दोनों चरणों को अनुकूलित किया। इस तरह के जवाब उनकी संपूर्णता में विश्वकोश होने का दावा नहीं करते हैं, लेकिन फिर भी उपयोगी हैं।

किसी भी अनुरोध के लिए पाठ के एक पैराग्राफ का चयन करना संभव है, लेकिन हमेशा आवश्यक नहीं है। कभी-कभी पाया गया पाठ क्वेरी के लिए पर्याप्त प्रासंगिक नहीं होता है। कभी-कभी हमारे पास अन्य स्रोतों से पहले से ही अच्छे उत्तर होते हैं - और हमें यह तय करने की आवश्यकता होती है कि किसे चुनना है। उदाहरण के लिए, पाठ में संगठन के पते की पेशकश क्यों करें यदि आप एक इंटरेक्टिव मानचित्र, फोन नंबर और समीक्षा दिखा सकते हैं। हम एक ब्लेंडर क्लासिफायर की मदद से इस समस्या को हल करते हैं, जिसके साथ आंद्रेई स्टिस्किन ने पहले से ही हबर के पाठकों को परिचित कराया । और जवाब अशिष्ट, अपमानजनक नहीं होना चाहिए। लगभग हर ऐसे वाजिब प्रतिबंध का अपना एक क्लासिफायरियर है, और विभाजन के समय इसे दूसरे भाग में काम करना दूसरी खोज है।

क्वेरी सुधार

उन्होंने लंबी पूंछ के एक और हिस्से को कवर किया, लेकिन कई "अद्वितीय" अनुरोध पीछे रह गए। उनमें से एक महत्वपूर्ण अनुपात हमारे द्वारा पहले से ज्ञात प्रश्नों के अन्य सूत्र हैं। उदाहरण के लिए, [ जब पाइक दांत बदलता है ] और [ पाइक किस समय दांत बदलता है ] लगभग एक ही बात है।



इस समस्या को हल करने के लिए, हम एक तंत्र के साथ आए, जो मक्खी को समझता है कि आने वाला अनुरोध दूसरे अनुरोध का एक उपनाम (मतलब वही) है, जिसका उत्तर हमारे पास पहले से है। स्वतंत्र रूप से दो तथ्यात्मक उत्तर उत्पन्न करने की तुलना में यह आसान और तेज़ है।

हम सभी अनुरोधों को लेते हैं जिनके उत्तर हैं, उन्हें वैक्टर में रूपांतरित करें और उन्हें सूचकांक k-NN (अधिक सटीक रूप से, HNSW के अपने अनुकूलित संस्करण में डालें)जो आपको बहुत तेजी से खोज करने की अनुमति देता है)। अगला, हम क्वेरी वैक्टर का निर्माण करते हैं, जिसके लिए प्रत्यक्ष संयोग से कोई जवाब नहीं है, और हमारे के-एनएन में शीर्ष एन सबसे समान प्रश्नों की तलाश करें।

अगला, हम इस शीर्ष से गुजरते हैं और ट्रिपल के कैटबस्ट क्लासिफायर के माध्यम से चलते हैं:

- उपयोगकर्ता का अनुरोध;
- के-एनएन से अनुरोध;
- k-NN से अनुरोध का जवाब।

यदि सत्यापनकर्ता का सत्यापन सकारात्मक है, तो अनुरोध को के-एनएन से अनुरोध का एक उपनाम माना जाता है, हम पहले से ही ज्ञात उत्तर को वापस कर सकते हैं।

इस डिजाइन का मुख्य रचनात्मक हिस्सा क्लासिफायर के लिए लेखन कारकों में है। यहां हमने कई अलग-अलग विचारों की कोशिश की। सबसे मजबूत कारकों में:

- क्वेरी वैक्टर;
- लेवेंसाइटिन दूरी;
- शब्द एम्बेडिंग द्वारा शब्द;
- अनुरोधों में से प्रत्येक के लिए विभिन्न प्रकार के जादूगर के आधार पर कारक;
- क्वेरी शब्दों के बीच की दूरी।

अलग से, मैं बीईआरटी तंत्रिका नेटवर्क का उपयोग करके एक चाल के बारे में बात करूंगा। अलियास की खोज के लिए हमारे पास समय पर मजबूत प्रतिबंध हैं: अधिकतम कुछ मिलीसेकंड। वर्तमान संसाधनों पर कई हजार आरपीएस के भार के साथ ऐसे समय में BERT प्रदर्शन करना असंभव है। इसलिए, हमारे बीईआरटी-मॉडल के साथ हमने बहुत सारे कृत्रिम अनुमान लगाए (सैकड़ों मिलियन) लगाए और उन पर एक सरल तंत्रिका नेटवर्क डीएसएसएम प्रशिक्षित किया, जो रनटाइम में बहुत तेजी से काम करता है। नतीजतन, सटीकता के कुछ नुकसान के साथ, एक मजबूत कारक प्राप्त किया गया था।

वास्तव में, कोई अन्य तरीकों से अनुरोधों की शब्दार्थिक निकटता का निर्धारण कर सकता है। उदाहरण के लिए, यदि दो क्वेरी एक शब्द में एक-दूसरे से भिन्न होती हैं - जाँच करें कि इन प्रश्नों के खोज परिणाम कैसे भिन्न होते हैं (शीर्ष में मिलान लिंक की संख्या देखें)। यदि आप इसे कई लाखों बार दोहराते हैं और परिणाम औसत करते हैं, तो आपको एक बहुत अच्छा अनुमान मिलता है कि यदि आप इसमें एक शब्द दूसरे के लिए बदलते हैं तो क्वेरी का अर्थ कितना बदल जाता है। उसके बाद, आप सभी डेटा को एक संरचना में जोड़ सकते हैं (उदाहरण के लिए, ट्राइ) और सामान्यीकृत लेवेन्सहाइट दूरी के माध्यम से प्रश्नों की निकटता के माप की गणना करें। आप इस दृष्टिकोण का विस्तार कर सकते हैं और न केवल शब्दों पर विचार कर सकते हैं, बल्कि शब्दों के जोड़े (लेकिन डेटा की घातीय वृद्धि के कारण तीनों को अधिक प्राप्त किया जाता है)।

आगे क्या होगा

हमारे अनुमानों के अनुसार, तथ्यात्मक / सूचनात्मक उत्तर के लिए धन्यवाद, हम उपयोगकर्ताओं को हर दिन 20 हजार घंटे बचाते हैं, क्योंकि उन्हें खोज परिणामों में लिंक के माध्यम से नहीं देखना पड़ता है (और यह वह समय नहीं गिन रहा है जो उन्होंने साइटों पर उत्तर खोजने पर खर्च किया होगा)। यह अच्छा है, लेकिन बढ़ने के लिए हमेशा जगह है। उदाहरण के लिए, अब हम उन पाठों का उपयोग करते हैं जो हम इंटरनेट पर उत्तर के लिए पाते हैं, लेकिन पाठ का तैयार टुकड़ा हमेशा एक जगह या सही रूप में नहीं मिल सकता है। तंत्रिका नेटवर्क की मदद से इस समस्या को हल किया जा सकता है: एक प्रतिक्रिया उत्पन्न करें ताकि यह अनुरोध से मेल खाता हो और इसमें अनावश्यक न हो। यह खोज न्यूरोसुमराइजेशन की हमारी परियोजना है, जो मुझे उम्मीद है कि हम अगली बार के बारे में बात करेंगे।