🕞 🤝 🖇️ ज्ञान का ग्राफ खोजें: कई स्रोतों से निर्माण 🔙 👩🏾‍💻 ㊗️

मैं ज्ञान के एक ग्राफ के बारे में और कई विषयगत स्रोतों से इसे बनाने के तरीकों में से एक के बारे में बात करना चाहता हूं।

खोज में बड़ी संख्या में प्रश्नों में एक एकल इकाई होती है - वह वस्तु जिसके बारे में उपयोगकर्ता पूछता है। यह कुछ लोगों, फिल्मों, श्रृंखलाओं, संगीत या भौगोलिक वस्तुओं के बारे में अनुरोध हो सकता है। जब उपयोगकर्ता ऐसा अनुरोध करता है, तो इसे जारी करने में, उसे इस उम्मीद में एक अतिरिक्त सूचना कार्ड दिखाया जा सकता है कि कार्ड में जानकारी उपयोगकर्ता के लिए दिलचस्प होगी। कार्ड मुद्दे को सजाते हैं और इसकी दृश्यता बढ़ाते हैं। सूचना कार्ड की मदद से, हम एक व्यक्ति को यह समझने देते हैं कि वह एक बुद्धिमान सेवा का उपयोग कर रहा है, क्योंकि खोज इंजन को एहसास हुआ कि उसके दिमाग में यह है कि वह किस तरह की वस्तु के बारे में पूछ रहा था। इसके अलावा, इस इंटेलिजेंस को सीधे मुद्दे पृष्ठ पर उपयोगकर्ता के अनुरोध का जवाब देकर विस्तारित किया जा सकता है। उदाहरण के लिए, "प्राग में क्या देखना है" के जवाब में, हम तुरंत इस शहर के स्थलों को दिखा सकते हैं।

ऐसे समय होते हैं जब उपयोगकर्ता किसी वस्तु के बारे में कुछ जानना चाहता है, लेकिन इसके अस्तित्व के तथ्य को छोड़कर, इसके बारे में बिल्कुल कुछ नहीं जानता है। या उपयोगकर्ता किसी विषय पर शोध जारी रखना चाहता है। विशेष रूप से इस मामले के लिए, कार्ड से पता चलता है कि यह ऑब्जेक्ट किस लिए जाना जाता है, साथ ही साथ "देखें भी" ब्लॉक में अनुसंधान जारी रखने के लिए संभावित विकल्प।

ज्ञान का ग्राफ

ये सभी शब्दार्थ प्रौद्योगिकियां एक ज्ञान ग्राफ पर आधारित हैं - एक ग्राफ जिसका नोड वास्तविक दुनिया की वस्तुएं हैं, और संक्रमण वस्तुओं के बीच टाइप किए गए संबंध हैं (उदाहरण के लिए, जन्म स्थान के लिए संबंध जन्म की तारीख के लिए संबंध से अलग है)। अंजीर में एक छोटे से ज्ञान ग्राफ का एक उदाहरण दिखाया गया है। 1।

अंजीर। 1. ज्ञान ग्राफ का उदाहरण

खुले ज्ञान ग्राफ हैं जिन्हें डाउनलोड और उपयोग किया जा सकता है। सबसे प्रसिद्ध खुले ज्ञान रेखांकन पर उदाहरण और कुछ आँकड़े तालिका में प्रस्तुत किए गए हैं। 1.

मेज। 1. खुले ज्ञान ग्राफ पर सांख्यिकी

ज्ञान का ग्राफ	रिकॉर्ड की संख्या	वस्तुओं की संख्या	आवृत्ति अद्यतन करें
फ्रीबेस	3 बिलियन से अधिक	49 मिलियन	अद्यतन नहीं हुआ
Wikidata	748 मिलियन है	18 मिलियन	सप्ताह में एक बार (वृद्धिशील - दिन में एक बार)
Dbpedia	411 मिलियन	4 मिलियन	अगस्त 2019 में अंतिम अपडेट

खुले रेखांकन के साथ समस्या यह है कि ज्ञान के सभी क्षेत्रों को गहराई से कवर नहीं किया जाता है। उदाहरण के लिए, रूसी टीवी शो। वे दुनिया भर में बहुत लोकप्रिय नहीं हैं, लेकिन वे हमें विशेष रूप से प्रिय हैं क्योंकि उपयोगकर्ता उनके बारे में पूछते हैं। इसका मतलब है कि हमें इन श्रृंखलाओं के बारे में कुछ जानकारी खोजने और इसे SERP (सर्च इंजन रिजल्ट पेज) पर लाने की आवश्यकता है। दूसरी समस्या बल्कि दुर्लभ अद्यतन है। लेकिन जब कोई घटना होती है, तो हम इस जानकारी को जल्द से जल्द लाना चाहते हैं और इसे खोज परिणाम पृष्ठों पर दिखाते हैं।

इन समस्याओं के कम से कम तीन संभावित समाधान हैं।

पहला: कुछ मत करो, सामंजस्य रखो, अपनी आँखें बंद करो और जीना जारी रखो। दूसरा: ध्यान से मैन्युअल रूप से ज्ञान स्तंभ खोलने के लिए जानकारी जोड़ें और फिर वहां से डेटा का उपयोग करें। और तीसरा विकल्प: स्वचालित रूप से ग्राफ के साथ कुछ विषयगत स्रोत से ज्ञान को मर्ज करना। उन्हीं फिल्मों और टीवी शो के लिए, काफी कुछ ऐसे स्रोत हैं: किनोपॉइस्क, आईएमडीबी, किनो मेल.ru। इसके अलावा, ज्ञान ग्राफ में, एक नियम के रूप में, वस्तुओं में लोकप्रिय विषयगत संसाधनों के लिंक होते हैं।

हमने तीसरे दृष्टिकोण को लागू करना शुरू किया। इससे पहले कि आप इस समस्या को हल करना शुरू करें, आपको तैयारी करने की आवश्यकता है। तथ्य यह है कि स्रोतों में डेटा विभिन्न स्वरूपों में प्रस्तुत किया जाता है। उदाहरण के लिए, विकीडाटा में यह JSON है, सिनेमा सर्च में - HTML। उन्हें उसी प्रारूप में परिवर्तित करने की आवश्यकता है। हम N-Triples में कनवर्ट करते हैं, क्योंकि इसे समानांतर में संसाधित करना सुविधाजनक है, और इस मामले में यह वास्तव में महत्वपूर्ण है, क्योंकि हम बड़े डेटा के साथ काम करते हैं। विकीडाटा के एक विस्तारित JSON डंप में लगभग 720 जीबी लगता है, और मूवी सर्च एचटीएमएल पेज 230 जीबी हैं, इसलिए लगभग सभी कार्यों को MapReduce प्रतिमान का उपयोग करके एक क्लस्टर पर हल किया जाता है।

डबल gluing

सबसे कठिन कामों में से एक है जब ज्ञान के ग्राफ़ को मर्ज करना डुप्लिकेट को ग्लूइंग करता है। उदाहरण के लिए, हमारे पास ग्राफ़ और दो ऑब्जेक्ट हैं, जो वास्तविक दुनिया की एक वस्तु हैं। हम उन्हें अपने परिणामी ग्राफ में एक साथ गोंद देना चाहते हैं ताकि ज्ञान ग्राफ में यह एक वस्तु हो। हम शुरुआत से ही इसका समाधान कर रहे हैं। चलो उन सभी वस्तुओं को लेते हैं और गोंद देते हैं जिनके नाम समान हैं। इसलिए हमने सीखा कि ब्रैड पिट नाम के साथ कम से कम दो प्रसिद्ध लोग हैं, चालीस से कम फिल्में और "द ब्रिज" नामक श्रृंखला, और इवानोव्स की उसी संख्या के बारे में जिसके बारे में विकिपीडिया पर एक लेख है।

जाहिर है, इस तरह के एक सरल दृष्टिकोण काम नहीं करता है, कुछ अधिक जटिल की आवश्यकता होती है। और फिर हम तीन-भाग समाधान के साथ आए। पहला भाग लिंक करने के लिए एक उम्मीदवार जनरेटर है। दूसरा एक क्लासिफायरियर है जो इस सवाल का जवाब देने की कोशिश करता है कि क्या कुछ वस्तुओं को एक साथ जोड़ा जाना चाहिए। और तीसरा एक अतिरिक्त ग्लूइंग कदम है: हम कुछ ऐसा कर रहे हैं जो पिछले चरण में गोंद करने के लिए किसी कारण से काम नहीं कर रहा है।

लिंक करने के लिए उम्मीदवारों की संख्या को कम करने के लिए एक जनरेटर की आवश्यकता होती है (प्रत्येक वस्तु को प्रत्येक के साथ जोड़ने की कोशिश करना बहुत महंगा है)। इसलिए, हम केवल कुछ ही उम्मीदवारों के लिए खुद को सीमित करते हैं और फिर केवल इस छोटे से सेट के लिए क्लासिफायर चलाते हैं। मूल विचार यह है कि वस्तुओं के नाम जो संबंधित हो सकते हैं, वे किसी तरह से समान होने चाहिए। हमने सबस्ट्रिंग के एक पूर्ण मैच के साथ शुरुआत करने का फैसला किया, लेकिन शब्दों को फिर से व्यवस्थित करने की क्षमता के साथ। इसका मतलब यह है कि यदि दो वस्तुओं में समान शब्द क्रम नहीं है (उदाहरण के लिए, व्यक्ति का नाम और उपनाम मिलाया जाता है), तब भी उनका मिलान किया जाएगा। हम रूसी नामों और मूल विदेशी दोनों का उपयोग करते हैं। हम उन वस्तुओं के लिए उपनाम, उपनाम और पर्यायवाची शब्द भी इस्तेमाल करते हैं जो हमने विकिपीडिया के पुनर्निर्देशन से एकत्र किए थे।

मॉडल को प्रशिक्षित करने से पहले, कहीं से डेटा प्राप्त करना अच्छा होगा। हम भाग्यशाली थे, जरूरत की हर चीज पहले से ही ज्ञान के खुले ग्राफ में थी। उदाहरण के लिए, विकीडाटा में 200 हजार से कम ऑब्जेक्ट्स, फिल्मों के लिंक और किनोपोइक के टीवी शो, और किनोपोइक के लोगों के लिए 100 हजार से कम लिंक हैं। हमें इस डेटा पर प्रशिक्षित किया जाएगा।

सभी विशेषताएँ इस विचार पर आधारित हैं कि दो स्तंभों में समान वस्तु का एक समान संदर्भ होना चाहिए। इसी तरह के विचार का उपयोग एंटिटी लिंकिंग समस्या को हल करने के लिए किया जाता है। इसके अलावा, ग्राफ में संदर्भ का अर्थ इस वस्तु के लिए पड़ोसी वस्तुओं से नहीं है, बल्कि उनके स्ट्रिंग विवरण से है। अधिक औपचारिक रूप से, किसी ग्राफ़ में किसी ऑब्जेक्ट के संदर्भ को उसके समीप की सभी पंक्तियों पर विचार किया जाएगा, साथ ही वस्तुओं के नाम उसके लिए घटना और प्रकार होंगे। अंजीर में। 2 लाइनें जो इस ऑब्जेक्ट के संदर्भ से संबंधित हैं, उन्हें बोल्ड में हाइलाइट किया गया है।

अंजीर। 2. वस्तु संदर्भ

तार के साथ काम करने के कई तरीके हैं। सबसे पहले, स्ट्रिंग्स के संयोग पर विचार करने के लिए, उन्हें संपूर्ण के रूप में तुलना करना, यानी केवल पूर्ण संयोग पर विचार करना। दूसरे, हम स्ट्रिंग को शब्दों के एक बैग के रूप में उपयोग कर सकते हैं, स्ट्रिंग को शब्दों में तोड़ सकते हैं और आदेश का त्याग कर सकते हैं। हम दोनों दृष्टिकोणों का उपयोग करते हैं।

स्ट्रिंग्स का उपयोग या तो सभी को एक साथ किया जा सकता है, या उन प्रकार के संबंधों द्वारा समूहीकृत किया जाता है जिनके द्वारा वे ऑब्जेक्ट से जुड़े होते हैं। समूह द्वारा निरपेक्ष और सापेक्ष मैचों पर भी विचार किया जाता है।

आइए दो वस्तुओं को लें: लियोनेल मेस्सी (लियोनेल मेस्सी) और लियोनेल रिची (लियोनेल रिची), टैब। 2.

मेज। 2. लियोनेल मेस्सी और लियोनेल रिची वस्तुओं के लिए कुछ रिश्ते।

रिश्ते का नाम	लॉयनल मैसी	लियोनेल रिची
नाम	लॉयनल मैसी	"लियोनेल रिची"
जन्मदिन	24 जून, 1987	"20 जून, 1949"
फ़ुटबाल संघ	एफ़सी बार्सिलोना	-

नाम पूरी तरह से मेल नहीं खाते हैं, इसलिए नाम में एक पूरा मैच शून्य होगा। लेकिन नाम में शब्द मिलानों की संख्या 1 है, क्योंकि मूल नाम "लियोनेल" दोनों वस्तुओं से मेल खाता है। नाम के लिए जैक्वार्ड गुणांक (संघ के आकार के प्रतिच्छेदन के आकार का अनुपात) 0.2 होगा:

J (M e s s i, R i c h i e) = \frac{| « L i o n e l » |}{| « Л и о н е л ь », « М е с с и », « L i o n e l », « M e s s i », « R i c h i e » |}

$J(Messi, Richie) = \frac{\left |«Lionel» \right |}{\left |«», «», «Lionel», «Messi», «Richie» \right |}$

हम तुरंत यह नहीं समझ पाए कि यदि किसी वस्तु का सही संबंध नहीं है, तो इस संकेत में जल्दबाज़ी और शून्य लिखने का कोई मतलब नहीं है, मिसिंग वैल्यू लिखना बेहतर है। आखिरकार, जब हम एक बड़े ग्राफ में एक विषयगत ग्राफ जोड़ते हैं, तो इसका अक्सर किसी प्रकार का संबंध नहीं होता है, और आपको उन मामलों के बीच अंतर करने में सक्षम होने की आवश्यकता होती है जब दोनों संबंध मेल नहीं खाते हैं, और जब वस्तुओं में से एक में बस आवश्यक संबंध नहीं होता है । इस तर्क के बाद, फुटबॉल_क्लब संबंध के लिए मिलान शब्दों की संख्या मिसिंग मान होगी। सभी संबंधों में पूर्ण रेखा मिलान की संख्या शून्य है, और मिलान शब्दों की संख्या दो है ("लियोनेल" और "जून")।

मॉडल द्वारा उपयोग की जाने वाली सर्वोत्तम सुविधाओं की रेटिंग को अंजीर में दिखाया गया है। 3।

अंजीर। 3. उपयोग किए गए सबसे महत्वपूर्ण संकेत।

हमारे मॉडल की सबसे अच्छी विशेषता शब्दों का कुल सापेक्ष संयोग है। यह जटिल नाम सभी संबंधों के लिए जैक्वार्ड गुणांक का योग छिपाता है। यह दिलचस्प है कि अगर हम इस कार्य से सभी मशीन सीखने को पूरी तरह से छोड़ देते हैं और इस विशेषता के मूल्य से अधिक या कम पर्याप्त कट-ऑफ छोड़ देते हैं, तो मॉडल की गुणवत्ता

F_{1}

$F_{1}$ -मेयर में केवल 20% की गिरावट होगी। यदि हम ऊपर वर्णित संकेतों को लेते हैं, तो उन्हें बॉक्स से बाहर XGBoost सिखाएं, 4 की ऊंचाई के साथ 250 पेड़, तो हमें बहुत अच्छे मैट्रिक्स मिलते हैं।

टेबल। 3. परीक्षण डेटा पर गुणवत्ता मॉडल के मैट्रिक्स।

मैट्रिक नाम	मूल्य
शुद्धता	0.961531
पूर्णता (याद)	0.963220
$F_{1}$	0.962375
एयूसी	0.999589

लेकिन एक समस्या है: इन मैट्रिक्स पर कुछ ऑब्जेक्ट्स जो हमें गोंद नहीं दिखाई देते हैं। ये तथाकथित "बड़ी वस्तुएं" हैं जिनके कई रिश्ते हैं। शहर, देश, व्यवसाय - ये ऐसी वस्तुएं हैं जो बड़ी संख्या में अन्य वस्तुओं से जुड़ी हैं। अंजीर में। चित्र 4 दिखाता है कि यह SERP पर कैसे दिख सकता है। सब कुछ बहुत हानिरहित लगता है:

अंजीर। 4. "बड़ी" वस्तुओं की समस्या

। हमारे पास कार्ड में डुप्लिकेट हैं। ऐसा लगता है कि यह ठीक है, लेकिन वास्तव में समस्या बहुत गहरी है, डेटा स्थिरता ग्रस्त है। ऐसा इसलिए है क्योंकि हमारे प्रशिक्षण डेटा में ऐसी कोई वस्तु नहीं है। यहां एक अलग दृष्टिकोण लागू करना आवश्यक है, इन वस्तुओं के संबंधों की एक बड़ी संख्या का अपने स्वयं के लाभ के लिए उपयोग करना। अंजीर में। 5 इस दृष्टिकोण का एक चित्र दिखाता है। आज्ञा देना दो ऑब्जेक्ट्स X और Y हैं, जो क्लासिफायरियर द्वारा जुड़े हुए हैं। ये वस्तुएं अलग-अलग रेखांकन से संबंधित होती हैं और प्रत्येक वस्तु अपने ग्राफ में कुछ अन्य वस्तुओं से जुड़ी होती है। ऑब्जेक्ट एक्स रिश्तों के माध्यम से ए, बी, सी के साथ जुड़ा हुआ है

r_{1}

$r_{1}$ ,

r_{2}

$r_{2}$ ,

r_{3}

$r_{3}$ , और ऑब्जेक्ट्स डी, ई, और एफ के साथ ऑब्जेक्ट वाई का उपयोग संबंधों के साथ

r_{1}

$r_{1}$ ,

r_{2}

$r_{2}$ तथा

r_{4}

$r_{4}$ । लेकिन अब हम जानते हैं कि वस्तुएं X और Y वास्तव में वास्तविक दुनिया की एक वस्तु हैं।

अंजीर। 5. अतिरिक्त gluing

चलो आगे दो परिकल्पनाएं डालते हैं:

$H_{1}: P(D | A) = p = P(D | ¬A)$ - एक वस्तु $D$ किसी भी तरह से जुड़ा नहीं है और वस्तु से स्वतंत्र रूप से होता है $A$ ।
$H_{2}: P(D | A) = p_{1}\neq p_{2} = P(D | ¬A)$ - किसी तरह का संबंध $D$ तथा $A$ सब कुछ वैसा ही है।

फिर हम लिक्लिहुड-अनुपात परीक्षण लागू कर सकते हैं और दो परिकल्पनाओं में से एक को स्वीकार कर सकते हैं। इस प्रकार, हम बड़ी वस्तुओं को एक साथ चिपका सकते हैं।

अंतिम समाधान काफी सार्वभौमिक निकला, इसलिए इसी तरह से अन्य विषयगत स्रोतों के लिए डुप्लिकेट को गोंद करना संभव है, ज्ञान ग्राफ में लगातार विषयों की कवरेज और गहराई में वृद्धि करना।

निष्कर्ष

लेख विभिन्न ज्ञान रेखांकन की समान वस्तुओं को gluing की समस्या के संभावित समाधानों में से एक मानता है। जब ज्ञान ग्राफ पहले से ही बना होता है, तो हम खोज परिणामों के साथ पृष्ठ पर सूचना कार्ड दिखा सकते हैं, तथ्य का जवाब देने के लिए ग्राफ से ज्ञान का उपयोग कर सकते हैं, या उपयोगकर्ताओं को खुश करने के लिए कुछ अन्य दिलचस्प एप्लिकेशन के साथ आ सकते हैं।

उम्मीद है कि यह थोड़ा दिलचस्प था कि यह सब अंदर से बाहर कैसे काम करता है। यदि कोई असंगत क्षण हैं, तो कृपया प्रश्न पूछें, मैं उन्हें उत्तर देने का प्रयास करूंगा।

ज्ञान का ग्राफ खोजें: कई स्रोतों से निर्माण