VKCup 2020 स्टेज I ए लॉन्ग वे

आज हम VkCup 2020 प्रतियोगिता और पहले क्वालीफाइंग चरण के कार्य पर विचार करेंगे। सिंगर के लोगों ने वादा किया कि सभी चरणों में यह कठिन होगा, लेकिन दिलचस्प होगा। और क्या, वास्तव में, अभी भी जरूरत है?

जैसा कि आप जानते हैं, दमिश्क स्टील के समान तीखेपन के लिए अपने स्वयं के कौशल का सम्मान करने की उत्कृष्टता, किसी भी क्षेत्र में प्रत्येक विशेषज्ञ में निहित है। इस द्रव्यमान के उदाहरण। कलाकारों के रंगीन चित्रों से, जिनमें से प्रत्येक ने जीवन का एक हिस्सा बिताया (मैं भी इसका सबसे अच्छा हिस्सा कहूंगा), जो सामाजिक घटनाओं पर जाने में लक्ष्यहीन रूप से बर्बाद हो सकता है। कीजन कार्यक्रमों से पहले - सॉफ्टवेयर एक्टिविस्ट, जिनमें से प्रत्येक में 8-बिट संगीत, एक सक्रियण एल्गोरिथ्म और एनीमेशन शामिल हैं, ध्यान से और ध्यान से एक फ़ाइल में टेंप किया जाता है, केवल कुछ दस किलो किलोबाइट्स को मापता है। कला, जो कोई भी कह सकता है।

और नहीं, यह आत्म-विकास, ईमानदारी से, ईमानदारी से एक और लेख नहीं है। मैं, वास्तव में, क्या। हम में से प्रत्येक में हमारे क्षेत्र में गैर-तुच्छ समस्याओं को हल करने की इच्छा है। इसके अलावा, ऐसा करने की इच्छा चारों ओर से बेहतर है। यह स्वाभाविक रूप से है। और, यह मुझे लगता है, मशीन लर्निंग प्रतियोगिताओं, यह इसके लिए एक महान अवसर है। कभी-कभी प्रतिस्पर्धा की भावना को स्वतंत्रता देना आवश्यक है।

हम सेंट पीटर्सबर्ग में फाइनल के साथ, वीकेकंट 2020 के वीकेकंट्टे से डेटा विश्लेषण के लिए चैंपियनशिप अर्थात् इसके तीन चरणों पर विचार करेंगे। पहले क्वालीफायर से शुरू करते हैं। खैर, समय है, और पीटर्सबर्ग, हालांकि यह एक सांस्कृतिक राजधानी है, अक्षांश और blemishes पसंद नहीं है। इसलिए हम जल्द से जल्द मामलों से निपटने के लिए काम करते हैं, श्रीमान, सज्जन कैबमैन के स्थित होने की उम्मीद नहीं है, और इसलिए एक लंबा रास्ता तय करना है।



मुझे लगता है कि कई पहले से ही एनएलपी कार्यों का सामना कर चुके हैं। इस मामले में, पहले क्वालीफाइंग चरण का कार्य, जिसने खुद को 256 लोगों का चयन करने का कार्य निर्धारित किया, जो दूसरे के माध्यम से चले गए, क्लोवर गेम के मुद्दों का विश्लेषण था, अर्थात्, पेशेवर संपादकों द्वारा कौन से प्रश्न प्रस्तावित किए गए थे और जो सामान्य उपयोगकर्ताओं द्वारा प्रस्तावित किए गए थे।

डेटा आकार लगभग 40,000 पंक्तियाँ हैं, जिनमें से 10,000 एक परीक्षण डेटासेट है जिसके द्वारा मॉडल की गुणवत्ता का अनुमान लगाया जाएगा, और अन्य 30,000 शेष डेटा सेट है। परीक्षण मीट्रिक एयूसी आरओसी है - त्रुटि वक्र के तहत क्षेत्र।

डेटा निम्नानुसार देखा गया है,



जहां आईडी प्रश्न का पहचानकर्ता है, उत्तर एक द्विआधारी चर है जिसका मूल्य भविष्यवाणी की जानी चाहिए (1 - प्रश्न संपादक द्वारा प्रस्तावित किया गया था, शून्य 0 - उपयोगकर्ता द्वारा)। प्रश्न - प्रश्न ही।

ऐसा लगता है कि कार्य काफी सरल है, लेकिन सब कुछ मामले से बहुत दूर है। मानक दृष्टिकोण, जैसे कि वर्ड 2 वीईसी, बीईआरटी और अन्य नए-प्रकार के एनएलपी मॉडल अपेक्षाकृत कम गुणवत्ता देते हैं, लगभग 0.7, जो इसे पहले सौ में भी नहीं बनाएंगे। इसलिए, यह याद रखना कि शैतान, लेगो लोगों की तरह, विवरण में रहते हैं, डेटासेट पर अधिक विस्तार से विचार करते हैं और एक समाधान विकसित करते हैं जो अपेक्षाकृत अधिक प्रभावी होगा।

आरंभिक EDA के दौरान, आप यह देख सकते हैं कि उपयोगकर्ता अक्सर एटिपिकल वर्णों का उपयोग करते हैं, कैप में शब्द लिखते हैं, कभी-कभी वाक्य की शुरुआत में कैपिटल लेटर के साथ नहीं, प्रश्न चिह्न के बारे में भूल जाते हैं, अजीब उद्धरण का उपयोग करते हैं। वे संपादकों के सवालों को भी कॉपी करते हैं, उन्हें अपना मानते हुए। और अन्य रोचक विशेषताएं।

आइए आधार रेखा से शुरुआत करें। TF-IDF (टर्म फ़्रीक्वेंसी - इनवर्टेड डॉक्यूमेंट फ़्रीक्वेंसी) उपाय का उपयोग करते हुए, हमें स्पार्सेमेट्रिक्स मिलता है, जिसे हम फिर ग्रेडिएंट बूस्ट में फीड करते हैं।
बस एक परिभाषा, TF-IDF एक सांख्यिकीय माप है जिसका उपयोग किसी दस्तावेज़ के संदर्भ में एक शब्द के महत्व का आकलन करने के लिए किया जाता है जो दस्तावेजों या कॉर्पस के संग्रह का हिस्सा है। एक शब्द का वजन दस्तावेज़ में शब्द के उपयोग की आवृत्ति के लिए आनुपातिक है और संग्रह के सभी दस्तावेजों में शब्द के उपयोग की आवृत्ति के विपरीत आनुपातिक है।

मॉडल की छंटनी को कम करने के लिए, हम टोकन की अधिकतम संख्या को कम करेंगे और प्रारंभिक पैरामीटर मैट्रिक्स की रचना करेंगे, जिसमें दो छोटे लोगों का एक संयोजन होगा: एक हिस्सा TF-IDF मैट्रिक्स है, जहां प्रतीक अनुक्रम टोकन के रूप में अलग-अलग होते हैं, वास्तव में ये शब्द हैं, और अन्य भाग एक मैट्रिक्स है जहां प्रतीक एक निश्चित लंबाई के अनुक्रम टोकन के रूप में कार्य करते हैं।



यह बहुत अच्छा लग रहा है, हालांकि, यह बेहतर होना चाहिए। यह पाइपलाइन का पहला हिस्सा है। इस मामले में, "पी" "पब्लिक" का एक संक्षिप्त नाम है, यह एक संकेतक है जो दिखाता है कि मॉडल ने परीक्षण नमूने के खुले हिस्से पर कितना स्कोर किया। और "एफ" "फाइनल" के लिए एक संक्षिप्त नाम है, जो प्रतियोगिता के अंत के बाद प्रकाशित आंकड़ों के छिपे हुए हिस्से पर परिणाम है।

अगला, हम डेटासेट में कुछ डेटा जोड़ेंगे, जो आमतौर पर नियमों द्वारा निषिद्ध नहीं है। और जो निषिद्ध नहीं है, उसके अनुसार अनुमति है। इंटरनेट पर आप क्विज़ प्रश्नों के साथ कई डेटासेट पा सकते हैं। यदि हम उन्हें डाउनलोड करते हैं और उन्हें उपयोगकर्ता प्रश्न के रूप में चिह्नित करते हैं।



यह विचार, यह एक दोधारी तलवार है और कलह के सवाल हैं। यदि आप किसी विशेष पुस्तक से प्रश्न लेते हैं, तो मॉडल में असंगति होगी। एक ओर, लेखन शैली संपादकीय के करीब है, दूसरी ओर, चालाक उपयोगकर्ताओं ने सार्वजनिक गेम "क्लोवर" के निजी संदेशों के साथ उन्हें लंबे समय तक स्पैम किया है। इसलिए, हम उनका उपयोग नहीं करेंगे, हम मॉडल की द्विध्रुवी विकार से मॉडल की रक्षा करेंगे।

जैसा कि मैंने पहले कहा, उपयोगकर्ताओं को अपने प्रश्नों को प्रारूपित करने में कुछ लापरवाही है, और इसलिए हम उन्हें नियमित रूप से अभिव्यक्ति का उपयोग करके निकाल देंगे। हम विभिन्न प्रकार के उद्धरणों की पहचान करने के लिए, एक प्रश्न चिह्न की उपस्थिति के लिए जांच करने के लिए नियमित अभिव्यक्ति लिखेंगे, बड़े अक्षरों की खोज करने के लिए to ,, to:। और हम इन संकेतों पर मॉडल को फिर से बनाएंगे। इसके अलावा, पिछली भविष्यवाणी एक अतिरिक्त संकेत होगी। यह पिछले मॉडल की भविष्यवाणियों को सही करने में मदद करेगा।

इस प्रकार, एक दो-स्तरीय मॉडल लागू किया गया था जहां TF-IDF के विरल मैट्रिक्स पर बूस्ट करने के परिणामों को नियमित अभिव्यक्ति का उपयोग करके प्राप्त सारणीबद्ध विशेषताओं पर बढ़ाकर समायोजित किया गया था।



यह 318 में से एक निजी लीडरबोर्ड पर 5 वें स्थान के लिए पर्याप्त था। कुछ को सुधारा और अनुकूलित किया जा सकता था, लेकिन समय समाप्त हो रहा था। एक रास्ता या दूसरा, यह आगे जाने के लिए पर्याप्त है। और अत्यधिक पूर्णतावाद से घबराहट होती है। किसी भी मामले में, आप बाद में देखें, एमएल से प्यार करें, शांत रहें और देखते रहें। आगे यह और अधिक दिलचस्प होगा ...

→ गितुब भंडार में कोड