प्राकृतिक भाषा प्रसंस्करण। परिणाम 2019 और रुझान 2020 के लिए

सभी को नमस्कार। कुछ देरी के साथ, मैंने इस लेख को प्रकाशित करने का निर्णय लिया। हर साल मैं यह बताने की कोशिश करता हूं कि प्राकृतिक भाषा प्रसंस्करण के क्षेत्र में क्या हुआ। यह साल कोई अपवाद नहीं था।

BERT, BERT हर जगह हैं

चलिए शुरू करते हैं। आप पिछले एक साल और एक आधे के लिए दूरदराज के साइबेरियाई टैगा या गोवा में एक छुट्टी के लिए छोड़ दिया नहीं किया है, तो आप शब्द बर्ट तो सुना ही होगा। पिछले समय में, 2018 के अंत में दिखाई देने से, इस मॉडल को इतनी लोकप्रियता मिली है कि इस तरह की तस्वीर सिर्फ एक तस्वीर होगी:



BERTs ने वास्तव में एनएलपी में भरी जा सकने वाली हर चीज़ को बंदी बना लिया। उनका उपयोग वर्गीकरण, नामित संस्थाओं की मान्यता और यहां तक ​​कि मशीन अनुवाद के लिए भी किया जाने लगा। सीधे शब्दों में कहें, तो आप उन्हें बायपास नहीं कर सकते हैं और आपको अभी भी यह बताना होगा कि यह क्या है।



तस्वीर में दो मॉडलों के साथ अवसर (बाएं) के नायक की तुलना दिखाई गई है जो कि लग रहा था। - सही पर बर्ट के तत्काल पूर्ववर्ती है एल्मो मॉडल ।

गीतात्मक विषयांतर।

« »: , , Elmo, Bert — ; , , , — . . , , .

एलेन ए एल इल्मो मॉडल पिछले वर्षों में क्षेत्र के संपूर्ण विकास के लिए एक प्रकार का उत्तराधिकारी है - अर्थात्, द्वि-दिशात्मक आवर्तक तंत्रिका नेटवर्क, और बूट करने के लिए कई नई चालें। OpenAI सहयोगियों ने फैसला किया है कि क्या बेहतर किया जा सकता है। और इसके लिए आपको बस Google को इस कार्य के लिए प्रस्तुत किए गए ट्रांसफार्मर आर्किटेक्चर को लागू करने की आवश्यकता है । मेरा मानना ​​है कि पिछले 2.5 वर्षों में, हर कोई पहले ही इस वास्तुकला से परिचित होने में कामयाब रहा है, इसलिए मैं इस पर विस्तार से ध्यान नहीं दूंगा। उन लोगों के लिए जो कम्युनिकेशन प्राप्त करना चाहते हैं, मैं 2017 की वर्ष से अपनी समीक्षा का उल्लेख करता हूं ।

उन्होंने (OpenAI के कर्मचारियों ने) अपने GPT-2 मॉडल को बुलाया । और फिर, इस मॉडल पर, उन्होंने बहुत अच्छा काम किया है। लेकिन इसे उनकी अंतरात्मा की आवाज पर छोड़ दें, और हमारी भेड़ें, यानी मॉडल पर लौट आएं।

सबसे महत्वपूर्ण ईलमो चालों में से एक एक बड़े, बिना लाइसेंस के मामले पर पूर्व-प्रशिक्षण था। यह बहुत अच्छी तरह से निकला, और Google के सहयोगियों ने फैसला किया कि हम और भी बेहतर कर सकते हैं। ट्रांसफार्मर आर्किटेक्चर (जो पहले से GPT-2 में था) को लागू करने के अलावा, BERT, जो ट्रांसफॉर्मर से द्विदिश एनकोडर प्रतिनिधियों के लिए खड़ा है, अर्थात, ट्रांसफॉर्मर आर्किटेक्चर के आधार पर एक द्विदिश एनकोडर से वेक्टर प्रतिनिधित्व, जिसमें कई और महत्वपूर्ण चीजें शामिल थीं। विशेष रूप से, सबसे महत्वपूर्ण एक बड़े मामले पर प्रशिक्षित करने का तरीका था।



चित्र असंबद्ध डेटा को चिह्नित करने के लिए एक विधि दिखाता है। दो लेआउट विधियों को विशेष रूप से एक बार में दिखाया गया है। सबसे पहले, टोकन (शब्द) का एक अनुक्रम लिया जाता है, उदाहरण के लिए, एक वाक्य है, और इस क्रम एक मनमाने ढंग से टोकन में ([मुखौटा]) छिपा होता है। और सीखने की प्रक्रिया में मॉडल को अनुमान लगाना चाहिए कि किस तरह का टोकन प्रच्छन्न था। दूसरा तरीका - दो वाक्यों को क्रमिक रूप से या पाठ में मनमाने स्थानों से लिया जाता है। और मॉडल को यह अनुमान लगाना चाहिए कि क्या ये वाक्य अनुक्रमिक ([सीएलएस] और [एसईपी]) थे।

इस तरह के प्रशिक्षण का विचार बेहद प्रभावी था। फेसबुक से शपथ ली मित्रों से जवाब था रोबर्टा मॉडल , इस मॉडल के बारे में एक लेख "sustainably अनुकूलित बर्ट प्रशिक्षण" कहा जाता है। आगे और भी।

मैं ट्रांसफ़ोमर आर्किटेक्चर पर आधारित एक बड़े भाषा मॉडल के प्रशिक्षण को बेहतर बनाने के सभी तरीकों को इस तथ्य के कारण सूचीबद्ध नहीं करूंगा कि यह केवल उबाऊ है। मैं उल्लेख, शायद, केवल हांगकांग से अपने सहयोगियों के काम - ERNIE । अपने काम में, सहयोगियों ज्ञान रेखांकन के उपयोग के माध्यम प्रशिक्षण को बेहतर बनाने के।

आगे बढ़ने से पहले, यहां कुछ उपयोगी लिंक दिए गए हैं: BERT के बारे में एक लेख । साथ ही रूसी भाषा के लिए प्रशिक्षित BERT और ELMo मॉडल का एक सेट ।

छोटे मॉडल

लेकिन BERTs के बारे में पर्याप्त है। कई और महत्वपूर्ण रुझान हैं। सबसे पहले, यह मॉडल के आकार को कम करने के लिए एक प्रवृत्ति है। वही बीईआरटी संसाधनों पर बहुत मांग कर रहा है, और कई ने यह सोचना शुरू कर दिया कि गुणवत्ता को कैसे बनाए रखा जाए (या वास्तव में नहीं खोना), मॉडल के काम करने के लिए आवश्यक संसाधनों को कम करें। गूगल सहयोगियों एक छोटे से बर्ट के साथ आया था, मुझे नहीं मजाक कर रहा हूँ - अल्बर्ट: एक छोटी सी बर्ट । आप देख सकते हैं कि छोटा बीईआरटी अधिकांश कार्यों में अपने बड़े भाई को भी पीछे छोड़ देता है, जबकि कम परिमाण का एक आदेश होता है।



उसी पट्टी के लिए एक और दृष्टिकोण हांगकांग से मेरे सहयोगियों द्वारा फिर से बनाया गया था। वे एक छोटे से बर्ट के साथ आया था - TinyBERT । (यदि इस बिंदु पर आप सोचा था कि नाम बार-बार किया जाने लगा, मैं आपके साथ सहमत करने के लिए इच्छुक हूँ।)



ऊपर दिए गए दो मॉडलों के बीच मूलभूत अंतर यह है कि यदि ALBERT, मूल BERT मॉडल को कम करने के लिए ट्रिकी ट्रिक्स का उपयोग करता है, उदाहरण के लिए, मैट्रिक्स विघटन के माध्यम से आंतरिक वेक्टर निरूपण के पैरामीटर को साझा करने और कम करने के लिए, तो TinyBERT एक मौलिक अलग दृष्टिकोण का उपयोग करता है, अर्थात् ज्ञान का आसवन, अर्थात्। एक छोटी मॉडल जो सीखने की प्रक्रिया में अपनी बड़ी बहन के बाद दोहराना सीखती है।

छोटे मामले

हाल के वर्षों में (1990 के बाद से, जब इंटरनेट दिखाई दिया), उपलब्ध इमारतों में वृद्धि हुई है। फिर एल्गोरिदम आया जो इस तरह के बड़े बाड़ों को संसाधित करने में सक्षम हो गया (यह वही है जिसे हम "गहरी सीखने की क्रांति" कहते हैं, यह 2013 से पहले ही वर्ष है)। और, परिणामस्वरूप, यह सामान्य रूप से माना जाने लगा कि किसी कार्य में अच्छी गुणवत्ता प्राप्त करने के लिए, चिह्नित डेटा के विशाल सरणियों की आवश्यकता होती है - हमारे मामले में पाठ निकाय। उदाहरण के लिए, आज के मशीनी अनुवाद कार्यों को सीखने के लिए विशिष्ट मामलों को लाखों वाक्यों में मापा जाता है। यह लंबे समय से स्पष्ट किया गया है कि कई कार्यों के लिए यह समय की उचित राशि में और धन की उचित राशि के लिए इस तरह के मामलों को इकट्ठा करने के लिए असंभव है। लंबे समय तक यह स्पष्ट नहीं था कि इसके बारे में क्या करना है। लेकिन पिछले साल (आप कौन लगता है?) BERT इस दृश्य पर आए।यह मॉडल असंबद्ध ग्रंथों के बड़े संस्करणों पर पूर्व-प्रशिक्षित करने में सक्षम था, और तैयार मॉडल एक छोटे मामले के साथ कार्य के लिए अनुकूल होना आसान था।



इस तालिका में सूचीबद्ध सभी कार्यों में कई हजार इकाइयों के आकार में प्रशिक्षण कोर हैं । यानी परिमाण के दो से तीन क्रम कम। और यह एक और कारण है कि बीईआरटी (और उसके वंशज और रिश्तेदार) इतने लोकप्रिय क्यों हो गए हैं।

नई प्रवर्तिया

खैर, अंत में, नए रुझानों के एक जोड़े, जैसा कि मैंने उन्हें देखा। सबसे पहले, इस पाठ के लिए दृष्टिकोण में एक मूलभूत परिवर्तन है। यदि सभी कार्यों में पिछली बार पाठ केवल इनपुट सामग्री के रूप में माना गया था, और आउटपुट कुछ उपयोगी था, उदाहरण के लिए, एक वर्ग लेबल। अब समुदाय को यह याद रखने का अवसर है कि पाठ मुख्य रूप से संचार का एक साधन है, अर्थात, आप मॉडल से "बात" कर सकते हैं - प्रश्न पूछ सकते हैं और मानव-पठनीय पाठ के रूप में उत्तर प्राप्त कर सकते हैं। Google T5 का नया लेख यही कहता है (नाम का अनुवाद "पांच बार ट्रांसफार्मर" के रूप में किया जा सकता है)।



एक और महत्वपूर्ण प्रवृत्ति यह है कि इस क्षेत्र में लंबे ग्रंथों के साथ काम करना फिर से सीखना है। 70 के दशक के बाद से, समुदाय के पास मनमाने ढंग से लंबाई के पाठ के साथ काम करने के तरीके हैं - वही TF-IDF लें। लेकिन इन मॉडलों की अपनी गुणवत्ता सीमा होती है। लेकिन नए गहरे शिक्षण मॉडल लंबे ग्रंथों के साथ काम करने में सक्षम नहीं थे (उसी बीईआरटी में 512 पाठ इनपुट लंबाई की सीमा है)। लेकिन हाल ही में, कम से कम दो काम दिखाई दिए हैं जो विभिन्न पक्षों से लंबे पाठ की समस्या का सामना करते हैं। रुस्लान सलाखुद्दीनोव के समूह से पहला काम ट्रांसफार्मर-एक्सएल कहा जाता है।



इस काम में, विचार को पुनर्जीवित किया जाता है कि पुनरावर्ती नेटवर्क इतना लोकप्रिय बना दिया है - आप पहले वाली स्थिति को बचाने और इसका इस्तेमाल अगले एक निर्माण करने के लिए कर सकते हैं, भले ही आप समय (BPTT) में पिछड़े ढाल रोल नहीं है।

दूसराकाम लीजेंड्री पॉलीओनियम्स के साथ काम करता है और उनकी मदद से यह आवर्ती तंत्रिका नेटवर्क के साथ दसियों हज़ार टोकन के अनुक्रमों को संसाधित करने की अनुमति देता है।

इस पर, मैं परिवर्तन है कि जगह और उभरती प्रवृत्तियों ले लिया है की समीक्षा समाप्त करना चाहते हैं। आइए देखें कि इस साल क्या होगा, मुझे यकीन है कि बहुत सारी दिलचस्प चीजें हैं। डेटा ट्री पर एक ही विषय पर मेरे भाषण का वीडियो:


पुनश्च हम जल्द ही कुछ और दिलचस्प घोषणाएँ करेंगे, स्विच नहीं करेंगे!

Source: https://habr.com/ru/post/undefined/