मशीनी अनुवाद। शीत युद्ध से लेकर वर्तमान तक

हाल के वर्षों में मशीन अनुवाद बहुत व्यापक हो गया है। निश्चित रूप से, मेरे अधिकांश पाठकों ने कम से कम एक बार Google.Translate या Yandex.Translation सेवाओं का उपयोग किया है। यह भी संभावना है कि कई लोगों को याद है कि बहुत पहले नहीं, लगभग 5 साल पहले, स्वचालित अनुवादकों का उपयोग करना बहुत मुश्किल था। यह इस मायने में आसान नहीं है कि उन्होंने बहुत खराब गुणवत्ता का अनुवाद दिया। कट के तहत मशीन अनुवाद का एक संक्षिप्त और अधूरा इतिहास है, जिसमें से यह इस कार्य और इसके कुछ कारणों और परिणामों में दिखाई देगा। सबसे पहले, एक तस्वीर जो मशीन अनुवाद के बारे में एक महत्वपूर्ण अवधारणा दिखाती है:



इस अवधारणा को "शोर चैनल" अवधारणा कहा जाता है और यह रेडियो इंजीनियरिंग से आया है। विभिन्न संस्करणों में, इसका श्रेय विभिन्न वैज्ञानिकों, न्यक्विस्ट, कुफ्मुएलर, शैनन को दिया जाता है, लेकिन इस विवाद में मैं अपने हमवतन - व्लादिमीर अलेक्जेंड्रोविच कोटलनिकोव के लिए निहित हूं, जिन्होंने 1933 में अपने प्रसिद्ध प्रमेय को साबित किया था। अपने आप से, यह प्रमेय इस लेख के दायरे से बाहर है, इसलिए मैं विकिपीडिया में रुचि रखने वालों को भेज रहा हूं ।

हमारे लिए, कुछ और महत्वपूर्ण है। एक शोर चैनल की अवधारणा को एक नई दिशा - स्वचालित मशीन अनुवाद पर लागू किया गया है। द्वितीय विश्व युद्ध की समाप्ति के बाद, हमारे विदेशी सहयोगियों ने फैसला किया कि सोवियत संघ, जिसने यूरोप और दुनिया की सर्वश्रेष्ठ सेना को हराकर अपनी ताकत दिखाई थी, एक गंभीर खतरा उत्पन्न किया। इस खतरे को रोकने के लिए कई कार्रवाई की गई, जिसमें रूसी से अंग्रेजी में स्वचालित अनुवाद पर काम भी शामिल है। यह आवश्यक था क्योंकि सोवियत संघ ने बहुत अधिक जानकारी का उत्पादन किया - टेलीविजन कार्यक्रम, रेडियो वार्ता, किताबें और पत्रिकाएं। और अगर हम वारसॉ संधि के संगठन पर अपने सहयोगियों की वार्ता को ध्यान में रखते हैं, तो समस्या का पैमाना पहले से ही भयावह था: यह प्रशिक्षित करना संभव नहीं था, और इससे भी अधिक पेशेवर अनुवादकों की ऐसी सेना को बनाए रखना था।और यहां विचार पैदा हुआ था - मान लें कि रूसी में पाठ अंग्रेजी में सिर्फ एक विकृत पाठ है, और हम "स्रोत" पाठ को पुनर्स्थापित करने के लिए एल्गोरिदम की कोशिश करेंगे। यह वही है जो 1949 में वारेन वीवर द्वारा प्रस्तावित किया गया था।

वैचारिक रूप से, यह सुंदर दिखता है, लेकिन सवाल यह है कि इसे कैसे लागू किया जाए। समय के साथ आगे बढ़ते हुए, यह तथाकथित वाक्यांश अनुवाद के आधार पर महसूस किया गया था।

लेकिन क्रम में चलते हैं। मन में अनुवाद करने का सबसे आसान तरीका क्या है? शब्दकोश अनुवाद - अर्थात, एक तैयार शब्दकोश लिया जाता है, और वाक्य के सभी शब्दों को दूसरी भाषा में उनके समकक्षों के साथ बदल दिया जाता है। यह दृष्टिकोण 1989 में कुख्यात आईबीएम कंपनी द्वारा प्रस्तावित किया गया था ।। इस दृष्टिकोण में एक स्पष्ट दोष है: विभिन्न भाषाओं में शब्द क्रम अलग-अलग हो सकता है, और कभी-कभी बहुत अधिक हो सकता है। इस मॉडल का अगला चरण शब्दों के क्रमपरिवर्तन की अनुमति देना है। और इन क्रमपरिवर्तन की भविष्यवाणी कैसे की जा सकती है? उसी काम में, एक और मॉडल प्रस्तावित किया गया था (यदि पहले को मॉडल 1 कहा जाता है, तो दूसरे को बहुत तार्किक रूप से मॉडल 2 कहा जाता है)। इस प्रणाली में, शब्दकोश के अलावा, एक तथाकथित संरेखण मॉडल है - एक दूसरे के साथ दो वाक्यों में शब्दों का सहसंबंध। संरेखण शरीर के आंकड़ों के आधार पर सीखा जाता है। इस मॉडल का स्पष्ट दोष यह है कि जिस मामले में संरेखण किया जाता है, उसे तैयार करने में बहुत अधिक प्रयास करना पड़ता है, पेशेवर अनुवादकों को न केवल पाठ का अनुवाद करना चाहिए, बल्कि यह भी इंगित करना चाहिए कि कौन सा शब्द कौन सा अनुवाद है।

यह ध्यान देने योग्य है कि शब्दों के अलग-अलग क्रम के अलावा, उदाहरण के लिए, समस्या यह है कि कुछ शब्द पूरी तरह से अनुवाद के बिना होंगे (उदाहरण के लिए, लेख रूसी में मौजूद नहीं हैं), और कुछ शब्दों के लिए एक से अधिक अनुवाद की आवश्यकता होगी शब्द (जैसे पूर्वानुभव + संज्ञा)। आईबीएम के सहकर्मियों ने इसे प्रजनन दर कहा और आंकड़ों के आधार पर इसके लिए मॉडल बनाए। यह पहले से ही मॉडल 3 (बहुत अनुमानित है, है न?)। एक ही कार्य में, कई और मॉडलों का वर्णन किया जाता है, वे एक शब्द के अनुवाद की भविष्यवाणी के लिए शर्तों को जोड़कर वर्णित विचारों को विकसित करते हैं - उदाहरण के लिए, पिछले शब्द के लिए, चूंकि कुछ शब्द एक दूसरे के साथ बेहतर रूप से संयुक्त हैं और इसलिए अधिक सामान्य हैं। मॉडलों के इस पूरे समूह ने तथाकथित वाक्यांश-आधारित अनुवाद को जन्म दिया।

यह दिशा मौजूद थी और विकसित हुई थी, विशेष रूप से, मशीनी अनुवाद मूसा के लिए एक खुला ढांचा विकसित किया गया था (आधिकारिक वेबसाइट पर आप देख सकते हैं कि यह कुछ हद तक क्षय हो गया है)। एक समय में, यह मशीनी अनुवाद का मुख्य साधन था, हालांकि उस समय मशीन अनुवाद इतना आम नहीं था। लेकिन 2014 में एक भयानक बात हुई - गहन अध्ययन मशीनी अनुवाद के क्षेत्र में पहुँच गया। यदि आपको याद है कि एक साल पहले इसे शब्दों का सदिश प्रतिनिधित्व मिला था, तो मैंने इस लेख को एम्बेडिंग के बारे में बताया । और 2014 में, दिमित्री बोगडानोव (और सह-लेखक, जिनमें से एक प्रसिद्ध योशुआ बेंगियो था) द्वारा एक लेख प्रकाशित किया गया था, जो संयुक्त रूप से लर्निंग और ट्रांसलेशन द्वारा न्यूरल मशीन ट्रांसलेशन का हकदार था।(या - संरेखण और अनुवाद के संयुक्त प्रशिक्षण के माध्यम से तंत्रिका मशीन अनुवाद)। इस काम में, दिमित्री ने आवर्तक तंत्रिका नेटवर्क के लिए ध्यान तंत्र का उपयोग करने का प्रस्ताव रखा और उसकी मदद से वह एक महत्वपूर्ण राशि से उपरोक्त मूसा को हराने में सक्षम था।

यहां आपको मशीन अनुवाद की गुणवत्ता को मापने के तरीके के बारे में बताने और चर्चा करने की आवश्यकता है। पापिनेनी के काम में2002 में, BLEU मैट्रिक प्रस्तावित किया गया था (द्विभाषी मूल्यांकन समझ - द्विभाषी तुलना का अध्ययन)। यह मीट्रिक मूल रूप से मशीनी अनुवाद के कितने शब्दों की तुलना मानव संस्करण से करता है। फिर दो शब्दों, तीन, चार के शब्द संयोजन की तुलना की जाती है। ये सभी आंकड़े औसत हैं और ठीक एक आंकड़ा प्राप्त किया गया है जो इस इमारत पर मशीन अनुवाद प्रणाली की गुणवत्ता का वर्णन करता है। इस मीट्रिक की अपनी कमियां हैं, उदाहरण के लिए, एक पाठ के अनुवाद के लिए अलग-अलग मानव विकल्प हो सकते हैं, लेकिन आश्चर्यजनक रूप से लगभग 20 वर्षों तक, अनुवाद की गुणवत्ता का आकलन करने के लिए कुछ भी बेहतर प्रस्तावित नहीं किया गया है।

लेकिन ध्यान तंत्र पर वापस। यह कहा जाना चाहिए कि आवर्तक नेटवर्क 15 साल पहले प्रस्तावित किए गए थे, और फिर कोई हंगामा नहीं किया। इन नेटवर्कों के साथ एक महत्वपूर्ण समस्या यह थी कि वे जो कुछ भी पढ़ते हैं उसे भूल जाते हैं। मशीन अनुवाद के लिए आंशिक रूप से इस समस्या को हल करें और ध्यान तंत्र ने मदद की। यहाँ यह तस्वीर में है:



वह क्या कर रहा है? यह अनुवाद के लिए एक शब्द वेक्टर देने के लिए इनपुट में शब्दों का वजन करता है। यह वही है जो मार्कअप के बिना "कच्चे" पाठ के आधार पर स्वचालित रूप से संरेखण मैट्रिक्स का निर्माण करना संभव बनाता है। उदाहरण के लिए, जैसे:



सभी ने देखा कि यह संभव था, मशीनी अनुवाद के लिए महान प्रयास किए गए, जो प्राकृतिक भाषा प्रसंस्करण का सबसे तेजी से बढ़ता क्षेत्र बन गया। दूर के भाषा जोड़े, जैसे कि अंग्रेजी और चीनी या अंग्रेजी और रूसी के लिए महत्वपूर्ण गुणवत्ता सुधार प्राप्त किए गए हैं। आधुनिक मानकों द्वारा आवर्तक नेटवर्क ने कुछ समय तक गेंद पर शासन किया - लगभग 4 साल। लेकिन 2017 के अंत में, तुरहियों ने पहाड़ के एक नए राजा के दृष्टिकोण की घोषणा की। यह एक लेख था जिसे अटेंशन कहा जाता है, आप सभी की जरूरत है (ध्यान आप सभी की जरूरत है; प्रसिद्ध बीटल्स गीत "आप सभी की जरूरत प्यार है") के नाम का एक दृष्टांत है। इस लेख ने ट्रांसफार्मर की वास्तुकला को प्रस्तुत किया, जो कि पूरी तरह से ध्यान तंत्र से थोड़ा कम था। मैंने एक लेख में उसके बारे में अधिक बात की2017 के परिणाम , इसलिए मैंने खुद को दोहराया नहीं।

तब से, काफी पानी बह गया है, लेकिन फिर भी, बहुत अधिक अवशेष। उदाहरण के लिए, दो साल पहले, 2018 की शुरुआत में, Microsoft शोधकर्ताओं ने अंग्रेजी से चीनी समाचार दस्तावेजों में अनुवादित मानव अनुवाद के साथ गुणवत्ता में समानता की उपलब्धि की घोषणा की । इस लेख की बहुत आलोचना की गई है, मुख्य रूप से इस दृष्टिकोण से कि BLEU द्वारा समान संख्याओं की उपलब्धि BLEU मीट्रिक की अपूर्ण पर्याप्तता का एक संकेतक है। लेकिन प्रचार उत्पन्न किया गया था।

मशीन अनुवाद के विकास में एक और दिलचस्प दिशा समानांतर डेटा के बिना मशीन अनुवाद है। जैसा कि आपको याद है, तंत्रिका नेटवर्क के उपयोग ने हमें मशीन अनुवाद मॉडल को पढ़ाने के लिए अनुवादित ग्रंथों में संरेखण मार्कअप को छोड़ने की अनुमति दी। मोनोलिंगुअल कॉर्पोरा केवल (केवल मोनोलिंगुअल डेटा का उपयोग करने वाला एक मशीन अनुवाद) का उपयोग करके अनसुपरवाइज्ड मशीन ट्रांसलेशन के लेखकों ने एक ऐसी प्रणाली प्रस्तुत की जो कुछ गुणवत्ता के साथ अंग्रेजी से फ्रेंच में अनुवाद करने में सक्षम थी (गुणवत्ता, निश्चित रूप से, उस समय की सर्वश्रेष्ठ उपलब्धियों से कम थी, लेकिन केवल 10% द्वारा) । दिलचस्प बात यह है कि उसी वर्ष बाद में लेखकों ने अनुवाद संबंधी विचारों का उपयोग करके अपने दृष्टिकोण में सुधार किया ।

अंत में, अंतिम बात जिस पर मैं प्रकाश डालना चाहता हूं, वह है गैर-आत्म-प्रतिगामी अनुवाद। यह क्या है? सभी मॉडल, आईबीएम मॉडल 3 के साथ शुरू, अनुवाद करते समय पहले से अनुवादित पिछले शब्दों पर भरोसा करते हैं। और काम के लेखकों , जिसे गैर-आत्म-प्रतिगामी मशीन अनुवाद कहा जाता है, ने इस निर्भरता से छुटकारा पाने की कोशिश की। गुणवत्ता भी थोड़ी कम निकली, लेकिन इस तरह के अनुवाद की गति ऑटोर्रिजिव मॉडल की तुलना में दस गुना अधिक तेज हो सकती है। यह देखते हुए कि आधुनिक मॉडल बहुत बड़े और धीमे हो सकते हैं, यह एक महत्वपूर्ण लाभ है, खासकर भारी भार के तहत।

यह कहे बिना जाता है कि क्षेत्र अभी भी खड़ा नहीं है और नए विचारों का प्रस्ताव किया जा रहा है, उदाहरण के लिए, तथाकथित बैक-ट्रांसलेशन, जब मॉडल द्वारा अनुवादित मोनोलिंगुअल डेटा का उपयोग आगे के प्रशिक्षण के लिए किया जाता है; कन्वेंशन नेटवर्क का उपयोग, जो इन दिनों मानक ट्रांसफार्मर से भी तेज है; पूर्व-प्रशिक्षित बड़े भाषा मॉडल का उपयोग (मेरे पास उनके बारे में एक अलग लेख है )। सभी, दुर्भाग्य से, सूचीबद्ध नहीं किया जा सकता है।

हमारी कंपनी मशीन अनुवाद के क्षेत्र में अग्रणी वैज्ञानिकों में से एक है - प्रोफेसर क्यूं लियू। प्रोफेसर लियू और मैं प्राकृतिक भाषा प्रसंस्करण में एक कोर्स का नेतृत्व कर रहे हैं, जिसमें विशेष रूप से मशीन अनुवाद पर पर्याप्त ध्यान दिया जाता है। यदि आप इस क्षेत्र में रुचि रखते हैं, तो आप अभी भी हमारे पाठ्यक्रम में शामिल हो सकते हैं , जो एक महीने पहले शुरू हुआ था।

और यदि आप अपने आप में ताकत महसूस करते हैं, तो हम आपको चीनी से रूसी में अनुवाद करने की हमारी प्रतियोगिता में प्रतिभागियों के बीच देखकर प्रसन्न होंगे! प्रतियोगिता 14 अप्रैल से शुरू होगी और ठीक एक महीने तक चलेगी। हमें उम्मीद है कि हमारे प्रतिभागी इस कार्य में नए परिणाम प्राप्त करेंगे और मशीन अनुवाद के पूरे क्षेत्र को आगे बढ़ाने में सक्षम होंगे। प्रतियोगिता MLBootCamp मंच पर आयोजित की जाएगी, और हम आयोजन में उनकी मदद के लिए MLBootCamp टीम और व्यक्तिगत रूप से दिमित्री Sannikov के लिए बहुत आभारी हैं।

प्रतियोगिता कड़ी