🧦 🕎 👩‍❤️‍👨 स्मार्ट रिप्ले स्टिकर 🕟 💨 👨🏻‍⚖️

हेलो, हेब्र! आज हमने ICQ को फिर से शुरू किया । नए संदेशवाहक के प्रमुख कार्य कृत्रिम बुद्धिमत्ता प्रौद्योगिकियों पर आधारित हैं: एक उत्तर देने वाले संदेश के जवाब के लिए स्मार्ट रिप्लाई क्विक स्टीकर और टेक्स्ट प्रॉम्प्ट सिस्टम, दर्ज किए गए वाक्यांशों के लिए स्टिकर का सुझाव देना, वॉयस मैसेज रिकग्निशन और अन्य।

इस लेख में मैं उनमें से एक के बारे में बात करूंगा - स्मार्ट जवाब। यह सुविधा उपयोगकर्ताओं का समय बचाएगी, क्योंकि उन्हें केवल उनके द्वारा पसंद किए जाने वाले स्टिकर पर क्लिक करने की आवश्यकता होगी। इसी समय, सुविधा विभिन्न स्टिकर के उपयोग को लोकप्रिय बनाएगी और संचार की भावनात्मकता को बढ़ाएगी।

डेटा तैयारी

एनएलपी के क्षेत्र से कार्य को मशीन सीखने और तंत्रिका नेटवर्क की मदद से हल किया गया था। प्रशिक्षण को सार्वजनिक चैट से विशेष रूप से तैयार किए गए डेटा पर आयोजित किया गया था। जोड़ियों का उपयोग किया गया था: संवाद का एक टुकड़ा और एक स्टिकर जो वार्ताकार के अंतिम संदेश के जवाब में उपयोगकर्ताओं में से एक द्वारा भेजा गया था। संदर्भ को बेहतर ढंग से ध्यान में रखने के लिए, संवाद के एक टुकड़े में अंतिम वार्ताकार के संदेश होते हैं जो एक साथ चिपके होते हैं, और उपयोगकर्ता के संदेशों से पहले। आप संदेशों की संख्या के साथ प्रयोग कर सकते हैं, उदाहरण के लिए, Google एमएल किट 10 संदेशों [1] के संदर्भ का उपयोग करता है ।

मुझे जिन समस्याओं से निपटना था, उनमें से एक यह है कि स्टिकर का उपयोग करने की आवृत्ति, सबसे लोकप्रिय लोगों से शुरू होकर तेजी से गिरती है। इसके अलावा, स्टिकर की कुल संख्या एक मिलियन से अधिक है। नीचे दिया गया आंकड़ा 4000 सबसे लोकप्रिय स्टिकर के उपयोग की अवरोही आवृत्ति को दर्शाता है। इसलिए, प्रशिक्षण सेट के असमान वितरण को कम करने के लिए सबसे लोकप्रिय लोगों में से कुछ को हटाने के साथ 4000 लोकप्रिय स्टिकर चुना गया था।

अवरोही क्रम में 4000 सबसे लोकप्रिय स्टिकर के उपयोग की आवृत्ति।

ग्रंथों के लिए, संख्या को हटाने, अक्षरों को दोहराने, एकल वर्ण, विराम चिह्न (प्रश्न चिह्न और विस्मयादिबोधक, जो अर्थ के लिए महत्वपूर्ण हैं, को छोड़कर) के संदर्भ में सामान्यीकरण किया गया था, अक्षरों को कम मामले में कम किया गया। सामान्य तौर पर, विशिष्टताएं ऐसी होती हैं कि चैट रूम में, उपयोगकर्ता व्याकरण का खराब पालन कर रहे हैं।

मॉडल चयन

भविष्यवाणी के लिए, Siamese DSSM मॉडल का उपयोग किया जाता है, Mail.ru में स्मार्ट उत्तर के लिए मॉडल के साथ सादृश्य द्वारा (एक समान वास्तुकला में वर्णित है [2]), लेकिन कुछ मतभेदों के साथ। अनुमान के लिए दक्षता में सियामी मॉडल का लाभ, क्योंकि स्टिकर के अनुरूप भाग की गणना अग्रिम में की जाती है। पत्रों का उत्तर देने के लिए, मूल मॉडल पाठ का प्रतिनिधित्व करने के लिए n-ग्राम शब्दों के एक बैग का उपयोग करता है, जो लिखने के लिए उचित है: पाठ बड़ा हो सकता है, और हमें सामान्य बारीकियों को समझने और कुछ मानक संक्षिप्त उत्तर देने की आवश्यकता है। चैट और स्टिकर के मामले में, पाठ छोटा है, और व्यक्तिगत शब्द यहां अधिक महत्वपूर्ण हैं। इसलिए, व्यक्तिगत शब्द एम्बेडिंग का उपयोग सुविधाओं के रूप में करने और उनके लिए एक एलएसटीएम परत जोड़ने का निर्णय लिया गया। लघु ग्रंथों के मामले में LSTM परत का उपयोग करने का एक समान विचार का उपयोग किया गया था, उदाहरण के लिए, Google Allo दूत में पाठ प्रतिक्रियाओं के लिए [3] और दीपमोजी लघु संदेशों के लिए स्माइली भविष्यवाणी मॉडल में [4]। योजनाबद्ध रूप से नीचे का आंकड़ा मॉडल दिखाता है।

आर्किटेक्चर मॉडल।

आकृति में, प्रारंभिक परत आने वाले टोकन शब्दों (बाएं) और स्टिकर (दाएं) के एम्बेडिंग हैं। शब्दों के टोकन के लिए, एक शब्दकोश का उपयोग किया गया था, जिसमें सबसे लोकप्रिय शब्दों में से 100K शामिल थे। विभिन्न उपयोगकर्ताओं के संदेशों को अलग करने के लिए, एक विशेष समर्पित टोकन का उपयोग किया गया था। प्रशिक्षण अंत-से-अंत है। शब्दों के अनुक्रम के लिए एम्बेडिंग की गणना करने के बाद, हम LSTM परत पर जाते हैं, जिसकी स्थिति को फिर स्पर्शरेखा सक्रियण के साथ पूरी तरह से जुड़े परतों में स्थानांतरित किया जाता है। नतीजतन, आउटपुट पर बाएं एनकोडर में हमें एक वेक्टर मिलता है जो पाठ का प्रतिनिधित्व करता है, और दाएं में - स्टिकर के अनुरूप वेक्टर। वैक्टर का स्केलर उत्पाद यह निर्धारित करता है कि पाठ और स्टिकर एक साथ कैसे फिट होते हैं। एम्बेडिंग का आयाम, LSTM की आंतरिक स्थिति का वेक्टर और आउटपुट वेक्टर 300 के बराबर लिया गया।

प्रशिक्षण के लिए उद्देश्य समारोह इस तरह दिखता है:

जहां K बैच का आकार है,

S- (x _i , y _i ) टेक्स्ट-स्टिकर जोड़े के सकारात्मक उदाहरणों के लिए परिणामी वैक्टर का स्केलर उत्पाद है,

S (x _i , y _j )- पाठ-स्टिकर जोड़े के नकारात्मक उदाहरणों के लिए वैक्टर के स्केलर उत्पाद। मूल सही जोड़े के यादृच्छिक मिश्रण के कारण पाठ-स्टिकर जोड़े के नकारात्मक उदाहरण उत्पन्न हुए थे। चूंकि, लोकप्रिय सार्वभौमिक स्टिकर के लिए, यह संभावना है कि जब मिश्रण फिर से सही जोड़ी बन जाता है, तो रिट्रीटिंग के चरण में, बैच के हिस्से के रूप में अतिरिक्त नियंत्रण का उपयोग किया जाता था, ताकि एक स्टिकर के साथ सकारात्मक और नकारात्मक जोड़े के लिए समान पाठ न हों। प्रयोगों के दौरान बेहतर काम करते हैं अगर नकारात्मक उदाहरण K से कम का उपयोग करें । डेटा के शोर को देखते हुए, बड़े बैचों में प्रशिक्षण ने बेहतर काम किया। मॉडल की जटिलता और ध्यान परत के जोड़ ने सटीकता में ध्यान देने योग्य सुधार नहीं दिया, जो, बल्कि, डेटा और उनकी गुणवत्ता से जुड़ी सीमाओं की बात करता है।

इस तथ्य के कारण कि चरित्र n-ग्राम के बजाय व्यक्तिगत शब्दों के शब्दकोश के साथ दृष्टिकोण चुना जाता है, टाइपोस के संबंध में मॉडल का लचीलापन खो जाता है। फास्टटेक्स्ट एम्बेडिंग के प्रशिक्षण के साथ एक प्रयोग किया गया, जो सीधे नेटवर्क में प्रशिक्षित होता है, जिससे त्रुटियों का प्रभाव कम होता है। इस मामले में, प्रशिक्षण खराब हो गया, और एक ध्यान परत के अलावा ने विशेष रूप से मदद की। गुणवत्ता संकेतक और अन्य कारकों को तौलने के बाद, एक सरल मॉडल पर ध्यान केंद्रित करने का निर्णय लिया गया। इस मामले में, शब्द में शब्दकोश में नहीं होने की स्थिति में स्पेलसेचर का उपयोग करके टाइपोस की समस्या को हल किया जाता है। सामान्य मोड में, वर्तनी जाँचक का उपयोग नहीं किया जाता है, क्योंकि त्रुटियों वाले कुछ शब्द अनौपचारिक चैटिंग की एक विशेषता है।

उत्तर प्राप्त करना

मॉडल कैसे निष्कर्ष अवस्था में काम करता है?

हम पहले से सही एनकोडर द्वारा गणना किए गए स्टिकर वैक्टर की गणना करते हैं। अनुरोध प्रसंस्करण चरण में, आने वाले पाठ के लिए एक वेक्टर प्राप्त करने के लिए केवल बाएं एनकोडर का उपयोग किया जाता है। अगला, आपको पाठ और स्टिकर वेक्टर के स्केलर उत्पाद के अवरोही क्रम में स्टिकर की सूची प्राप्त करने की आवश्यकता है। यह सीधे सभी स्टिकर वैक्टर को गुणा करके किया जा सकता है, या इस मीट्रिक के लिए निकटतम पड़ोसी खोज एल्गोरिदम का उपयोग कर सकता है। उदाहरण के लिए, [2] में अधिकतम आंतरिक उत्पाद खोज (MIPS) के लिए पदानुक्रमित मात्रा का उपयोग करने का प्रस्ताव है। हमने एचएनएसडब्ल्यू खोज एल्गोरिथ्म लागू किया, और इसने संपूर्ण खोज की तुलना में एक महत्वपूर्ण त्वरण दिया।

जवाब विविध बनाना

अगला चरण प्रस्तावित स्टिकर का विविधीकरण है, क्योंकि अक्सर टॉप-एंड स्टिकर सभी समान हो सकते हैं।

वाक्यांश "हैलो" के लिए तीन सुझाए गए स्टिकर: विविधीकरण के बिना और विविधीकरण के साथ।

विविधीकरण के कई विकल्पों का परीक्षण किया गया है। सबसे आसान तरीका शीर्ष एन स्टिकर का चयन करना है, स्कोर पर सीमा को ध्यान में रखते हुए, फिर शीर्ष स्टिकर का चयन करें, और शीर्ष स्टिकर के लिए दूरी में स्वीकार्य अंतर को सीमित करते हुए, एक दूसरे के बीच अधिकतम दूरी के साथ अन्य दो का चयन करें। भावनात्मक रंग (सकारात्मक, नकारात्मक, तटस्थ) द्वारा स्टिकर के मैनुअल अंकन के परिणामों का उपयोग करके इस दृष्टिकोण को जोड़ा जा सकता है, और यदि कोई हो, तो विभिन्न रंगों के साथ शीर्ष एन स्टिकर से चुनें।

एक अन्य विकल्प उनके एम्बेडिंग द्वारा क्लस्टर स्टिकर है, और परिणाम देते समय, क्लस्टर से एक से अधिक स्टिकर का चयन न करें। क्लस्टरिंग के लिए, UMAP + HDBSCAN बंडल का उपयोग किया गया था। UMAP एक नया प्रभावी डायमेंशन कम करने वाला एल्गोरिदम है जो पहले से ही सिद्ध टी-एसएनई से आगे निकल जाता है। आयाम में कमी को दो पर लागू किया गया था, और फिर HDBSCAN क्लस्टरिंग एल्गोरिदम का उपयोग किया गया था। लगभग 100 समूहों की पहचान की गई थी। यह कार्य पूरी तरह से स्वचालित रूप से हल नहीं किया गया है, विभिन्न सेटिंग्स के साथ 70% तक स्टिकर की क्लस्टरिंग प्राप्त करना संभव था, लेकिन फिर मैनुअल संशोधन, सत्यापन की आवश्यकता है। इसलिए, हम ऊपर वर्णित सरल विकल्पों पर बसे, क्योंकि उनका परिणाम अच्छा था।

एम्बेड पर स्टिकर को क्लस्टर करना।

परिणाम

नतीजतन, हमें एक सरल और प्रभावी स्मार्ट रिप्ले स्टिकर मिला, जिसने जवाबों की बहुत अच्छी गुणवत्ता का प्रदर्शन किया। उत्तरदाताओं के अनुसार, सरल से अपेक्षाकृत जटिल से 1000 विभिन्न वाक्यांशों के लिए परीक्षणों के अनुसार, 75% से अधिक मामलों में शीर्ष स्टिकर को पूरी तरह से उपयुक्त कहा जाता था। 100 सरल और अधिक लोकप्रिय वाक्यांशों के परीक्षण में, परिणाम और भी प्रभावशाली है: शीर्ष स्टिकर को 93% मामलों में पूरी तरह से उपयुक्त कहा गया था।

उत्तरों के मॉडल द्वारा प्रस्तुत किए गए स्टिकर के उदाहरण।

नुकसान क्या हैं?

प्रशिक्षण डेटासेट में असंतुलन के कारण, कुछ शब्दों का अनावश्यक रूप से बड़ा प्रभाव पड़ता है। उदाहरण के लिए, किसी संदर्भ में "प्रेम" शब्द अक्सर विभिन्न "रोमांटिक" स्टिकर के प्रस्ताव की ओर जाता है, क्योंकि प्रशिक्षण डेटा में इस दिशा में पूर्वाग्रह है। आवृत्ति शब्दों और स्टिकर के साथ-साथ वाक्यांशों के संवर्द्धन के लिए अतिरिक्त भार का परिचय, समस्या को पूरी तरह से हल नहीं किया, लेकिन स्थिति को आंशिक रूप से सुधार दिया।

हम अपने लॉरेल पर आराम नहीं करते हैं, और हमारे मॉडल की गुणवत्ता में सुधार की प्रक्रिया जारी है, डेटा तैयार करने और उपयोग करने के लिए वास्तुकला और तंत्र को संशोधित करने के लिए प्रयोग किए जाते हैं।

साहित्य

Google updates ML Kit with Smart Reply API for third-party Android and iOS apps. 9to5google.com/2019/04/05/ml-kit-smart-reply
Matthew Henderson, Rami Al-Rfou, Brian Strope, Yun-Hsuan Sung, Laszlo Lukacs, Ruiqi Guo, Sanjiv Kumar, Balint Miklos, and Ray Kurzweil. Efﬁcient Natural Language Response Suggestion for Smart Reply. arXiv:1705.00652v1, 2017.
Pranav Khaitan. Chat Smarter with Allo. ai.googleblog.com/2016/05/chat-smarter-with-allo.html
Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan, Sune Lehmann. Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. arXiv:1708.00524v2, 2017.