टॉकिंग हेड प्रोजेक्ट, या टेलिप्रेसेंस रोबोट के लिए सॉफ्टवेयर विकसित करने का इतिहास

टी-सिस्टम में मेरा काम एक असामान्य परियोजना के साथ शुरू हुआ। दरअसल, मोटे तौर पर इस प्रोजेक्ट की वजह से मैं कंपनी में आया। हमारी पहली टेलीफोन बातचीत के दौरान, कार्य मुझे निम्नानुसार वर्णित किया गया था: टेलीप्रेज़ेंस रोबोट के लिए भाषण अनुवाद प्रणाली विकसित करना आवश्यक है। मैंने पहली बार टेलीप्रेज़ेंस रोबोट के बारे में सुना, लेकिन रोबोट के लिए विकसित करने से ज्यादा रोमांचक क्या हो सकता है? इसलिए, मैं लगभग तुरंत सहमत हो गया।



ग्राहक को मेरा पहला फोन। इस कार्य को लगभग इस तरह से प्रस्तुत किया गया है - हम चाहते हैं कि इस टेलीफ़ोनेंस रोबोट के माध्यम से बातचीत के दौरान भाषण अनुवाद प्रणाली काम करे, यानी व्यक्ति रूसी बोलता है, और "तार" के दूसरे छोर पर रोबोट जर्मन और इसके विपरीत में अपने भाषण को पुन: पेश करता है। समस्या के इस तरह के बयान के तुरंत बाद इस सवाल के बाद कि लोगों को इसे विकसित करने में कितना समय लगता है, और कितना खर्च आएगा। हम सहमत हुए कि मैं रोबोट पर प्रलेखन को देखूंगा (रोबोट हमारे कार्यालय में नहीं था), मैं अनुवाद प्रणालियों का अध्ययन करूंगा और एक महीने में मोटे अनुमान लगाऊंगा, लेकिन अब हम विवरण स्पष्ट करने के लिए सप्ताह में एक दो बार फोन करेंगे।

कम से कम कहने के लिए रोबोट के लिए प्रलेखन बल्कि दुर्लभ था। मार्केटिंग सामग्री के अलावा कुछ भी खोजना असंभव था, इसलिए मैंने डेवलपर्स को लिखा। मौजूदा प्रणाली ने एक वेब ब्राउज़र से टेलीप्रेज़ेंस रोबोट को वीडियो कॉल करना और दूरस्थ स्थान पर उसके आंदोलनों को नियंत्रित करना संभव बना दिया है, और मेरे पास जो स्पष्ट विचार था वह था: क्या यह संभव है कि किसी तरह वर्तमान प्रणाली में एक भाषण अनुवाद प्रणाली को एकीकृत किया जाए?

समानांतर में, यह समझना आवश्यक था कि अनुवाद प्रणाली कैसे बनाई जा सकती है, और सबसे महत्वपूर्ण बात यह है कि इस अनुवाद की गुणवत्ता क्या होगी, क्या यह ग्राहक को स्वीकार्य होगा? इसलिए, रोबोट के डेवलपर्स के साथ पत्राचार के साथ, मैंने ग्राहक के साथ एक कॉल करने और अनुवादक के माध्यम से उसके साथ संवाद करने का फैसला किया। ट्रांसलेटर माइक्रोसॉफ्ट का एक मोबाइल एप्लिकेशन है जो विभिन्न भाषाओं में अनुवाद और आवाज का अनुवाद कर सकता है। एप्लिकेशन मुफ्त है, Android या iOS पर स्थापित है और Microsoft से उपयुक्त सेवा का उपयोग करता है। कॉल के दौरान, हमें यह पता लगाना था कि क्या इस तरह से बातचीत करना संभव है। प्रयोग की शुद्धता के लिए, मैंने जर्मन में रूसी, और ग्राहक से बात की, अर्थात् दोनों बिल्कुल दूसरी भाषा नहीं जानते थे, एक कॉन्फ्रेंस कॉल के माध्यम से फोन किया और पहली बार ट्रांसलेटर में अपनी मूल भाषा बोली,और फिर सम्मेलन के हैंडसेट के लिए मोबाइल लाया। 

सामान्य तौर पर, यह बहुत सुविधाजनक नहीं लगता था, लेकिन दिए गए अनुवाद की गुणवत्ता का एक सामान्य विचार (जिज्ञासु पाठक कहेगा कि अनुवाद चालू होने के साथ Skype के माध्यम से फोन करना आसान था, लेकिन किसी कारण से यह हमारे लिए तब नहीं हुआ था)। बातचीत के बाद, हमने निर्णय लिया कि ग्राहक के लिए होने वाली परियोजना और गुणवत्ता स्वीकार्य है।

इसलिए, परियोजना पर काम के पहले महीने के परिणामों के अनुसार, निम्नलिखित खुलासा किया गया था। टेलीप्रेज़ेंस रोबोट के लिए मौजूदा सिस्टम को संशोधित नहीं किया जा सकता है, क्योंकि रोबोट के डेवलपर्स इसके लिए एपीआई प्रदान नहीं करते हैं। हालांकि, यह पता चला कि रोबोट एक तरह का सेगवे है, जिसमें आईपैड कनेक्ट होता है, और आईओएस के लिए एक एसडीके है, जिसके साथ आप सेगवे को नियंत्रित कर सकते हैं। यही है, आपको अपने स्वयं के सिस्टम को पूरी तरह से लिखना होगा, मौजूदा एक के साथ एकीकरण पर भरोसा नहीं करना चाहिए। भविष्य के उत्पाद का पहला योजनाबद्ध प्रतिनिधित्व दिखाई दिया है।

 

ग्राहक के साथ चर्चा के बाद, यह निर्णय लिया गया कि 3 लोग परियोजना पर काम करेंगे - iOS डेवलपर, बैकएंड और फ्रंटेंड डेवलपर्स। हम परियोजना को 2-3 महीने लंबे चरणों में विभाजित करेंगे और प्रत्येक चरण के लिए एक अलग अनुबंध के समापन के साथ एक लक्ष्य निर्धारित करेंगे। मंच के अंत में - परियोजना के ग्राहक और निवेशक को परिणामों का प्रदर्शन। यह ग्राहक के लिए महत्वपूर्ण था कि नए साल तक पहले से ही काम कर रहा POC था। जब से मैंने जुलाई में कंपनी ज्वाइन की, डेडलाइन काफी टाइट थी।

पहले 2-महीने के चरण के लिए लक्ष्य दो और डेवलपर्स को खोजने, वीडियो कॉल और अनुवाद के लिए सेवाएं चुनने के लिए निर्धारित किया गया था। मंच के अंत में, एक सरल वेब एप्लिकेशन दिखाना आवश्यक था जो आपको एक एकीकृत अनुवाद सेवा के साथ वीडियो कॉल करने की अनुमति देता है।

WebRTC का अब व्यापक रूप से वीडियो कॉल करने के लिए उपयोग किया जाता है, जो वर्तमान में अधिकांश वेब ब्राउज़र द्वारा समर्थित है। हालांकि, सीमित संसाधनों के मद्देनजर, हमने नंगे WebRTC पर लिखने की हिम्मत नहीं की और एक प्रदाता को चुना जो WebRTC के शीर्ष पर सेवा प्रदान करता है। हमने दो सेवाओं पर विचार किया - टोकबॉक्स और वोक्सैट। परिणामस्वरूप, उन्होंने TokBox को चुना। यह ध्यान रखना आवश्यक है कि इन सेवाओं का भुगतान किया जाता है, इसलिए, एप्लिकेशन आर्किटेक्चर के विवरण के साथ, हमने अनुवाद के साथ वीडियो कॉल के एक मिनट के लिए लागत गणना की।



हमने अनुवाद के लिए कई सेवाओं पर भी विचार किया: TranslateYourWorld.com (यह एक एकल एपीआई प्रदान करता है जो एक साथ कई अनुवाद प्रदाताओं को एकजुट करता है, जिसमें Google और Microsoft शामिल हैं, लेकिन कंपनी बहुत छोटी और अविश्वसनीय है, उनकी साइट इस लेखन के समय नहीं खुली थी), Google क्लाउड अनुवाद, Microsoft भाषण। नतीजतन, हमने एमएस स्पीच सेवा पर फैसला किया, क्योंकि इसमें एक अधिक सुविधाजनक एपीआई है, हम ऑडियो स्ट्रीम को वेबसैट के माध्यम से सेवा में स्ट्रीम कर सकते हैं और तुरंत अनुवाद के साथ ऑडियो रिकॉर्डिंग प्राप्त कर सकते हैं, साथ ही साथ अच्छी अनुवाद गुणवत्ता भी। इसके अलावा, Microsoft हमारी कंपनी का एक भागीदार है, जो उनके साथ सहयोग की सुविधा देता है।

एक अनुभवी, प्रतिभाशाली (मिशा, हैलो!) पूर्ण स्टैक डेवलपर ने मेरा साथ दिया, और अक्टूबर की शुरुआत में, हमारी छोटी टीम ने अगले चरण को सफलतापूर्वक बंद कर दिया और एक साधारण वेब एप्लिकेशन का प्रदर्शन किया, जिसने टोकोबॉक्स और एमएस स्पीच सेवाओं का उपयोग करते हुए, कई भाषाओं में अनुवाद के साथ वीडियो कॉल की व्यवस्था करना संभव बना दिया। रूसी और जर्मन सहित।

अगले चरण को 3 महीने के लिए डिज़ाइन किया गया था और इसका लक्ष्य एक रोबोट के साथ MVP था। इस स्तर पर, तीसरा और अंतिम डेवलपर हमारे साथ शामिल हो गया। निम्नलिखित प्रौद्योगिकी स्टैक को प्रोजेक्ट के लिए चुना गया था: बैकएंड - NodeJS + MongoDB, रोबोट के साथ इंटरैक्ट करने वाले iOS एप्लिकेशन के लिए ReactJS और स्विफ्ट पर वेब फ्रंटेंड। एक कहानी एक अलग कहानी के बारे में बताती है कि मैंने जर्मनी से सेंट पीटर्सबर्ग के लिए एक रोबोट कैसे निकाला और पहले जर्मन को समझाया, फिर हमारे सीमा शुल्क अधिकारियों को बताया कि यह किस तरह का उपकरण है।





पहले चरण में, जबकि हमारे पास कोई रोबोट नहीं था, iOS एप्लिकेशन ने हमें केवल अनुवाद के साथ वीडियो कॉल करने की अनुमति दी थी। जब रोबोट हमारे साथ था, तो दिसंबर की शुरुआत में, हमने पहले से ही डीबग किए गए कॉल कनेक्शन के माध्यम से रोबोट को नियंत्रण संकेतों को भेज दिया, और कीबोर्ड पर तीर दबाकर रोबोट को नियंत्रित करना संभव हो गया। इस प्रकार, जनवरी में हमने तीसरे चरण को बंद कर दिया और ग्राहक को इसके परिणाम दिखाए।

तपस्या चरण का परिणाम सभी महत्वपूर्ण बगों के सुधार के साथ एक डीबग प्रणाली थी। रोबोट को कॉल करते समय, ऑपरेटर माध्यमिक कैमरे के माध्यम से मुख्य कैमरा और फर्श के माध्यम से कमरे को देख सकता है (बाधाओं के आसपास जाने के लिए आसान बनाने के लिए)। ऑपरेटर का चेहरा रोबोट की स्क्रीन पर प्रदर्शित होता है। इस मामले में, वार्तालाप का 7 समर्थित भाषाओं में से किसी में भी अनुवाद किया जा सकता है, जिसमें रूसी, जर्मन और कुछ अन्य भाषाएँ शामिल हैं। अनुवाद के दौरान, पाठ की दो पंक्तियाँ चलती हैं: पहला मान्यता प्राप्त भाषण है और दूसरा अनुवाद कराओके प्रकाश के साथ किसी अन्य भाषा में, ताकि यह स्पष्ट हो कि वर्तमान में कनेक्शन के दूसरे छोर पर वाक्यांश का कौन सा भाग खेला जा रहा है।



और अंत में, अंतिम चरण में, हमने कॉल की संख्या और अवधि पर एक उपयोगकर्ता प्रबंधन प्रणाली, उपयोगकर्ता समूह, आंकड़े और रिपोर्ट को जोड़ा। इस प्रकार, एक साल बाद, हमने परियोजना को सफलतापूर्वक पूरा किया और इसे ग्राहक को हस्तांतरित कर दिया। 

परियोजना पर काम के दौरान, नए, दिलचस्प विचार उत्पन्न हुए। उदाहरण के लिए, ऑपरेटर पर आभासी वास्तविकता के चश्मे पहनें ताकि उसके पास पूर्ण विसर्जन प्रभाव हो और अपना सिर घुमाकर रोबोट को नियंत्रित करने की क्षमता हो। 

हमने ROS फ्रेमवर्क का उपयोग करके "सिखाने" के लिए एक सेल्फ-ड्राइविंग रोबोट बनाने के विषय पर एक अध्ययन किया, जो कि अपने आप ही बाधाओं से बचने के लिए और बिंदु A से बिंदु B तक पहुंचने के लिए या कार्यालय के प्रवेश द्वार पर मेहमानों से मिलने के लिए। सामान्य तौर पर, परियोजना काफी आकर्षक बन गई, और कौन जानता है कि भविष्य में हम अन्य दिलचस्प विशेषताओं को सिस्टम में क्या जोड़ेंगे।