🧓🏿 🤯 👇🏻 एमएल, वीआर और रोबोट (और बादल के एक बिट) 🕴️ 🕢 🙅🏼

सभी को नमस्कार!

मैं एक बहुत उबाऊ परियोजना के बारे में बात करना चाहता हूं जहां रोबोटिक्स, मशीन लर्निंग (और साथ में यह रोबोट लर्निंग है), आभासी वास्तविकता और थोड़ा क्लाउड टेक्नोलॉजी को इंटरसेप्ट किया गया है। और यह सब वास्तव में समझ में आता है। आखिरकार, रोबोट में स्थानांतरित करने के लिए वास्तव में सुविधाजनक है, यह दिखाएं कि क्या करना है, और फिर संग्रहीत डेटा का उपयोग करके एमएल सर्वर पर भार को प्रशिक्षित करना है।

कटौती के तहत, हम बताएंगे कि यह अब कैसे काम करता है, और प्रत्येक पहलुओं के बारे में कुछ विवरण विकसित किए जाने थे।

किस लिए

शुरुआत के लिए, यह थोड़ा खुलासा करने लायक है।

ऐसा लगता है कि डीप लर्निंग से लैस रोबोट हर जगह लोगों को अपनी नौकरी से बेदखल करने वाले हैं। वास्तव में, सब कुछ इतना सहज नहीं है। जहां क्रियाएं सख्ती से दोहराई जाती हैं, प्रक्रियाएं पहले से ही अच्छी तरह से स्वचालित हैं। यदि हम "स्मार्ट रोबोट" के बारे में बात कर रहे हैं, तो वह है, जहां अनुप्रयोग जहां कंप्यूटर दृष्टि और एल्गोरिदम पहले से ही पर्याप्त हैं। लेकिन कई बेहद जटिल कहानियां भी हैं। रोबोट मुश्किल से विभिन्न वस्तुओं का सामना कर सकते हैं, जिनसे निपटना पड़ता है, और पर्यावरण की विविधता।

प्रमुख बिंदु

कार्यान्वयन के संदर्भ में 3 प्रमुख बातें हैं जो अभी तक हर जगह नहीं पाई जाती हैं:

(data-driven learning). .. , , , . , .
()
- (Human-machine collaboration)

दूसरा इसलिए भी महत्वपूर्ण है क्योंकि अभी हम सीखने के दृष्टिकोण, एल्गोरिदम, उनके पीछे और कंप्यूटिंग टूल में बदलाव का अवलोकन करेंगे। धारणा और नियंत्रण एल्गोरिदम अधिक लचीला हो जाएगा। एक रोबोट के उन्नयन में पैसा खर्च होता है। और कैलकुलेटर का उपयोग अधिक कुशलता से किया जा सकता है अगर यह एक बार में कई रोबोटों की सेवा करेगा। इस अवधारणा को "क्लाउड रोबोटिक्स" कहा जाता है।

उत्तरार्द्ध के साथ, सब कुछ सरल है - व्यवसाय द्वारा आवश्यक सभी स्थितियों में 100% विश्वसनीयता और सटीकता प्रदान करने के लिए एआई को अभी पर्याप्त रूप से विकसित नहीं किया गया है। इसलिए, पर्यवेक्षक ऑपरेटर, जो कभी-कभी वार्ड रोबोट की मदद कर सकता है, को चोट नहीं पहुंचेगी।

योजना

एक सॉफ्टवेयर / नेटवर्क प्लेटफ़ॉर्म के बारे में, जो सभी वर्णित कार्यक्षमता प्रदान करता है

रोबोट सर्वर पर एक 3 डी वीडियो स्ट्रीम भेजता है और प्रतिक्रिया में नियंत्रण प्राप्त करता है।
: - , (, , , )
ML ( ), , , . — 3D , .
- , 3D , UI . — .

रोबोट के कामकाज के 2 तरीके हैं: स्वचालित और मैनुअल।

मैनुअल मोड में, रोबोट काम करता है अगर एमएल सेवा अभी तक प्रशिक्षित नहीं है। तब रोबोट स्वचालित रूप से मैनुअल से ऑपरेटर के अनुरोध पर चला जाता है (मैंने रोबोट को देखते समय अजीब व्यवहार देखा), या जब एमएल सेवाएं खुद एक विसंगति का पता लगाती हैं। विसंगतियों का पता लगाने के बारे में बाद में होगा - यह एक बहुत ही महत्वपूर्ण हिस्सा है, जिसके बिना प्रस्तावित दृष्टिकोण को लागू करना असंभव है।

नियंत्रण का विकास निम्नानुसार है:

रोबोट के लिए कार्य मानव-पठनीय शब्दों में बनता है और प्रदर्शन संकेतक वर्णित हैं।
ऑपरेटर वीआर में रोबोट से जुड़ता है और मौजूदा वर्कफ़्लो के भीतर कुछ समय के लिए कार्य करता है
प्राप्त डेटा पर एमएल भाग को प्रशिक्षित किया जाता है
, ML

3D

बहुत बार, रोबोट ROS (रोबोट ऑपरेटिंग सिस्टम) वातावरण का उपयोग करते हैं, जो वास्तव में "नोड्स" (नोड्स) के प्रबंधन के लिए एक रूपरेखा है, जिनमें से प्रत्येक रोबोट की कार्यक्षमता का हिस्सा प्रदान करता है। सामान्य तौर पर, यह प्रोग्रामिंग रोबोट का एक अपेक्षाकृत सुविधाजनक तरीका है, जो कुछ मायनों में अपने सार में वेब अनुप्रयोगों के माइक्रोसॉर्स्क वास्तुकला जैसा दिखता है। आरओएस का मुख्य लाभ उद्योग मानक है और रोबोट बनाने के लिए पहले से ही बड़ी संख्या में मॉड्यूल की आवश्यकता होती है। यहां तक कि औद्योगिक रोबोट हथियारों में एक ROS इंटरफ़ेस मॉड्यूल हो सकता है।

सबसे सरल बात हमारे सर्वर भाग और आरओएस के बीच एक पुल मॉडल बनाना है। उदाहरण के लिए, ऐसे। अब हमारी परियोजना आरओएस "नोड" के एक और अधिक विकसित संस्करण का उपयोग करती है, जो लॉग में रजिस्टर करती है और उस रजिस्टर के माइक्रोसिस्ट को प्रदूषित करती है जिससे एक विशेष रोबोट सर्वर को रिले कर सकता है। स्रोत कोड केवल ROS मॉड्यूल को स्थापित करने के लिए निर्देशों के उदाहरण के रूप में दिया गया है। सबसे पहले, जब आप इस ढांचे (आरओएस) में महारत हासिल करते हैं, तो सब कुछ बहुत ही अविश्वसनीय लगता है, लेकिन प्रलेखन बहुत अच्छा है, और कुछ हफ्तों के बाद, डेवलपर्स अपनी कार्यक्षमता का उपयोग बहुत आत्मविश्वास से करना शुरू करते हैं।

दिलचस्प से - 3 डी डेटा स्ट्रीम के संपीड़न की समस्या, जिसे सीधे रोबोट पर उत्पादित किया जाना चाहिए।

गहराई के नक्शे को संपीड़ित करना इतना आसान नहीं है। आरजीबी स्ट्रीम के संपीड़न की एक छोटी सी डिग्री के साथ भी, सीमाओं पर पिक्सल में या जब चलती वस्तुओं की अनुमति होती है, तो चमक से बहुत गंभीर स्थानीय विरूपण होता है। आंख लगभग इस पर ध्यान नहीं देती है, लेकिन जैसे ही गहराई के नक्शे में समान विकृतियों की अनुमति होती है, जब 3 डी का प्रतिपादन करना सब कुछ बहुत बुरा हो जाता है:

( लेख से )

किनारों पर ये दोष 3 डी दृश्य को बहुत खराब करते हैं, क्योंकि हवा में बहुत सारा कचरा है।

हमने छोटे हैक के साथ गहराई के नक्शे के लिए RGB और PNG के लिए फ्रेम-बाय-फ्रेम कम्प्रेशन - JPEG का उपयोग करना शुरू किया। यह विधि 25 एमबी पर 640x480 के 3 डी स्कैनर संकल्प के लिए 30 एफपीएस स्ट्रीम को संपीड़ित करती है। यदि एप्लिकेशन के लिए ट्रैफ़िक महत्वपूर्ण है, तो बेहतर संपीड़न भी प्रदान किया जा सकता है। वाणिज्यिक 3 डी स्ट्रीम कोडेक्स हैं जिनका उपयोग इस स्ट्रीम को संपीड़ित करने के लिए भी किया जा सकता है।

आभासी वास्तविकता नियंत्रण

जब हमने कैमरे और रोबोट के संदर्भ फ्रेम को कैलिब्रेट किया (और हमने पहले से ही अंशांकन के बारे में एक लेख लिखा था ), रोबोट हाथ को आभासी वास्तविकता में नियंत्रित किया जा सकता है। नियंत्रक 3 डी XYZ और अभिविन्यास में दोनों की स्थिति निर्धारित करता है। कुछ रोबरुक के लिए, केवल 3 निर्देशांक पर्याप्त होंगे, लेकिन बड़ी संख्या में स्वतंत्रता के साथ, नियंत्रक द्वारा निर्दिष्ट टूल का उन्मुखीकरण भी प्रसारित किया जाना चाहिए। इसके अलावा, रोबोट कमांड को निष्पादित करने के लिए नियंत्रकों पर पर्याप्त नियंत्रण हैं जैसे पंप को चालू / बंद करना, ग्रिपर को नियंत्रित करना, और अन्य।

प्रारंभ में, यह WebVR इंजन पर आधारित आभासी वास्तविकता ए-फ्रेम के लिए जावास्क्रिप्ट ढांचे का उपयोग करने का निर्णय लिया गया था। और पहले परिणाम (4-समन्वय हाथ के लिए लेख के अंत में वीडियो प्रदर्शन) ए-फ्रेम पर प्राप्त किए गए थे।

वास्तव में, यह पता चला कि WebVR (या ए-फ्रेम) कई कारणों से एक असफल समाधान था:

मुख्य रूप से फ़ायर्फ़ॉक्स के साथ संगतता , जबकि यह फ़ायर्फ़ॉक्स में था कि ए-फ्रेम फ्रेमवर्क ने बनावट संसाधनों (शेष ब्राउज़रों को कॉपी नहीं किया) जब तक कि मेमोरी खपत 16 जीबी तक नहीं पहुंची।
वीआर नियंत्रकों और हेलमेट के साथ सीमित बातचीत। इसलिए, उदाहरण के लिए, अतिरिक्त अंक जोड़ना संभव नहीं था, जिसके साथ आप स्थिति निर्धारित कर सकते हैं, उदाहरण के लिए, ऑपरेटर की कोहनी।
एप्लिकेशन को मल्टीथ्रेडिंग या कई प्रक्रियाओं की आवश्यकता होती है। एक थ्रेड / प्रक्रिया में, वीडियो फ्रेम को अनपैक करना आवश्यक था, दूसरे में - ड्रा। नतीजतन, सब कुछ श्रमिकों के माध्यम से आयोजित किया गया था, लेकिन अनपैकिंग समय 30 एमएस तक पहुंच गया, और वीआर में प्रतिपादन 90 एफपीएस की आवृत्ति पर किया जाना चाहिए।

इन सभी कमियों का नतीजा यह था कि फ्रेम के प्रतिपादन में आवंटित 10ms में समय नहीं था और वीआर में बहुत अप्रिय जुड़वाँ थे। शायद, सब कुछ दूर हो सकता है, लेकिन प्रत्येक ब्राउज़र की पहचान थोड़ी परेशान थी।

अब हमने OpenVR लाइब्रेरी के C #, OpenTK और C # पोर्ट के लिए जाने का फैसला किया। अभी भी एक विकल्प है - एकता। वे लिखते हैं कि एकता शुरुआती लोगों के लिए है ... लेकिन मुश्किल है।

आजादी पाने के लिए सबसे महत्वपूर्ण चीज जो जानी और जानी चाहिए:

VRTextureBounds_t bounds = new VRTextureBounds_t() { uMin = 0, vMin = 0, uMax = 1f, vMax = 1f }; 
OpenVR.Compositor.Submit(EVREye.Eye_Left, ref leftTexture, ref bounds, EVRSubmitFlags.Submit_Default);
OpenVR.Compositor.Submit(EVREye.Eye_Right, ref rightTexture, ref bounds, EVRSubmitFlags.Submit_Default);

(यह हेलमेट की बाईं और दाईं आंखों में दो बनावट भेजने के लिए कोड है)

अर्थात्। बनावट में OpenGL में आकर्षित करें कि विभिन्न आँखें क्या देखती हैं, और इसे चश्मे पर भेजें। जब वह बाईं आंख को लाल और दाईं ओर नीले रंग से भरता था, तो जॉय को कोई सीमा नहीं पता थी। बस कुछ दिनों और अब वेबस्केट के माध्यम से आने वाले गहराई और आरजीबी मानचित्र को जेएस के बजाय 30 के बजाय 10 ग्राम में बहुभुज मॉडल में स्थानांतरित कर दिया गया था। और फिर बस नियंत्रकों के निर्देशांक और बटन से पूछताछ करें, बटन के लिए घटना प्रणाली दर्ज करें, उपयोगकर्ता क्लिक की प्रक्रिया करें, UI के लिए राज्य मशीन दर्ज करें, और अब आप एस्प्रेसो से एक ग्लास ले सकते हैं:

अब Realsense D435 की गुणवत्ता कुछ हद तक निराशाजनक है, लेकिन जैसे ही हम Microsoft से कम से कम इस तरह के एक दिलचस्प 3 डी स्कैनर को स्थापित करेंगे , बिंदु बादल बहुत अधिक सटीक है।

सर्वर साइड

रिले सर्वर

मुख्य कार्यात्मक तत्व सर्वर रिले (बीच में सर्वर) है, जो 3 डी छवियों और सेंसर रीडिंग और रोबोट की स्थिति के साथ रोबोट से एक वीडियो स्ट्रीम प्राप्त करता है और इसे उपभोक्ताओं के बीच वितरित करता है। इनपुट डेटा - टीसीपी / आईपी पर आने वाले फ़्रेम और सेंसर रीडिंग पैक। उपभोक्ताओं के लिए वितरण वेब-सॉकेट्स (एक ब्राउज़र सहित कई उपभोक्ताओं के लिए स्ट्रीमिंग के लिए एक बहुत ही सुविधाजनक तंत्र) द्वारा किया जाता है।

इसके अलावा, स्टेजिंग सर्वर S3 क्लाउड स्टोरेज में डेटा स्ट्रीम को संग्रहीत करता है ताकि इसे बाद में प्रशिक्षण के लिए उपयोग किया जा सके।

प्रत्येक रिले सर्वर http एपीआई का समर्थन करता है, जो आपको इसकी वर्तमान स्थिति का पता लगाने की अनुमति देता है, जो वर्तमान कनेक्शन की निगरानी के लिए सुविधाजनक है।

रिले कार्य काफी मुश्किल है, दोनों कंप्यूटिंग के दृष्टिकोण से और यातायात के दृष्टिकोण से। इसलिए, यहां हमने तर्क का पालन किया कि रिले सर्वर विभिन्न प्रकार के क्लाउड सर्वर पर तैनात हैं। और इसका मतलब है कि आपको इस बात पर नज़र रखने की ज़रूरत है कि कौन कनेक्ट हो रहा है (खासकर अगर रोबोट और ऑपरेटर अलग-अलग क्षेत्रों में हैं)।

रजिस्टर

सबसे विश्वसनीय अब प्रत्येक रोबोट के लिए सेट करना मुश्किल होगा जो इसे कनेक्ट करने वाले सर्वर (अतिरेक से चोट नहीं पहुंचेगी)। एमएल प्रबंधन सेवा रोबोट के साथ जुड़ी हुई है, यह रिले सर्वर को यह निर्धारित करने के लिए सर्वेक्षण करती है कि कौन सा रोबोट जुड़ा हुआ है और संबंधित एक से जोड़ता है, यदि, निश्चित रूप से, इसके लिए इसके पास पर्याप्त अधिकार हैं। ऑपरेटर का आवेदन समान तरीके से काम करता है।

सबसे सुखद! इस तथ्य के कारण कि रोबोट का प्रशिक्षण एक सेवा है, सेवा केवल हमारे अंदर दिखाई देती है। तो, इसका फ्रंट-एंड हमारे लिए जितना संभव हो उतना सुविधाजनक हो सकता है! उन। यह ब्राउज़र में एक कंसोल है (बड़ी सरलता के साथ एक टर्मिनलजेएस लाइब्रेरी है , जिसे संशोधित करना बहुत आसान है यदि आप अतिरिक्त कार्य चाहते हैं, जैसे कि टीएबी ऑटो-पूरा या कॉलिंग इतिहास) और ऐसा दिखता है:

यह, ज़ाहिर है, चर्चा के लिए एक अलग विषय है, कमांड लाइन क्यों। बहुत आरामदायक। वैसे, इस तरह के एक दृश्यपटल की इकाई परीक्षण करना विशेष रूप से सुविधाजनक है।

Http API के अलावा, यह सेवा उपयोगकर्ताओं के लिए अस्थायी टोकन, लॉगिन / लॉगआउट ऑपरेटर, प्रशासक और रोबोट, सत्र समर्थन, रिले सर्वर और रोबोट के बीच ट्रैफ़िक एन्क्रिप्शन के लिए सत्र एन्क्रिप्शन कुंजी के साथ उपयोगकर्ताओं को पंजीकृत करने के लिए एक तंत्र को लागू करती है।

यह सब पायथन में फ्लास्क के साथ किया जाता है - एमएल डेवलपर्स (यानी हमें) के लिए एक बहुत ही करीबी स्टैक। हां, इसके अलावा, माइक्रोसेवर्स के लिए मौजूदा CI / CD इंफ्रास्ट्रक्चर फ्लास्क के साथ अनुकूल शर्तों पर है।

देरी की समस्या

यदि हम वास्तविक समय में मैनिपुलेटर्स को नियंत्रित करना चाहते हैं, तो न्यूनतम विलंब अत्यंत उपयोगी है। यदि देरी बहुत बड़ी हो जाती है (300 एमएस से अधिक), तो आभासी हेलमेट में छवि के आधार पर जोड़तोड़ को नियंत्रित करना बहुत मुश्किल है। हमारे समाधान में, फ्रेम-बाय-फ्रेम संपीड़न (यानी, कोई बफरिंग नहीं है) और GStreamer जैसे मानक उपकरणों का उपयोग नहीं करने के कारण, देरी, यहां तक कि मध्यवर्ती सर्वर को ध्यान में रखते हुए, लगभग 150-200 एमएस है। इनके नेटवर्क पर प्रसारण का समय लगभग 80ms है। बाकी देरी Realsense D435 कैमरा और सीमित कैप्चर आवृत्ति के कारण होती है।

बेशक, यह एक पूर्ण-ऊंचाई की समस्या है जो "ट्रैकिंग" मोड में उत्पन्न होती है, जब इसकी वास्तविकता में जोड़तोड़ लगातार आभासी वास्तविकता में ऑपरेटर के नियंत्रक का अनुसरण करता है। किसी दिए गए बिंदु XYZ में जाने के मोड में, देरी ऑपरेटर के लिए कोई समस्या पैदा नहीं करती है।

एमएल हिस्सा

2 प्रकार की सेवाएं हैं: प्रबंधन और प्रशिक्षण।

प्रशिक्षण सेवा S3 संग्रहण में संग्रहीत डेटा एकत्र करती है और मॉडल भार का पुन: प्रशिक्षण शुरू करती है। प्रशिक्षण के अंत में, प्रबंधन सेवा को भार भेजा जाता है।

ऑपरेटर के आवेदन से इनपुट और आउटपुट डेटा के मामले में प्रबंधन सेवा अलग नहीं है। इसी तरह, इनपुट RGBD (RGB + Depth) स्ट्रीम, सेंसर रीडिंग और रोबोट स्टेटस, आउटपुट - कंट्रोल कमांड्स। इस पहचान के कारण, "डेटा-संचालित प्रशिक्षण" की अवधारणा के ढांचे में प्रशिक्षित करना संभव है।

रोबोट की स्थिति (और सेंसर रीडिंग) एमएल के लिए एक महत्वपूर्ण कहानी है। यह संदर्भ को परिभाषित करता है। उदाहरण के लिए, एक रोबोट में एक राज्य मशीन होगी जो इसके संचालन की विशेषता है, जो काफी हद तक यह निर्धारित करती है कि किस तरह का नियंत्रण आवश्यक है। ये 2 मान प्रत्येक फ्रेम के साथ प्रेषित होते हैं: ऑपरेटिंग मोड और रोबोट के राज्य वेक्टर।

और प्रशिक्षण के बारे में थोड़ा:

लेख के अंत में एक 3 डी दृश्य पर एक वस्तु (एक बच्चों का घन) खोजने का कार्य था। यह पिक एंड प्लेस एप्लिकेशन के लिए एक बुनियादी काम है।

प्रशिक्षण मैन्युअल नियंत्रण के साथ प्राप्त "पहले और बाद में" फ्रेम और लक्ष्य पदनाम की एक जोड़ी पर आधारित था:

दो गहराई के नक्शे की उपस्थिति के कारण, फ्रेम में स्थानांतरित वस्तु के मुखौटा की गणना करना आसान था:

इसके अलावा, xyz को कैमरे के विमान पर प्रक्षेपित किया जाता है और आप कैप्चर की गई वस्तु के पड़ोस का चयन कर सकते हैं:

वास्तव में इस पड़ोस के साथ और काम करेंगे।

पहले हम घन विभाजन के लिए एक दृढ़ नेटवर्क Unet को प्रशिक्षित करके XY प्राप्त करते हैं।

फिर, हमें गहराई निर्धारित करने और समझने की आवश्यकता है कि क्या छवि हमारे सामने असामान्य है। यह आरजीबी में एक ऑटो एनकोडर और एक सशर्त ऑटो एनकोडर का गहराई से उपयोग करके किया जाता है।

प्रशिक्षण ऑटो एनकोडर के लिए मॉडल वास्तुकला:

परिणामस्वरूप, काम का तर्क:

"हीट मैप" पर अधिकतम खोजें (थ्रेशोल्ड से अधिक वस्तु के कोणीय u = x / zv = y / z निर्देशांक) का निर्धारण करें
तब ऑटो एनकोडर गहराई में सभी परिकल्पनाओं के लिए पाया बिंदु के पड़ोस को फिर से संगठित करता है (दिए गए कदम के साथ min_depth से max_depth तक) और उस गहराई का चयन करता है जिस पर पुनर्निर्माण और इनपुट के बीच विसंगति न्यूनतम है
कोणीय निर्देशांक u, v और गहराई होने पर, आप निर्देशांक x, y, z प्राप्त कर सकते हैं

सही ढंग से परिभाषित गहराई के साथ घन गहराई के मानचित्र के ऑटो-एनकोडर के पुनर्निर्माण का एक उदाहरण:

भाग में, एक गहराई खोज विधि का विचार ऑटो-एनकोडर के सेट के बारे में एक लेख पर आधारित है ।

यह दृष्टिकोण विभिन्न आकृतियों की वस्तुओं के लिए अच्छी तरह से काम करता है।

लेकिन, सामान्य तौर पर, RGBD छवि से XYZ ऑब्जेक्ट खोजने के लिए कई अलग-अलग दृष्टिकोण हैं। बेशक, सबसे सटीक विधि चुनने के लिए व्यवहार में और बड़ी मात्रा में डेटा पर यह आवश्यक है।

विसंगतियों का पता लगाने का कार्य भी था, इसके लिए हमें उपलब्ध मास्क से सीखने के लिए एक विभाजन संबंधी नेटवर्क की आवश्यकता है। फिर, इस मुखौटा के अनुसार, आप गहराई के नक्शे और आरजीबी में ऑटो-एनकोडर पुनर्निर्माण की सटीकता का मूल्यांकन कर सकते हैं। इस विसंगति के कारण, एक विसंगति की उपस्थिति पर निर्णय ले सकता है।

इस पद्धति के कारण, फ्रेम में पहले की अनदेखी वस्तुओं की उपस्थिति का पता लगाना संभव है, जो कि प्राथमिक खोज एल्गोरिथ्म द्वारा अभी भी पता लगाए गए हैं।

प्रदर्शन

पूरे बनाए गए सॉफ़्टवेयर प्लेटफ़ॉर्म की जाँच और डीबगिंग स्टैंड पर की गई:

3D कैमरा Realsense D435
4 डोबोट जादूगर का समन्वय करें
वीआर हेलमेट एचटीसी विवे
यैंडेक्स क्लाउड पर सर्वर (AWS क्लाउड की तुलना में विलंबता कम करता है)

वीडियो में, हम सिखाते हैं कि वीआर पिक एंड प्लेस में एक कार्य करके 3 डी दृश्य में एक क्यूब कैसे खोजना है। एक क्यूब पर प्रशिक्षण के लिए लगभग 50 उदाहरण पर्याप्त थे। फिर ऑब्जेक्ट बदलता है और लगभग 30 और उदाहरण दिखाए जाते हैं। फिर से प्रयास करने के बाद, रोबोट एक नई वस्तु पा सकता है।

पूरी प्रक्रिया में लगभग 15 मिनट लगे, जिनमें से लगभग आधा प्रशिक्षण मॉडल वजन था।

और इस वीडियो में, वीआर में यूएमआई को नियंत्रित करता है। वस्तुओं में हेरफेर करने का तरीका जानने के लिए, आपको उपकरण के अभिविन्यास और स्थान का मूल्यांकन करने की आवश्यकता है। गणित एक समान सिद्धांत पर बनाया गया है, लेकिन अब परीक्षण और विकास के स्तर पर है।

निष्कर्ष

बिग डेटा और डीप लर्निंग सभी नहीं है।

हम सीखने के दृष्टिकोण को बदल रहे हैं, इस दिशा में आगे बढ़ रहे हैं कि लोग नई चीजों को कैसे सीखते हैं - जो वे देखते हैं उसे दोहराते हुए।

गणितीय उपकरण "हुड के नीचे", जिसे हम वास्तविक अनुप्रयोगों पर विकसित करेंगे, जिसका उद्देश्य संदर्भ-संवेदनशील व्याख्या और नियंत्रण की समस्या है। यहाँ संदर्भ प्राकृतिक जानकारी रोबोट सेंसर या वर्तमान प्रक्रिया के बारे में बाहरी जानकारी से उपलब्ध है।

और, हम जितनी अधिक तकनीकी प्रक्रियाओं में महारत हासिल करते हैं, "बादलों में मस्तिष्क" की संरचना उतनी ही विकसित होगी, और इसके अलग-अलग हिस्सों को प्रशिक्षित किया जाएगा।

इस दृष्टिकोण की ताकत:

चर वस्तुओं में हेरफेर करने के तरीके सीखने की संभावना
बदलते परिवेश में सीखना (उदा। मोबाइल रोबोट)
खराब संरचित कार्य
बाजार के लिए कम समय; आप ऑपरेटरों का उपयोग करके मैन्युअल मोड में भी लक्ष्य का प्रदर्शन कर सकते हैं

सीमा:

विश्वसनीय और अच्छे इंटरनेट की जरूरत है
उच्च सटीकता प्राप्त करने के लिए अतिरिक्त तरीकों की आवश्यकता होती है, उदाहरण के लिए, मैनिपुलेटर में ही कैमरे

वर्तमान में हम विभिन्न वस्तुओं के मानक पिक एंड प्लेस कार्य के लिए अपने दृष्टिकोण को लागू करने पर काम कर रहे हैं। लेकिन यह हमें (स्वाभाविक रूप से!) लगता है कि वह अधिक सक्षम है। किसी भी विचार कहाँ और अपने हाथ की कोशिश करने के लिए?

ध्यान देने के लिए धन्यवाद!

एमएल, वीआर और रोबोट (और बादल के एक बिट)