🤷🏽 😔 🖐️ सेल्फ ड्राइविंग GAZ66 मॉन्स्टर ट्रक 1/16 🥢 🤚 🙋🏽

हेब्र, नमस्कार!

मैं आपको बताना चाहता हूं कि मैंने कैसे किया और एक स्व-प्रबंधन मशीन बनाई :)

मैं तुरंत बता सकता हूं कि सर्किट और बैश कमांडों को कैसे संलग्न करना है, लेकिन यह बहुत उबाऊ होगा। मैं आपको एक दिलचस्प (उम्मीद करता हूं) कहानी पेश करता हूं कि मैं व्यक्तिगत रूप से इस तरह से गया और मैं कहां आया।

उन जगहों पर जहां तस्वीरों के साथ तस्वीरें लेने के लिए कुछ था। सॉफ्टवेयर के बारे में कहां - सबसे अधिक संभावना है कि फोटो के बिना।

यह वास्तव में एक कथा प्रारूप में एक कहानी होगी, जैसा कि मैं आपको एक कप कॉफी पर बताऊंगा। यह बैश कमांड, पाइथन स्क्रिप्ट और उस सब के बारे में नहीं है।

आइए तस्वीरों और वीडियो के साथ शुरू करें कि क्या हुआ, और फिर कट के तहत पूरी कहानी।

इतिहास इस परिदृश्य का अनुसरण करेगा।

मैं यह क्यों चाहता था
सेल्फ-ड्राइविंग मशीन कैसे काम करती है (शीर्ष दृश्य)
आयु 1 - बच्चों की दुनिया से जेलेंडवेगन + रास्पबेरी पाई जीरो डब्ल्यू + कैमरा
आयु 2 - GAZ66 + रास्पबेरीपाइ के लिए NVIDIA जेटसन नैनो + कैमरा
आयु 3 - रेमो हॉबी SMAX
आयु 4 - कनेक्शन SMAX और GAZ66
आयु 5 - एक राक्षस ट्रक पर बढ़ते घटक
आयु 6 - गधा कार और आसपास स्थापित करना
आयु 7 - ट्रैक विधानसभा, यात्राएं
उम्र 8 - जॉयस्टिक के साथ यात्रा करना
आयु 9 - न्यूरॉन प्रशिक्षण
उम्र 10 - सब कुछ काम करता है, आखिरकार!
आगे क्या होगा?
युद्ध की चेतावनी
समुदाय
मेरे टाइपराइटर के एसडी कार्ड की छवि

कॉफी डालो, हम छोड़ रहे हैं!

मैं यह क्यों चाहता था

यह सब इस तथ्य से शुरू हुआ कि मैं इस तथ्य से निराश था कि रूस में एक बड़ी आईटी कंपनी में वे बहुत अच्छे ड्रोन बनाते हैं, यह अविश्वसनीय रूप से अच्छा है, लेकिन मैं काम से बाहर हूं :)

नहीं, ठीक है, यह वास्तव में बहुत अच्छा है - सेल्फ-ड्राइविंग कारें) एक उत्कृष्ट मिश्र धातु यांत्रिकी और एल्गोरिदम :)

निराशा तब तक जारी रही जब तक मैंने अपने सिर में अपने बारे में अलग-अलग तथ्यों को जोड़ दिया, अर्थात्:

मैं अजगर में लिख सकता हूं
मैं (लगभग) समझता हूं कि मशीन लर्निंग कैसे काम करती है
मैं कंसोल पर लिनक्स के साथ काम करना जानता हूं
मैंने अपना बचपन एक सोल्डरिंग आयरन के साथ बिताया
मेरे पास diy घटकों (रास्पबेरी पाई, अरडिनो, सेंसर, आदि) के साथ एक पूरा बॉक्स है।

जब मेरे सिर में सब कुछ काम करता था, तो मैंने फैसला किया - सेल्फ ड्राइविंग कार (sdc)!

शुरू करने के लिए, मैंने फैसला किया, यह पता लगाना सार्थक है कि sdc कैसे काम करता है, और यह अगला भाग होगा।

सेल्फ-ड्राइविंग मशीन कैसे काम करती है (शीर्ष दृश्य)

कार को खुद से जाने के लिए चार घटकों की आवश्यकता होती है - एक गाड़ी, सेंसर, एक कंप्यूटर, एक एल्गोरिथ्म।

चलिए इसका पता लगाते हैं

ट्राली

वास्तव में क्या चलाएगी । पहिए, मोटर, बैटरी जो यह सब करती है।

कारों के दो सशर्त समूह हैं जिन्हें मैंने अपने नाम पर रखा है - बच्चों की दुनिया से कारें, और शौक के लिए कारें।

बच्चों की दुनिया से कारों के साथ छेड़खानी करने की कोशिश भी मत करो, मैंने कोशिश की, यह एक विफलता है। उनका ऋण यह है कि उनके पास प्रतिक्रिया के बिना कमजोर मोटर्स हैं। इसका मतलब यह है कि आप किसी भी घर के कालीन को रोकने में सक्षम होने की संभावना रखते हैं, और आप दिए गए सटीकता के साथ नहीं बदल सकते।

शौक की दुनिया की कारें वे हैं जो आपको चाहिए। उनके पास शक्तिशाली इंजन, अच्छी बैटरी, मोर्चे के लिए फ्रंट-व्हील सर्वो हैं। इसे एक प्रवेश सीमा पर विचार करें। सबसे सस्ती और सामान्य चीज जो मुझे मिल सकती थी, वह थी रेमो हॉबी SMAX।

सेंसर

यह अपने आस-पास की दुनिया के बारे में कुछ जानकारी एकत्र करता है और इसे निर्णय लेने के लिए कंप्यूटर में स्थानांतरित करता है।

मूल रूप से, SDC के लिए एक सज्जन सेट है:

कैमरा। एसडीसी की मूल बातें की नींव। वह अपने सामने अंतरिक्ष का एक टुकड़ा देखता है, छवि को एक कंप्यूटर पर स्थानांतरित करता है जो पहचानता है कि क्या हो रहा है, और क्या करना है इसका फैसला करता है। ऐसा लगता है कि मैंने बिना कैमरे के एसडीसी कार्यान्वयन नहीं देखा है।
IMU सेंसर। कुल्हाड़ी के साथ त्वरण और झुकाव के कोण को दिखाने वाला टुकड़ा। यह समझने में मदद करता है कि हम वास्तव में कहां जा रहे हैं, और हमारा स्थान शुरुआती बिंदु के सापेक्ष कैसे बदल गया है। लगभग सभी कापियों में उपयोग किया जाता है।
. , , , . , SDC, , . , 75$, SDC Velodyne 4K$. , 3D , 2D.
GPS. , , , SDC .
. — , . 3D .

कंप्यूटर

सेंसर से मूल्यों को क्या प्राप्त करता है, स्थिति का विश्लेषण करता है, हम नियंत्रण आदेशों को कार्ट में स्थानांतरित करते हैं।

एम्बेडेड इलेक्ट्रॉनिक्स के लिए कंप्यूटर की दुनिया में, ऊर्जा-कुशल एआरएम प्रोसेसर (जैसे आपके फोन में), और उन पर आधारित एकल-बोर्ड कंप्यूटर, गेंद पर शासन करते हैं।

आज दो सबसे लोकप्रिय एकल-बोर्ड विकल्प हैं - रास्पबेरीपी और एनवीआईडीआईए जेटसन।
रास्पबेरीपी की कम कीमत, कई प्रकार की परियोजनाएं, एक बड़ा समुदाय है।

एनवीआईडीआईए के पास उच्च मूल्य, कम परियोजनाएं हैं, लेकिन मशीन सीखने के कार्यों में अधिक उत्पादकता है। इसमें 128 CUDA कोर (जैसे आपके बड़े NVIDIA ग्राफिक्स कार्ड) में जहाज पर है, जिनका उपयोग मशीन लर्निंग एल्गोरिदम को तेज करने के लिए किया जाता है।

मेरे संग्रह में रास्पबेरी पाई (ZeroW, 3, 4) और NVIDIA जेटसन नैनो के तीन टुकड़े हैं। मैंने मशीन को इकट्ठा करने का फैसला किया, ज़ाहिर है, जेटसन पर।

एल्गोरिथ्म

जो सेंसर रीडिंग के आधार पर क्रियाओं पर निर्णय लेता है। आमतौर पर, कंप्यूटर दृष्टि और तंत्रिका नेटवर्क का एक संयोजन इसके लिए उपयोग किया जाता है। सबसे बुनियादी संस्करण में, आप अपने टाइपराइटर पर कुछ चिह्नों के साथ ड्राइव करते हैं, गैस / ब्रेक / टर्न ट्रैकिंग के साथ ऐसी यात्राओं के वीडियो रिकॉर्ड करते हैं, और फिर इस तंत्रिका नेटवर्क पर प्रशिक्षित करते हैं ताकि यह आपको कैमरे से चित्रों पर इंजन संकेतों की निर्भरता का पता लगाए। काफी बस, यह मार्कअप को पहचानने, और इसमें रहने की कोशिश करने का काम है।

यदि आप ताज़ा करना चाहते हैं कि तंत्रिका नेटवर्क कैसे काम करता है, तो मेरा सुझाव है कि आप इस वीडियो को देखें:

यहां मैंने सबसे सरल विकल्प का वर्णन किया, जहां केवल एक कैमरा और मार्किंग की सवारी है। लेकिन अधिक सेंसर और काम के एक अलग तर्क के साथ विकल्प हैं - यहां इसके बारे में एक अलग पोस्ट होगा।

यदि बहुत उच्च स्तर है, तो यह बात है

यह केवल बनी हुई है:

ट्रॉली इकट्ठा
लटका सेंसर
कंप्यूटर कनेक्ट करें
मार्कअप ड्रा करें
उस पर सवारी करें
एक तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए
जाना

अब जब हमें यह पता चल गया है कि सेल्फ ड्राइविंग कार क्या है, तो आइए जाने कि मैं किस युग में लागू हुआ था।

आयु 1 - बच्चों की दुनिया से जेलेंडवेगन + रास्पबेरी पाई जीरो डब्ल्यू + कैमरा

हां, मेरा पहला दृष्टिकोण सिर्फ यही था। यह इसलिए हुआ क्योंकि मेरे घर के पास एक बच्चों की दुनिया थी जो मैं गया था, जिसमें मुझे गेलिक पसंद था, और मैंने इसे खरीदा।

ठीक है, मैंने सोचा, एक हेलिक्स है, अब मुझे एक कंप्यूटर और एक सेंसर की आवश्यकता है। सोचा - किया हुआ। आरपी जीरो डब्ल्यू और उसके लिए एक कैमरा का आदेश दिया। जब मैं कंप्यूटर और कैमरे की प्रतीक्षा कर रहा था, मैं अंदर गया और इस व्यवसाय के लिए एक पावर बैंक खरीदा।
तो, सब कुछ जगह में है, यह इकट्ठा करने का समय है। मुझे ऐसी परियोजना मिली , मैंने इसका पालन करने का फैसला किया।
गेलिक ने असहमति जताई, अपने मूल मस्तिष्क को बाहर निकाला, उन्हें इंजन नियंत्रक को स्थानांतरित कर दिया, उन्होंने बदले में, उन्हें आरपीआई में स्थानांतरित कर दिया, एक कैमरा को इससे जोड़ा, एक पावर बैंक के साथ पूरी चीज़ को संचालित किया, जो संतुष्ट था।

स्व-सरकार के लिए आगे बढ़ने से पहले, मैंने मनोरंजन के लिए सांत्वना के माध्यम से सवारी करने का फैसला किया, एक बिल्ली का पीछा करते हुए, कैमरे से मेरे लैपटॉप पर छवि को प्रसारित किया।

यह तो था कि विफलताओं के एक जोड़े ने मुझे इंतजार किया।

सबसे पहले, रास्पबेरी पाई जीरो डब्ल्यू प्रदर्शन के मामले में बहुत कमजोर है।

दूसरा - बच्चों की दुनिया से जेलिक की निष्क्रियता लगभग कोई भी नहीं है, इसे लगभग किसी भी न्यूनतम बाधा से रोक दिया गया था।

पहले से ही, यह स्पष्ट हो गया कि परियोजना अभी भी जन्मजात थी, लेकिन रुचि के लिए, मैंने सीधे रास्पबेरी पाई ज़ीरो के लिए कंप्यूटर विज़न (ओपनसीवी) को इकट्ठा करने की कोशिश की। यह चुटकुलों के बिना लिया गया, एक दिन से अधिक, और इस एसडीसी कार्यान्वयन के ताबूत के ढक्कन में आखिरी कील थी।
यह स्पष्ट हो गया कि अधिक से अधिक क्रॉस-कंट्री क्षमता के लिए आपको अधिक प्रदर्शन के लिए कंप्यूटर और कार्ट दोनों को बदलना होगा।

यह बहुत मज़ेदार निकला:

2 — 66 + NVIDIA Jetson Nano + RaspberryPi

तो, इस बिंदु पर यह स्पष्ट हो गया कि आपको शरीर में सभी घटकों को लगाने के लिए कुछ और निष्क्रिय कार, और अधिमानतः एक ट्रक की आवश्यकता है। माल के चयन के लिए एक सेवा का अध्ययन करने के बाद, यह स्पष्ट हो गया कि हमारे मूल GAZ66 का मॉडल मुझे सूट करता है, यह लोगों के बीच एक शिशिगा भी है। ठीक है, मैंने इसे आदेश दिया, रुको, यह कंप्यूटर के बारे में सोचने का समय है। इस समय तक, NVIDIA अपने जेटसन नैनो की बिक्री की शुरुआत की तैयारी कर रहा था, और मैंने बिक्री के पहले दिन एक आदेश दिया।

एक ट्रक आ गया, मैं जेटसन के लिए इंतजार करना जारी रखा, अधीरता से घर के चारों ओर एक शिशिगा की सवारी की, बिल्ली के बच्चे को लुढ़काया, जिसे ऊपर उल्लिखित बिल्ली ने जन्म दिया। यह कहने के लिए नहीं कि बिल्ली के बच्चे को पसंद आया - रोकना पड़ा।

इस बीच, जेटसन अभी भी गाड़ी चला रहा था, और मैंने चीन से एक वैक्यूम लिडर का आदेश दिया - मुझे नहीं पता था कि इसे विशेष रूप से कैसे उपयोग किया जाए, लेकिन मैं समझ गया कि मैं चाहता हूं।

एक दिन एक व्यापार कूरियर कार्यालय के प्रवेश द्वार पर दिखाई दिया, मुझे एनवीआईडीआईए एकल-भुगतानकर्ता के एक बड़े बॉक्स के रूप में सौंप दिया, मैंने इनवॉइस पर हस्ताक्षर किए, और एक डेवलपर उत्साही की तरह महसूस किया - वाह, बिक्री की शुरुआत में खरीदा गया उपकरण मेरे पास आया।

यह इकट्ठा करने का समय है! लेकिन पहले, आपको बाहर करने की ज़रूरत है, योग्य। Shishigu को खारिज कर दिया, उसके मूल दिमाग को निकाल दिया, तंत्र को चिकनाई कर दिया, पहले से ही एक कंप्यूटर के आधार पर इकट्ठा करना शुरू कर दिया।

मैंने कैमरा, इंजन कंट्रोलर, रोटरी इंजन, गैस / ब्रेक इंजन को जोड़ा, परीक्षण के लिए पायथन स्क्रिप्ट शुरू की - फिर से एक बमर!

इस बार, कहानी यह है: एक शिगीजी मोड़ के लिए एक पारंपरिक मोटर का उपयोग करता है, न कि सर्वो ड्राइव। इसलिए, उसके पास कोई प्रतिक्रिया नहीं है। इसलिए, मैं उन्हें सुनिश्चित करने के लिए नियंत्रित नहीं कर सकता, जिसका अर्थ है कि यह एसडीसी के लिए उपयुक्त नहीं है।

ठीक है, फिर से, आपको किसी तरह इसे हल करने की आवश्यकता है, कुछ करें। हम अगले युग में जाते हैं।

आयु 3 - रेमो हॉबी SMAX

चूंकि इस समय यह स्पष्ट था कि मशीन को न केवल पास करने योग्य, बल्कि घटकों में न्यूनतम रूप से अच्छा होना चाहिए, यह पसंद उन लोगों के लिए दुकानों पर गिर गई जिनके पास आरसी है, यह एक शौक है।
आगे की हलचल के बिना, मैं एक ऐसे स्टोर पर पहुंचा, और बिना छुपाये मुझे बताया कि मैं क्या कर रहा था और मुझे किस तरह की मशीन की जरूरत थी। विक्रेता, दयालु बनें, मुझे बताया कि कौन सी मशीन मेरी न्यूनतम आवश्यकताओं को पूरा करती है, और यह एक रेमो हॉबी SMAX थी। मैनें यह खरीदा।

मैं घर आया, एक शिगिगु मिला, उससे सब कुछ छीन लिया, एसएमएएक्स से जुड़ने के लिए बैठ गया। और आपको क्या लगता है? यह सही है - फिर से विफलता!

मूल रूप से, आरसी कारों को डिज़ाइन किया जाता है ताकि इंजन इंजन कंट्रोलर से कनेक्ट हो, और वह बदले में, रेडियो मॉड्यूल से कनेक्ट हो जो रिमोट कंट्रोल के साथ संचार करता है। और यह SMAX था जिसे इसलिए डिज़ाइन किया गया था कि वहां इंजन कंट्रोलर और रेडियो मॉड्यूल को मिला दिया गया था - मुझे सचमुच में रेडियो मॉड्यूल के बजाय इंजन नियंत्रक से जुड़ने का अवसर नहीं मिला।

ठीक है, आपको फिर से कुछ करना होगा। मैं आरसी कारों की साइट पर लौटता हूं, मैं घटकों में चढ़ता हूं। वहाँ चारों ओर घूमते हुए, और चीयर्स, मुझे एक मोटर नियंत्रक मिलता है जिसमें रेडियो मॉड्यूल के लिए एक अलग तार होता है।

मैं आदेश देता हूं, लाओ, सब कुछ इकट्ठा करो - यह काम करता है, लेकिन केवल बदल जाता है। लेकिन कोई गैस और रिवर्स नहीं है! क्यों, यह लानत है, मुझे लगता है, लेकिन मैं इसे उठाता रहता हूं।

इस बार यह काम नहीं किया है कि SMAX इंजन को जगाने के लिए, कंसोल को रेडियो मॉड्यूल के माध्यम से एक निश्चित मूल्य (360) भेजना होगा। लेकिन मुझे इसके बारे में पता नहीं था, और ब्रेक गैस के लिए सीधे मूल्यों में प्रवेश किया। और इंजन ने प्रतिक्रिया नहीं दी, तर्क से आगे बढ़ना कि किसी ने उसे जागने के लिए नहीं कहा।

कुछ बिंदु पर, मैं एक पंक्ति में शाब्दिक रूप से सब कुछ के माध्यम से क्रमबद्ध करने के लिए बैठ गया, यह उम्मीद करते हुए कि यह कम से कम कुछ पर प्रतिक्रिया करेगा।

सबसे पहले मैं 100 से अधिक चला गया - अतीत। फिर 50 से। और जब मैं 10 की खोज पर पहुंचा, तो मैंने 360 में एक स्वागत योग्य चीख़ सुनी - चीयर्स! काम करता है!

मैंने कंसोल से गैस / रिवर्स / लेफ्ट / राइट का परीक्षण किया, सब कुछ काम करता है। यह आग है, यहाँ मैं एक प्रोग्रामर हूँ =)

ऐसा लगता है कि यह इकट्ठा करने का समय है, लेकिन एक समस्या है - घटकों को लगाने के लिए बिल्कुल कहीं नहीं है। आरसी कारों को डिज़ाइन किया जाता है ताकि उनका टॉप बहुत ही सशर्त चीज़ हो। सबसे पहले, शीर्ष में बहुत पतले प्लास्टिक होते हैं, और दूसरी बात, यह एक जीप है, और सब कुछ डालने के लिए कहीं नहीं है।
इस पल में, मैंने खोज करने का फैसला किया, और वास्तव में, दूसरे कैसे करते हैं।

मुझे गधा कार परियोजना मिली, जिसमें आपके एसडीसी को इकट्ठा करने के लिए टर्नकी आधार पर सब कुछ है - हार्डवेयर उदाहरण और सॉफ्टवेयर फ्रेमवर्क। यह अच्छा लगेगा, इसे ले लो और इसका उपयोग करें, लेकिन कुछ बारीकियां हैं:

वे 3 डी प्रिंटर पर कार के शीर्ष को प्रिंट करते हैं, और फिर यह कार को बहुत दूर से याद दिलाता है। बदसूरत, संक्षेप में, सौंदर्यवादी मनभावन नहीं
उनके 3D मॉडल उन मशीनों के साथ संगत हैं जिन्हें हम बेचते नहीं हैं।

ठीक है, गधा कार याद है, तो हम उनके सॉफ्टवेयर ढांचे को ले लेंगे, लेकिन अब हमें हार्डवेयर के बारे में सोचने की जरूरत है।

एक दिन, मेरे अपार्टमेंट में अपना सिर घुमाकर, मैंने असंतुष्ट शीशगू को, एसएमएएक्स पर ऊपरी भाग के बिना देखा, और सोचा - हम्मम, और वे एक ही पैमाने (1/16) के लगते हैं। उन्होंने एक शिशिगा लिया, एक एसएमएएक्स लिया, बस एक-एक करके दूसरे पर डाल दिया - और वास्तव में, यह करता है! और यह अच्छा लग रहा है! ठीक है, मुझे यह करना है! हम अगले युग में जाते हैं।

आयु 4 - कनेक्शन SMAX और GAZ66

इसलिए, इस युग की शुरुआत में, मेरे पास एक आंतरिक लक्ष्य है - एक मशीन से दूसरे को नीचे से ऊपर तक जोड़ने के लिए। चूंकि मेरे सहयोगियों और मैंने 3 डी प्रिंटर में एक चिप ली थी, और मैं इसका सह-स्वामी (एक गंभीर निवेशक) हूं, इसलिए सीएडी प्रोग्राम में एक कनेक्शन खींचने, प्रिंट करने और इस तरह उन्हें जोड़ने का निर्णय लिया गया।

इस विचार के साथ, मैं लगभग 2 महीने तक चला, यह सोचकर कि मैं सीएडी सिस्टम को समझने के लिए बस बैठने वाला था। लॉल नहीं। अपने आप को स्वीकार करने के बाद कि मैं सीएडी सिस्टम को समझना नहीं चाहता, मैं सोचने लगा कि अन्य विकल्प क्या हैं।

मैं बच्चों की दुनिया में वापस चला गया, डिजाइनरों को देखने का फैसला किया, अचानक वे किसी तरह मेरी मदद करते हैं। मैंने एक क्लासिक मेटल कंस्ट्रक्टर खरीदा, जो मेरे साथ था जब मैं स्कूल में था (ऐश पुराना स्कूल साथ लाया)।

वह उसे घर में घसीटते हुए ले गए, मशीन के दो हिस्सों को साइड में रखा और सभी तरह के डिजाइनर तत्वों को लगाना शुरू किया। कितनी देर, संक्षेप में, किसी तरह की समझ दिखाई देने लगी, कैसे, कम से कम सिद्धांत में, यह किया जा सकता है।

करने लगे। बेबी रिंच, नट और स्थानिक सोच के साथ एक से अधिक दिन बिताए।

जब मैं जुड़ा हुआ था, तो मैंने एक पेचकश के साथ प्लास्टिक को ड्रिल करना सीखा, अतिरिक्त हिस्सों को सावधानीपूर्वक फाड़ दिया ताकि मामले को नुकसान न पहुंचे, नट को अन्य नट्स के साथ लॉक करें (लेकिन वाशर के बिना वैसे भी)। सामान्य तौर पर, मेरे ट्रूडोविक को मुझ पर गर्व होगा।

लगभग तीन परिवर्तनों और तीन दिनों के बाद, मैंने इस राक्षस ट्रक को मेरे सामने देखा - बेसलान द्वारा GAZ66 SMAX संस्करण।

तो, ऐसा लगता है कि हार्डवेयर बेस तैयार है, अगले युग पर जाएं।

आयु 5 - एक राक्षस ट्रक पर बढ़ते घटक

अंत में:

मेरे पास अच्छे घटकों वाली एक गाड़ी है
मेरे पास एक सौंदर्य और ऊपरी कमरा है
इस ट्रॉली पर गैस / ब्रेक / टर्न सामान्य रूप से काम करते हैं
ऊपर और नीचे भी एक साथ जुड़े हुए हैं =)

इस सुंदरता पर घटकों को माउंट करने का समय है।

प्लास्टिक के लिए एक ड्रिल के रूप में एक पेचकश के साथ सशस्त्र, और सब कुछ के लिए एक सार्वभौमिक माउंट के रूप में दो तरफा टेप, मैं व्यापार के लिए नीचे उतर गया।

मैंने कैब पर कैमरे के लिए एक माउंट बनाया, जो आपको कैमरे के कोण को समायोजित करने की अनुमति देता है। कैमरे से जेटसन तक एक लंबी ट्रेन फेंक दी, जो बदले में, पीछे में बस गई।

जेटसन के अलावा, निम्नलिखित लोग पीछे हट गए:

कंप्यूटर को पावर करने के लिए पावरबैंक (usb पावर डिलीवरी के साथ अपने मुख्य, कूल को दान किया, ताकि जेटसन पावर पर विफल न हो)
मोटर नियंत्रण के लिए PCA9685 (PWM कंट्रोलर)
मशीन के इंजन को पावर देने के लिए बैटरी

चूंकि उस समय इस परियोजना को पहले से ही दीर्घकालिक माना जा रहा था, इसलिए मैंने अभी तक लिडार के साथ खिलवाड़ नहीं करने और कम से कम कैमरे और सॉफ्टवेयर से एमवीपी बनाने का फैसला किया।

मज़े के लिए मैंने अपने देशी हेडलाइट्स को GAZ66 से जोड़ा ताकि वह और अधिक सुंदर और अंधेरे में अधिक आत्मविश्वास बना सके।

ठीक है, मेरी मशीन चालू हो जाती है, इंजन अजगर से आदेशों का जवाब देते हैं, कैमरा एक तस्वीर देता है, रोशनी चालू होती है, सब कुछ ठीक है, यह सॉफ्टवेयर स्थापित करने का समय है।

आयु 6 - गधा कार और आसपास स्थापित करना

सौभाग्य से, अंतिम चरणों में मुझे गधा कार परियोजना मिली, और इसने मेरे जीवन को बहुत आसान बना दिया, मुझे खुद को सब कुछ लिखने से बचा लिया। सीधे शब्दों में कहें, तो गधाकेयर एक ढांचा है जिसमें पहले से ही एसडीसी के लिए आपकी जरूरत की सभी चीजें हैं। और वे भी कैसे सॉफ्टवेयर स्थापित करने के लिए पर गाइड है। लेकिन, जैसा कि आमतौर पर ओपनसोर्स के साथ होता है, गाइड पुराने होते हैं और एक-दूसरे को क्षणों में विरोधाभास करते हैं।

ठीक है, यह पता लगाना है। ढांचे के सामान्य संचालन के लिए, निम्नलिखित पुस्तकालयों की आवश्यकता है:

opencv
टेंसरफ़्लो-जीपीयू (जीपीयू जेट्सन के लिए है, क्योंकि एक क्यूडा कर्नेल है। आरपीआई के लिए टेंसोफ़्लो-लाइट है)
टेनॉरर्ट (न्यूरॉन्स की गति में तेजी लाने के लिए पुस्तकालय)
और वह सब जो पर्यावरण की सूची के आधार पर स्वचालित रूप से सेट किया गया है

ओपनसीवी के साथ शुरू करते हैं।

डोंकिकर गाइड का कहना है कि आपको इसे स्रोत से ही बनाने की आवश्यकता है, क्योंकि एआरएम के लिए पाइप में कोई ओपनसीवी नहीं है। मैंने यह भी किया, ओपनसीवी को संकलित किया, लेकिन इसे स्थापित करने से पहले मैंने जांचने का फैसला किया, अचानक सिस्टम में ओपनसीवी का एक पुराना संस्करण है, और इसे ध्वस्त करने की आवश्यकता है। मैंने एक अजगर को बुलाया, आयातित cv2, एक संस्करण के लिए कहा, लेकिन यह बीएएम, और प्रासंगिक है। जल्दी से खोजा और पता चला कि linux4tegra (जो कि जेट्सन में है) के नवीनतम संस्करणों में, NVIDIA के लोग OpenCV को स्थापित करने लगे। कूल, मुझे कम करना है। अच्छा किया, कि मैं अपने आप को संकलित कर सकूँ :)

अगला, टेंसरफ़्लो-जीपीयू।

DonkeyCar गाइड इंगित करता है, सबसे पहले, एक पुरानी संस्करण शाखा (1.xx), और दूसरी बात, पुराने वाले से नवीनतम संस्करण भी नहीं। मैंने उन्हें नहीं सुनने का फैसला किया, और नवीनतम वर्तमान संस्करण (2.0) डाल दिया।

अगला चरण टेंसॉरर्ट है।

जेट्सन पर टेंसरपोर्ट स्थापित करने के लिए गाइड को एक अलग विकी पेज में लिखा गया है, और यह स्पष्ट करता है कि लेखक ने मुख्य गाइड = नहीं पढ़ा था) क्योंकि टेंसॉरर्ट गाइड पर्यावरण चर और ओपनसीवी काम करना बंद कर देता है। मैंने इसे इस तरह घुमाया और कहा कि, सब कुछ वापस लुढ़का, और पर्यावरण और पर्यावरण चर पर हथौड़ा चलाने का फैसला किया - इसे सीधे मुख्य वातावरण में रोल किया।

खुद से संतुष्ट होकर, उन्होंने अजगर को खोला, बदले में cv2, टेंसोरफ़्लो, टेंसॉरर्ट, और फिर अपने संस्करण के लिए अजगर से पूछा - वे सभी आयातित थे, सभी ने नवीनतम संस्करण दिखाए। ठंडा!

गधा कार के लिए स्थापना की प्रक्रिया अपने आप में काफी सरल है, मैं इसका वर्णन नहीं करूंगा, मैं उनके गाइड को पढ़ने का सुझाव देता हूं। अब मैं केवल एक ही बात नोट करूंगा कि गधे की कार के विन्यास में आप आरटीआई के लिए 86x86 से जेट्सन के लिए छवि को 224x224 तक बढ़ा सकते हैं (क्योंकि अधिक प्रदर्शन होगा और सटीकता अधिक होगी)।

तो, सब कुछ तैयार है, चलाने और परीक्षण करने का समय!

मेरी मशीन वास्तव में चालू हो जाती है, यह उस आईपी पर वेब सर्वर शुरू करता है, जिससे राउटर ने मशीन को जारी किया। और आप वास्तव में वहां जा सकते हैं, और ब्राउज़र से जॉयस्टिक ड्राइव कर सकते हैं, कैमरे से तस्वीर देख सकते हैं।

मुझे पीडब्लूएम (PCA9685) को दिए गए मूल्यों को पूर्ण आगे, पूर्ण पिछड़े, अधिकतम पक्षों की ओर मुड़ने के लिए कैलिब्रेट करना था।

यहां, वैसे, मुझे पता चला कि मेरा इंजन गलत तरीके से जुड़ा हुआ था - मशीन आगे की तुलना में बहुत अधिक ऊर्जावान रूप से वापस चली गई - मैंने प्रयोगात्मक रूप से तारों को पाया, उन्हें दूसरे तरीके से फेंक दिया। यह इतना व्यवस्थित था कि इंजन के सभी तार एक ही रंग के होते हैं, और आपको याद नहीं रहता कि यह कैसा था। लेकिन मैंने इसे सही ढंग से जोड़ा, और प्रत्येक तार पर एक गर्मी हटना लगाया, ताकि मैं बाद में उन्हें अलग कर सकूं।

कूल, यह ट्रैक तैयार करने के लिए आगे बढ़ने का समय है!

आयु 7 - ट्रैक विधानसभा, यात्राएं

गधा कार एल्गोरिथ्म इतना डिज़ाइन किया गया है कि एक शिक्षक द्वारा प्रशिक्षित न्यूरॉन है। और इसका मतलब है कि कैमरे से तस्वीर ट्रैक हो रही है, और प्रत्येक तस्वीर के बगल में एक json फ़ाइल दिखाई देती है जिसमें चित्र, त्वरण, रोटेशन, टाइमस्टैम्प का नाम लिखा गया है। और एक न्यूरॉन को प्रशिक्षित करने के लिए, इस तरह की तस्वीर + json जोड़े को कम से कम 5K की आवश्यकता होती है।

यह घर पर ट्रैक को इकट्ठा करने का निर्णय लिया गया था, वे कहते हैं कि अपार्टमेंट बड़ा है, जहां मुड़ना है। लेकिन इकट्ठा करना शुरू करना, यह स्पष्ट हो गया कि अपार्टमेंट के चारों ओर एक सवारी नहीं थी - फर्श अलग-अलग रंगों का है, इसके विपरीत अलग होगा, और मॉडल बाहर नहीं निकाल सकता है।

ठीक है, मैंने इसे एक कमरे में रखने का फैसला किया। मैंने मास्किंग टेप के 4 रोल खरीदे, और उन्हें फर्श पर ट्रैक के लिए चिपका दिया।

मैंने कार को अंदर डाला, इसे शुरू किया, फिर से निकाल दिया, और फिर से विफल हो गया - यह पता चला कि एक कमरा बहुत छोटा है, और मेरी कार को मोड़ में शामिल नहीं किया गया है। अधिक सटीक रूप से, यह शामिल है, लेकिन इतनी गति से कि यह शर्म की बात है =)

ठीक है, हमें दूसरी पुनरावृत्ति करने की आवश्यकता है, और हमें एक बड़े कमरे की आवश्यकता है। चुनाव कार्यालय पर गिर गया - कई जगह हैं, फर्श मोनोफोनिक हैं, 24X7 खोलें। एकमात्र समस्या यह है कि क्लीनर रात में काम करते हैं, और ट्रैक को हटाने की आवश्यकता होगी। यही है, आपको एक बार में सब कुछ करने की ज़रूरत है - एक शिक्षक होने के लिए अपने हाथों से सवारी करने के लिए, मॉडल को प्रशिक्षित करें, इसे टाइपराइटर में वापस फेंक दें, और पहले से ही हाथ नियंत्रण के बिना जाएं।

ठीक है, दिन एक्स, ए / बी प्रयोगों के बारे में घटना के बाद, कार्यालय में रहने और ट्रैक बनाने का निर्णय लिया गया था।
जगह चुनी गई है, टेप तैयार है, खेल में ट्रैक के बिल्डरों की टीम। सिर्फ एक घंटे, और कार्यालय के गलियारे में एक महान ट्रैक है।

मैंने कार को अंदर डाला, इसे चालू किया, ड्राइव करने की कोशिश की - हुर्रे, यह मुड़ता है, और मुझे गति को केवल 80% तक सीमित करना पड़ा।

उम्र 8 - जॉयस्टिक के साथ यात्रा करना

इसलिए, मेरे पास एक ट्रैक है, मेरे पास एक कार है, और मुझे 5K जोड़े चित्र + json की आवश्यकता है।

जाहिर है, मुझे पता चला कि मेरे ट्रैक की एक गोद में फोटो + जसन की 250 जोड़ी है, जिसका मतलब है कि मुझे कम से कम 20 गोद छोड़ने की जरूरत है।

अधिमानतः एक पंक्ति में। आप निश्चित रूप से, रुक-रुक कर, लेकिन फिर फेंकने वाली गैस को मॉडल द्वारा बंद कर दिया जाता है, और यह धीमा होना शुरू हो सकता है, लेकिन मुझे यह नहीं चाहिए।

मैंने बिना ब्रेक के 20 गोद में सवारी करने की कोशिश शुरू कर दी, और यह, मुझे कहना होगा कि यह एक आसान काम नहीं है।

पहली कठिनाई पैदा हुई क्योंकि मार्ग के केंद्र में एक भारी स्तंभ था, और जब मशीन इसके पीछे चला रहा था, तो जिस लैपटॉप से इसे नियंत्रित किया गया था, उसके साथ संबंध शिथिल हो गया, और इस उथले अंतराल ने मुझे मार्ग की सीमा से बाहर खटखटाया।

ठीक है, इसलिए आपको यह सुनिश्चित करने की आवश्यकता है कि कनेक्शन उस डिवाइस से है जिसके साथ मैं स्वयं टाइप करता हूं, जब मैं ड्राइव करता हूं। और इसका मतलब है कि आपको फोन के ब्राउज़र से ड्राइव करने की आवश्यकता है।

लेकिन अभी भी एक जॉयस्टिक है, और मैं इसे दोनों हाथों से पकड़ता हूं, मुझे फोन कहां मिल सकता है? टाइपराइटर पर ले जाना एक विकल्प नहीं है, यह इसे धीमा कर देगा, और फिर, एक फोन के बिना, यह तेजी से जाएगा, और अत्यधिक त्वरण के कारण कोनों में भ्रमित हो सकता है।

हम्म, तो आपको किसी तरह फोन और जॉयस्टिक को मिलाने की जरूरत है। ठीक है, मेरे पास एक पाठक है, यह काफी बड़ा है, यह एक फोन और जॉयस्टिक दोनों में फिट होगा - यह नहीं करेगा। वह टेप ले गया, और टेप के साथ पाठक को फोन चिपका दिया, और जॉयस्टिक के ठीक नीचे। मैंने इस चमत्कार को देखा, और सोचा - आप सामान्य रूप से क्या हैं? :-)

लेकिन, यह काम किया :) इस चीज के साथ मैं 20 लैप्स छोड़ने में कामयाब रहा। लेकिन वास्तव में, यहां तक कि 25 भी, क्योंकि मुझे 15 सर्कल के आसपास कहीं स्वाद मिला।

दक्शंड, तैयार, मेरे पास एक न्यूरॉन प्रशिक्षण के लिए एक डेटासेट है, यह प्रशिक्षित करने का समय है!

आयु 9 - न्यूरॉन प्रशिक्षण

इस समय मेरे पास एक कार, एक ट्रैक, एक डेटासेट है - हां, मैं परिणाम से एक कदम दूर हूं!
घर पर, पीसी बेकार में घूम रहा था, NVIDIA RTX 2070 के साथ, जिस पर मैंने अध्ययन करने की योजना बनाई थी। सौभाग्य से, एक स्मार्ट घर के लिए, मेरे पास एक बाहरी आईपी है, और मुझे बस इंटरनेट से पीसी तक पोर्ट 22 प्राप्त करना था। यह अच्छा है कि कार्यालय में रहने के दौरान मेरे लिए ऐसा करने वाले सहायक थे।

इसलिए, मैं ubuntu के साथ कंप्यूटर पर ssh पर जाता हूं, sshfs के लिए होम फ़ोल्डर की निगरानी करता हूं, फाइलें अपलोड करता हूं। ऐसा लगता है कि केवल 40 मेगाबाइट है, लेकिन यह लगभग 30 मिनट तक चला। यह हुआ, जैसा कि मैंने इसे समझा, क्योंकि उनमें से बहुत सारे थे।

आपके कंप्यूटर पर फ़ाइलें, टेंसरफ़्लो-जीपीयू स्थापित, डोनकर सॉफ्टवेयर स्थापित, यह ट्रेन करने का समय है।
मैं डोनकरकार से एक न्यूरॉन के प्रशिक्षण के लिए एक स्क्रिप्ट बुला रहा हूं, मैं इसे डेटासेट के साथ फ़ोल्डर्स को इंगित करता हूं - यह चला गया।
जबकि न्यूरॉन चल रहा है, nvtop (वीडियो कार्ड लोड मॉनिटर) 1406% उपयोग दिखाता है, नियमित रूप से htop सभी 16 कोर के लिए 100% सीपीयू लोड दिखाता है, यह जा रहा है)।

कुछ 20 मिनट के बाद, मेरे पास कार चलाने के लिए एक प्रशिक्षित मॉडल है। यह प्रतीत होता है, इसे लें, इसका उपयोग करें। लेकिन नहीं :)

याद रखें, मैंने टेनसॉरर्ट के बारे में ऊपर लिखा था, जो न्यूरॉन्स की अंतर्वेशन को अनुकूलित करता है और उन्हें क्यूडा कर्नेल पर चलाता है? बेशक, मैं इसके माध्यम से भागना चाहता हूं।

और इसका मतलब है कि मुझे क्या चाहिए:

मॉडल को फ्रीज करें (आपको एक फ़ाइल में मॉडल के लिए सब कुछ पैक करने की आवश्यकता है)
फ्रिंज परिणाम को टेंसरॉर्ट प्रारूप में परिवर्तित करें

मैं मॉडल को फ्रीज करने की कोशिश कर रहा हूं, मैं स्क्रिप्ट को डोनकर, विफलता से बुलाता हूं। और इस बीच, रात हो गई है, जल्द ही सफाईकर्मी मेरे ट्रैक को खत्म कर रहे हैं, मुझे जल्दी से जाने की जरूरत है।

परिकल्पना का जन्म हुआ था कि यह इसलिए है क्योंकि मैंने गलत टेंसरफ़्लो ले लिया जो कि डोंकरकार के पास था। ठीक है, मैं टेंसरफ़्लो 2.0 खींच रहा हूं, मैंने 1.15 सेट किया है, मैं फिर से कोशिश करता हूं - सफलता, चीयर्स!

अब रूपांतरण, और फिर से ब्रेकडाउन - टीम नहीं मिली। ठीक है, मैं खोज रहा हूं कि क्या मामला है। यह पता चला कि एनवीआईडीआईए ने इस सुविधा को अप्रचलित के रूप में चिह्नित किया है, और समर्थन बंद कर दिया है। अब, वे कहते हैं, आपको हाथ से परिवर्तित करने की आवश्यकता है। सौभाग्य से, मुझे एक git रेपो मिला, जहां एक समान अनुरोध था, और उपयोगकर्ता को वह स्थान मिला जहां अजगर स्क्रिप्ट वास्तव में निहित है, जो मॉडल को रूपांतरित करता है।

मैं उस जगह से स्क्रिप्ट को कॉल करता हूं, और सच्चाई जवाब देती है। लेकिन, वह कहता है, तुम्हारे लिए कोई तीसरा अजगर नहीं है, दूसरे पर आओ।

ठीक है, मैं दूसरा अजगर बुला रहा हूं। वह मुझसे कहता है - मेरे पास टेंसोफ़्लो नहीं है। खैर, मैं उसे टेंसरफ्लो-जीपीयू 1.15 डालने के लिए कहता हूं, और वह मुझसे कहता है कि ऐसा कोई संस्करण नहीं है, केवल 1.14 है। ठीक है, मैं सहमत हूं, चलो एक मौका लें, और विभिन्न संस्करणों को अलग-अलग अजगर के वातावरण में रखें। दूसरे अजगर में टेंसरफ़्लो रखो, रूपांतरण के लिए बुलाया - चीयर्स, यह काम किया!

ठीक है, मेरे पास टेंसॉरर्ट के लिए मॉडल हैं और साधारण टेंसरफ्लो-जीपीयू के लिए, मैं इसे मशीन में छोड़ देता हूं।

मैं टेंसॉरर्ट के लिए मॉडल के साथ मशीन शुरू करता हूं, एक बड़ी त्रुटि ट्रैकबैक, समय दबाता है - ठीक है, मैं सामान्य मॉडल की कोशिश करूंगा।

मैं सामान्य त्रुटि फिर से शुरू करता हूं, लेकिन इस बार यह बहुत स्पष्ट है - आपके चित्र का आकार 224X224 है, जबकि 86X86 अपेक्षित है। याद रखें, कहीं अधिक उच्चतर मैंने लिखा है कि कॉन्फ़िगर नियम, कैमरे से छवि रिज़ॉल्यूशन को बदल दिया है?

इसलिए, टाइपराइटर पर मैंने सही किया, लेकिन मेजबान कंप्यूटर पर नहीं।

मैं मेजबान कंप्यूटर पर लौटता हूं, वहां के कॉन्फिगर को सही करता हूं, फिर से प्रशिक्षित करता हूं, फ्रिजी को फिर से करता हूं, फिर से कन्वर्ट करता हूं, वापस फेंक देता हूं।

मैं टेंसॉरर्ट के लिए एक मॉडल के साथ मशीन शुरू करता हूं, और ...

उम्र 10 - सब कुछ काम करता है, आखिरकार!

हुर्रे! मेरी कार चली गई! अपने आप, मेरे बिना। बहुत ही शांत। मैं अविश्वसनीय रूप से खुश हूं)

लगभग एक साल तक मैंने यह सब किया, और अब)

आगे क्या होगा?

आगे के विकास के लिए कई योजनाएं हैं, मैं सरल से जटिल तक जाऊंगा।

संभवतः सटीकता बढ़ाने के लिए मॉडल में IMU सेंसर जोड़ें। उदाहरण के लिए, ऊपर की ओर ड्राइव करते समय, इंजन पर अधिक प्रयास की आवश्यकता होती है।
राजमार्ग पर नहीं, बल्कि बाधाओं के आसपास की सवारी में तर्कों का अनुवाद करें
लिडार जोड़ें और इससे रीडिंग लें

युद्ध की चेतावनी

यदि आप खुद, या दोस्तों की कंपनी के साथ महसूस करते हैं कि आप रेसिंग चाहते हैं, तो मुझे लिखें, चलो प्रतियोगिताओं की व्यवस्था करें =)

समुदाय

मैंने एक रुचि चैट रूम भी रखा और एक चैनल तैयार कर रहा हूं। मुझे यकीन नहीं है कि हबर के नियमों के अनुसार यह संभव है, इसलिए मैं अनुरोध पर पीएम को भेजूंगा।

मेरे टाइपराइटर के एसडी कार्ड की छवि

अनुरोध पर, साथ ही, मैं आपको अपनी कार की एक छवि भेजूंगा, यदि आप इसे समान आधार पर करना चाहते हैं, और सेटिंग के साथ स्नान नहीं करना चाहते हैं।

सेल्फ ड्राइविंग GAZ66 मॉन्स्टर ट्रक 1/16