🚎 📿 🏆 यूनिटी मशीन लर्निंग: टीचिंग एमओ एजेंट्स टू जंप ओवर दीवारों 🚵🏾 👨🏾‍🏭 👩🏾‍💻

पिछले कुछ वर्षों में सुदृढीकरण सीखने (आरएल) में प्रमुख सफलताएं मिली हैं: कच्चे पिक्सेल प्रशिक्षण में ओपन एआई रॉबोरिस्ट्स के प्रशिक्षण के लिए इसके पहले सफल उपयोग से, और आगे की प्रगति के लिए तेजी से परिष्कृत वातावरण की आवश्यकता होती है, जिसकी मदद से एकता आती है।

यूनिटी एमएल-एजेंट्स उपकरण एकता गेम इंजन में एक नया प्लगइन है, जिससे आप इन एजेंटों को प्रशिक्षित करने के लिए पर्यावरण निर्माता के रूप में एकता का उपयोग कर सकते हैं।

फ़ुटबॉल खेलने से लेकर चलने, दीवारों से कूदने, और छड़ी से कुत्ते के एआई सीखने तक, यूनिटी एमएल-एजेंट्स टूलकिट एजेंटों के लिए प्रशिक्षण की एक विस्तृत श्रृंखला प्रदान करता है।

इस लेख में, हम देखेंगे कि एकता एमओ एजेंट कैसे काम करते हैं, और फिर हम इनमें से एक एजेंट को दीवारों पर कूदना सिखाएंगे।

एकता एमएल-एजेंट क्या है?

एकता एमएल-एजेंट्स एकता गेम इंजन के लिए एक नया प्लगइन है, जो आपको हमारे एजेंटों को प्रशिक्षित करने के लिए तैयार वातावरण बनाने या उपयोग करने की अनुमति देता है।

प्लगइन में तीन घटक होते हैं:

पहला - एक सीखने का माहौल ( लर्निंग एनवायरनमेंट ), जिसमें एकता और पर्यावरण तत्वों के दृश्य होते हैं।

दूसरा पायथन एपीआई है , जिसमें आरएल एल्गोरिदम (जैसे पीपीओ - समीपस्थ नीति अनुकूलन और एसएसी - सॉफ्ट एक्टर-क्रिटिक) शामिल हैं। हम इस एपीआई का उपयोग प्रशिक्षण, परीक्षण आदि शुरू करने के लिए करते हैं। यह तीसरे घटक के माध्यम से सीखने के माहौल से जुड़ा है - एक बाहरी संचारक ।

सीखने के माहौल में क्या होता है

प्रशिक्षण घटक में विभिन्न तत्व होते हैं:

पहला एजेंट मंच अभिनेता होता है। यह वह है जिसे हम "ब्रेन" नामक एक घटक को अनुकूलित करके प्रशिक्षित करेंगे, जिसमें यह दर्ज किया गया है कि प्रत्येक संभावित राज्यों में क्या कार्य किए जाने चाहिए।

तीसरा तत्व, अकादमी, एजेंटों और उनके निर्णय लेने की प्रक्रियाओं और पायथन एपीआई से अनुरोधों का प्रबंधन करता है। इसकी भूमिका को बेहतर ढंग से समझने के लिए, आइए आरएल प्रक्रिया को याद करते हैं। इसे एक चक्र के रूप में दर्शाया जा सकता है जो निम्नानुसार काम करता है:

मान लीजिए कि एक एजेंट को यह सीखने की ज़रूरत है कि एक प्लेटफ़ॉर्मर कैसे खेलें। इस मामले में आरएल प्रक्रिया इस तरह दिखाई देगी:

एजेंट पर्यावरण से राज्य एस ₀ प्राप्त करता है - यह हमारे खेल का पहला फ्रेम होगा।
राज्य एस _{0 के} आधार पर _, एजेंट ए ₀ करता है और दाईं ओर शिफ्ट होता है।
पर्यावरण एक नई अवस्था S _१ में चला जाता है ।
एजेंट को मृत नहीं होने के लिए आर ₁ इनाम मिलता है ( सकारात्मक इनाम +1)।

यह आरएल चक्र राज्य, कार्रवाई और इनाम का एक क्रम बनाता है। एजेंट का लक्ष्य अपेक्षित कुल इनाम को अधिकतम करना है।

इस प्रकार, अकादमी एजेंटों को निर्देश भेजती है और उनके निष्पादन में सिंक्रनाइज़ेशन प्रदान करती है, अर्थात्:

टिप्पणियों का संग्रह;
निर्धारित निर्देशों के अनुसार कार्रवाई का विकल्प;
कार्रवाई निष्पादन;
यदि चरण की संख्या या लक्ष्य तक पहुँच गया है, तो रीसेट करें।

हम एजेंट को दीवारों के माध्यम से कूदना सिखाते हैं

अब जब हम जानते हैं कि यूनिटी एजेंट कैसे काम करते हैं, तो हम एक को दीवारों के माध्यम से कूदने के लिए प्रशिक्षित करेंगे।

पहले से ही प्रशिक्षित मॉडल GitHub पर भी डाउनलोड किए जा सकते हैं ।

दीवार कूदते सीखने का माहौल

इस वातावरण का लक्ष्य एजेंट को हरी टाइल के लिए सिखाना है।

तीन मामलों पर विचार करें:

1. कोई दीवारें नहीं हैं, और हमारे एजेंट को बस टाइल प्राप्त करने की आवश्यकता है।

2. एजेंट को यह जानने की जरूरत है कि हरी टाइल तक पहुंचने के लिए कैसे कूदना है।

3. सबसे कठिन मामला: एजेंट के ऊपर से कूदने के लिए दीवार बहुत ऊंची है, इसलिए उसे पहले सफेद ब्लॉक पर कूदना होगा।

हम एजेंट को दीवार की ऊंचाई के आधार पर व्यवहार के दो परिदृश्य सिखाएंगे:

दीवारों के बिना या कम दीवार की ऊंचाइयों पर मामलों में SmallWallJump ;
ऊंची दीवारों के मामले में BigWallJump ।

यह वही है जो इनाम प्रणाली की तरह दिखाई देगा:

हमारी टिप्पणियों में, हम एक नियमित फ्रेम का उपयोग नहीं कर रहे हैं, लेकिन 14 रेकॉस्ट, जिनमें से प्रत्येक 4 संभावित वस्तुओं का पता लगा सकता है। इस मामले में, रेकॉस्ट को लेजर बीम के रूप में माना जा सकता है जो यह निर्धारित कर सकता है कि वे किसी वस्तु से गुजरते हैं या नहीं।

हम अपने कार्यक्रम में वैश्विक एजेंट की स्थिति का भी उपयोग करेंगे।

हमारे अंतरिक्ष में चार विकल्प संभव हैं:

लक्ष्य 0.8 के औसत इनाम के साथ एक हरे रंग की टाइल को प्राप्त करना है ।

तो चलो शुरू करते है!

सबसे पहले, UnitySDK प्रोजेक्ट खोलें । वालजंप

दृश्य को खोजने और खोलने के लिए आपको जिन उदाहरणों की आवश्यकता है । जैसा कि आप देख सकते हैं, मंच पर कई एजेंट हैं, जिनमें से प्रत्येक को एक ही प्रीफ़ैब से लिया गया है, और वे सभी एक ही "मस्तिष्क" हैं। जैसा कि हमने क्लासिक डीप रेनफोर्समेंट लर्निंग के मामले में, खेल के कई उदाहरण (उदाहरण के लिए, 128 समानांतर वातावरण) लॉन्च करने के बाद, अब हम बस एजेंटों को कॉपी करते हैं और अधिक विभिन्न राज्यों के लिए पेस्ट करते हैं। और जब से हम अपने एजेंट को खरोंच से प्रशिक्षित करना चाहते हैं, सबसे पहले हमें एजेंट से "मस्तिष्क" को हटाने की आवश्यकता है। ऐसा करने के लिए, प्रीफैब फ़ोल्डर पर जाएं और प्रीफैब खोलें।

अगला, Prefab पदानुक्रम में, आपको एजेंट का चयन करने और सेटिंग्स पर जाने की आवश्यकता है।

व्यवहार पैरामीटर में, आपको मॉडल को हटाने की आवश्यकता है। यदि हमारे पास हमारे निपटान में कई जीपीयू हैं, तो आप सीपीयू से एक जीपीयू के रूप में इनवेंशन डिवाइस का उपयोग कर सकते हैं।

वॉल जंप एजेंट घटक में, आपको बिना दीवारों के साथ-साथ कम और ऊंची दीवारों के मामले में दिमाग को निकालना होगा।

उसके बाद, आप अपने एजेंट को खरोंच से प्रशिक्षण देना शुरू कर सकते हैं।

हमारे पहले प्रशिक्षण के लिए, हम बस दो व्यवहार परिदृश्यों के लिए प्रशिक्षण चरणों की कुल संख्या में परिवर्तन करते हैं: स्मॉलवैलजंप और बिगवेलप। तो हम लक्ष्य को केवल 300 हजार चरणों में प्राप्त कर सकते हैं। ऐसा करने के लिए, config / trainer config.yaml में, SmallWallJump और BigWallJump मामलों के लिए max_steps को 3e5 में बदलें।

अपने एजेंट को प्रशिक्षित करने के लिए, हम पीपीओ (प्रॉक्सीम पॉलिसी ऑप्टिमाइजेशन) का उपयोग करेंगे । एल्गोरिदम में पर्यावरण के साथ बातचीत करने और निर्णय लेने की नीतियों को अपडेट करने के लिए इसका उपयोग करने में अनुभव का संचय शामिल है। इसे अपडेट करने के बाद, पिछली घटनाओं को छोड़ दिया जाता है, और बाद के डेटा संग्रह को पहले से ही अद्यतन नीति की शर्तों के तहत किया जाता है।

इसलिए, पहले, पायथन एपीआई का उपयोग करते हुए, हमें एक बाहरी संचारक को कॉल करने की आवश्यकता है ताकि यह अकादमी को एजेंटों को लॉन्च करने का निर्देश दे। ऐसा करने के लिए, टर्मिनल खोलें जहां एमएल-एजेंट-मास्टर स्थित है और उसमें टाइप करें:

mlagents-learn config/trainer_config.yaml — run-id=”WallJump_FirstTrain” — train

यह कमांड आपको एकता दृश्य शुरू करने के लिए कहेगा। ऐसा करने के लिए, संपादक के शीर्ष पर ► दबाएँ।

आप Tensorboard में अपने एजेंटों के प्रशिक्षण को निम्न कमांड से देख सकते हैं:

tensorboard — logdir=summaries

जब प्रशिक्षण समाप्त हो जाता है, तो आपको एमएल-एजेंट-मास्टर / मॉडल में निहित सहेजे गए मॉडल फ़ाइलों को यूनिटीएसडीके / एसेट्स / एमएल-एजेंटों / उदाहरण / वॉलजम्प / टीएफमॉडल्स में स्थानांतरित करने की आवश्यकता है । फिर, एकता संपादक को फिर से खोलें और WallJump दृश्य चुनें , जहां हम समाप्त WallJumpArea ऑब्जेक्ट खोलें ।

उसके बाद, एजेंट का चयन करें और इसके व्यवहार मापदंडों में SmallWallJump.nn फ़ाइल को मॉडल प्लेसहोल्डर में खींचें ।

यह भी स्थानांतरित करें:

NoW ब्रेन प्लेसहोल्डर में SmallWallJump.nn ।
SmallWallJump.nn छोटी दीवार ब्रेन प्लेसहोल्डर में।
कोई दीवार ब्रेन प्लेसहोल्डर पर BigWallJump.nn ।

उसके बाद, संपादक के शीर्ष पर ► बटन दबाएं और आपका काम हो गया! एजेंट प्रशिक्षण कॉन्फ़िगरेशन एल्गोरिथ्म अब पूरा हो गया है।

प्रयोग का समय

सीखने का सबसे अच्छा तरीका लगातार कुछ नया लाने की कोशिश करना है। अब जब हमने पहले ही अच्छे परिणाम प्राप्त कर लिए हैं, तो हम कुछ परिकल्पनाएँ और उन्हें परखने की कोशिश करेंगे।

छूट गुणांक को 0.95 तक कम करना

तो हम जानते हैं कि:

जितना बड़ा गामा, उतनी ही कम छूट। यही है, एजेंट लंबी अवधि के पुरस्कारों के बारे में अधिक चिंतित है।
दूसरी ओर, गामा जितना छोटा होगा, छूट भी उतनी ही अधिक होगी। इस मामले में, एजेंट की प्राथमिकता अल्पकालिक मुआवजा है।

इस प्रयोग का विचार यह है कि अगर हम सरगम को 0.99 से घटाकर 0.95 तक बढ़ाते हैं, तो अल्पकालिक इनाम एजेंट के लिए प्राथमिकता होगी - जो उसे इष्टतम व्यवहार नीति को जल्दी से अपनाने में मदद कर सकता है।

दिलचस्प है, कम दीवार के माध्यम से कूदने की स्थिति में, एजेंट उसी परिणाम के लिए प्रयास करेगा। यह इस तथ्य से समझाया जा सकता है कि यह मामला काफी सरल है: एजेंट को केवल हरे रंग की टाइल में स्थानांतरित करने की आवश्यकता होती है और, यदि आवश्यक हो, तो सामने की दीवार होने पर कूदें।

दूसरी ओर, बिग वॉल जंप के मामले में, यह बदतर काम करता है, क्योंकि हमारे एजेंट अल्पकालिक इनाम के बारे में अधिक परवाह करते हैं और इसलिए यह नहीं समझते हैं कि दीवार पर कूदने के लिए उन्हें सफेद ब्लॉक पर चढ़ने की जरूरत है।

तंत्रिका नेटवर्क जटिलता में वृद्धि

अंत में, हम अनुमान लगाते हैं कि क्या हमारा एजेंट तंत्रिका नेटवर्क की जटिलता को बढ़ाएगा या नहीं। ऐसा करने के लिए, छिपे हुए स्तर के आकार को 256 से बढ़ाकर 512 करें।

और हम पाते हैं कि इस मामले में नया एजेंट हमारे पहले एजेंट से भी बदतर काम करता है। इसका मतलब है कि यह हमारे नेटवर्क की जटिलता को बढ़ाने के लिए हमारे लिए कोई मतलब नहीं है, क्योंकि अन्यथा सीखने का समय भी बढ़ जाएगा।

इसलिए, हमने एजेंट को दीवारों पर कूदने के लिए प्रशिक्षित किया, और यह सब आज के लिए है। याद रखें कि परिणामों की तुलना करने के लिए, प्रशिक्षित मॉडल यहां डाउनलोड किए जा सकते हैं ।

यूनिटी मशीन लर्निंग: टीचिंग एमओ एजेंट्स टू जंप ओवर दीवारों