एन्ट्रॉपी: निर्णय पेड़ कैसे निर्णय लेते हैं

मशीन लर्निंग कोर्स की शुरुआत से पहले लेख का अनुवाद तैयार किया गया था ।

---

आप एक डेटा साइंस विशेषज्ञ हैं जो वर्तमान में एक सीखने के मार्ग का अनुसरण कर रहे हैं। और आप एक लंबा सफर तय कर चुके हैं क्योंकि आपने पायथन या आर में अपनी पहली पंक्ति कोड लिखी है। आप अपने हाथ के पीछे की तरह स्किकिट-लर्न को जानते हैं। अब आप फेसबुक पर कीगल की तुलना में अधिक बैठे हैं। आप आश्चर्यजनक यादृच्छिक जंगलों और निर्णय पेड़ों के अन्य कलाकारों की टुकड़ी मॉडल बनाने के लिए नए नहीं हैं जो एक उत्कृष्ट काम करते हैं। फिर भी, आप जानते हैं कि यदि आप बड़े पैमाने पर विकास नहीं करते हैं तो आप कुछ भी हासिल नहीं करेंगे। आप गहराई से खुदाई करना चाहते हैं और लोकप्रिय मशीन लर्निंग मॉडल में अंतर्निहित जटिलताओं और अवधारणाओं को समझना चाहते हैं। हां, मैं भी।

आज मैं एंट्रोपी की अवधारणा के बारे में बात करूंगा - आंकड़ों में सबसे महत्वपूर्ण विषयों में से एक, और बाद में हम सूचना लाभ (सूचना लाभ) की अवधारणा के बारे में बात करेंगे और यह पता लगाएंगे कि ये मूलभूत अवधारणाएं कैसे प्राप्त आंकड़ों से पेड़ों के निर्णय का आधार बनती हैं।

अच्छा। अब चलो।

एन्ट्रॉपी क्या है सरल शब्दों में, एन्ट्रापी कुछ और नहीं बल्कि विकार का एक उपाय है। (इसे शुद्धता का एक उपाय भी माना जा सकता है, और जल्द ही आप देखेंगे कि क्यों। लेकिन मुझे गंदगी अधिक पसंद है क्योंकि यह बहुत अच्छा लगता है।)

एंट्रोपी का गणितीय सूत्र इस प्रकार है:


एन्ट्रॉपी। यह कभी कभी एच रूप में लिखा है

यहाँ पी _मैं हमारे डेटा का तत्व / वर्ग मैं की आवृत्ति संभावना है। सादगी के लिए, मान लें कि हमारे पास केवल दो वर्ग हैं: सकारात्मक और नकारात्मक। फिर मैं "+" या "-" का मान लूंगा। यदि हमारे डेटासेट में कुल 100 अंक हैं, जिनमें से 30 पॉजिटिव क्लास के हैं और 70 नेगेटिव के हैं, तो p ₊ 3/10 होगा, और p_- 7/10 होगी। यहां सब कुछ सरल है।

यदि मैं इस उदाहरण से कक्षाओं की एन्ट्रॉपी की गणना करता हूं, तो यह वही है जो मुझे ऊपर दिए गए सूत्र का उपयोग करके मिलता है:



एन्ट्रॉपी लगभग 0.88 है। यह मान काफी अधिक माना जाता है, अर्थात, हमारे पास उच्च स्तर की एन्ट्रापी या विकार है (अर्थात, शुद्धता का निम्न मान)। एन्ट्रॉपी को 0 से 1 तक की सीमा में मापा जाता है। आपके डेटासेट में कक्षाओं की संख्या के आधार पर एन्ट्रापी का मूल्य 1 से अधिक हो सकता है, लेकिन इसका मतलब यह होगा कि विकार का स्तर बहुत अधिक है। स्पष्टीकरण की सादगी के लिए, आज के लेख में हम 0 से 1 तक एन्ट्रापी करेंगे

। नीचे दिए गए चार्ट पर एक नज़र डालें।



एक्स अक्ष पर, प्रत्येक सर्कल में सकारात्मक वर्ग से बिंदुओं की संख्या परिलक्षित होती है, और वाई अक्ष पर, संबंधित एंट्रोपियां। आप तुरंत ग्राफ के उल्टे यू-आकार को नोटिस कर सकते हैं। एंट्रॉपी एक्स्ट्रेमा में सबसे छोटी होगी जब सिद्धांत में सर्कल में कोई सकारात्मक तत्व नहीं होते हैं, या जब केवल सकारात्मक तत्व होते हैं। यही है, जब तत्व एक सर्कल में समान होते हैं, तो विकार 0. होगा। ग्राफ के बीच में एन्ट्रापी उच्चतम होगी, जहां सकारात्मक और नकारात्मक तत्व समान रूप से सर्कल के अंदर वितरित किए जाएंगे। यहां सबसे बड़ी एन्ट्रापी या विकार प्राप्त किया जाएगा, क्योंकि कोई प्रमुख तत्व नहीं होगा।

क्या कोई कारण है कि एन्ट्रापी को आधार 2 लघुगणक का उपयोग करके मापा जाता है, या एंट्रोपी को 0 और 1 के बीच क्यों मापा जाता है, और एक अलग सीमा में नहीं? नहीं, कोई कारण नहीं है। यह सिर्फ एक मीट्रिक है। यह समझना इतना महत्वपूर्ण नहीं है कि ऐसा क्यों हो रहा है। यह जानना महत्वपूर्ण है कि ऊपर जो मिला, उसकी गणना कैसे की जाती है और यह कैसे काम करता है। एन्ट्रॉपी भ्रम या अनिश्चितता का एक उपाय है, और सामान्य तौर पर मशीन लर्निंग मॉडल और डेटा साइंस विशेषज्ञों का लक्ष्य इस अनिश्चितता को कम करना है।

अब हम जानते हैं कि गंदगी को कैसे मापा जाता है। अगला, हमें लक्ष्य चर / वर्ग की अतिरिक्त जानकारी (विशेषताओं / स्वतंत्र चर) में इस विकार की कमी को मापने के लिए एक मूल्य की आवश्यकता है। यह वह जगह है जहाँ सूचना लाभ या सूचना लाभ खेल में आता है। गणित की दृष्टि से इसे इस प्रकार लिखा जा सकता है:



हम बस Y के बारे में अनिश्चितता में कमी की गणना करने के लिए, एन्ट्रोपी Y से X, एन्ट्रापी Y से घटाते हैं, बशर्ते कि Y के बारे में X के बारे में जानकारी हो। मजबूत अनिश्चितता कम हो जाती है, X के बारे में Y से अधिक जानकारी प्राप्त की जा सकती है।

आइए हम आकस्मिक तालिका के एक सरल उदाहरण को देखें। इस सवाल के करीब पहुंचें कि कैसे निर्णय वृक्ष एन्ट्रापी का उपयोग करते हैं और डेटा पर सीखने की प्रक्रिया में नोड्स को तोड़ने के लिए किस आधार पर निर्णय लेने के लिए जानकारी प्राप्त करते हैं।

उदाहरण: समझौता तालिका



यहां, हमारा लक्ष्य चर दायित्व होगा , जो केवल दो मान ले सकता है: "सामान्य" और "उच्च"। हमारे पास केवल एक संकेत है, जिसे क्रेडिट रेटिंग कहा जाता है, यह तीन श्रेणियों में मूल्यों को वितरित करता है: "उत्कृष्ट" , "अच्छा" और "गरीब" । कुल 14 अवलोकन किए गए। उनमें से 7 सामान्य देयता वर्ग के हैं , और 7 उच्च दायित्व वर्ग के हैं । यह अपने आप में एक विभाजन है।

यदि हम पहली पंक्ति में मानों के कुल योग को देखते हैं, तो हम देखेंगे कि हमारे पास क्रेडिट रेटिंग के आधार पर उत्कृष्ट मूल्य के साथ 4 अवलोकन हैं । इसके अलावा, मैं यह भी कह सकता हूं कि मेरा लक्ष्य चर "उत्कृष्ट" क्रेडिट रेटिंग से टूट गया है । विशेषता के साथ "उत्कृष्ट" मूल्य के साथ टिप्पणियों के बीचक्रेडिट रेटिंग , 3 ऐसे हैं जो सामान्य देयता वर्ग के हैं और 1 जो उच्च देयता वर्ग के हैं । इसी तरह, मैं आकस्मिक तालिका से अन्य क्रेडिट रेटिंग मूल्यों के लिए समान परिणामों की गणना कर सकता हूं ।

उदाहरण के लिए, मैं हमारे लक्ष्य चर की स्वतंत्र रूप से एन्ट्रापी की गणना करने के लिए ऊपर दी गई आकस्मिक तालिका का उपयोग करता हूं, और फिर क्रेडिट रेटिंग विशेषता से अतिरिक्त जानकारी को ध्यान में रखते हुए इसकी एन्ट्रापी की गणना करता हूं । इसलिए मैं गणना कर सकता हूं कि देयता लक्ष्य चर के लिए क्रेडिट रेटिंग मुझे कितनी अतिरिक्त जानकारी देगी । तो चलो शुरू करते है।





हमारे लक्ष्य चर का एन्ट्रापी 1 है, जिसका अर्थ है "सामान्य" और "उच्च" के बीच तत्वों के समान वितरण के कारण अधिकतम अव्यवस्था । अगला कदम क्रेडिट रेटिंग से अतिरिक्त जानकारी को ध्यान में रखते हुए देयता लक्ष्य चर की एन्ट्रापी की गणना करना है । ऐसा करने के लिए, हम प्रत्येक क्रेडिट रेटिंग मूल्य के लिए देयता एन्ट्रापी की गणना करते हैं और प्रत्येक मूल्य के लिए औसत भारित अवलोकन अनुपात का उपयोग करके उन्हें जोड़ते हैं। जब हम निर्णय पेड़ों के बारे में बात करते हैं तो हम भारित औसत का उपयोग क्यों करते हैं, यह स्पष्ट हो जाएगा। हमने क्रेडिट रेटिंग विशेषता के साथ अपने लक्ष्य चर की एन्ट्रापी प्राप्त की



। अब हम इस रेटिंग को समझने के लिए क्रेडिट रेटिंग से सूचनात्मक देयता लाभ की गणना कर सकते हैं कि यह सुविधा कितनी जानकारीपूर्ण है। क्रेडिट रेटिंग जानने से हमें अपने दायित्व लक्ष्य चर की अनिश्चितता को कम करने में मदद मिली है।



। क्या यह अच्छा संकेत नहीं है कि काम करना चाहिए? हमें लक्ष्य चर के बारे में जानकारी दें? खैर, इस कारण से, निर्णय वृक्ष एन्ट्रापी और सूचनात्मक लाभ का उपयोग करते हैं। वे शाखाओं में नोड्स को तोड़ने के लिए प्रत्येक कसौटी के साथ लक्ष्य चर का दृष्टिकोण करने के लिए, और यह भी समझने के लिए कि पेड़ के निर्माण को पूरा करने की आवश्यकता है, यह किस मानदंड से निर्धारित होता है! (हाइपरपरमेटर्स जैसे कि अधिकतम गहराई, निश्चित रूप से)। आइए देखें कि यह सभी निर्णय पेड़ों का उपयोग करके निम्नलिखित उदाहरण में कैसे काम करता है।

उदाहरण: निर्णय ट्री

आइए निर्णय वृक्ष के निर्माण का एक उदाहरण देखें, जिसमें इस बात का अनुमान लगाया गया है कि किसी व्यक्ति का क्रेडिट लिखा जाएगा या नहीं। आबादी 30 प्रतियाँ होंगी। 16 राइट-ऑफ क्लास के होंगे , और अन्य 14 वसीयत"नॉन-राइट-ऑफ" । हमारे पास "बैलेंस" नाम के दो संकेत होंगे , जो दो मान ले सकते हैं: "<50K" या "> 50K", और "निवास" , जिसमें तीन मूल्य होते हैं: "OWN" , "RENT" या "OTHER" । मैं यह प्रदर्शित करूंगा कि निर्णय ट्री एल्गोरिदम कैसे तय करेगा कि कौन सी विशेषता पहले टूट जाएगी और कौन सी विशेषता अधिक जानकारीपूर्ण होगी, अर्थात, यह एंट्रोपी और सूचना लाभ की अवधारणा का उपयोग करके लक्ष्य चर की अनिश्चितता को समाप्त करता है।

लक्षण 1: संतुलन



यहां मंडलियां "राइट-ऑफ" वर्ग से संबंधित हैं, और सितारे "गैर-राइट-ऑफ" वर्ग के अनुरूप हैं । अभिभावक द्वारा अभिभावक रूट का विभाजनबैलेंस हमें 2 वारिस नोड देगा। बाएं नोड में 13 टिप्पणियां होंगी, जहां "राइट-ऑफ" क्लास से 12/13 (प्रायिकता 0.92) , और क्लास "नॉन-राइट-ऑफ" से केवल 1/13 (प्रायिकता 0.08) ऑब्जर्वेशन हैं । दाएं नोड में 30 टिप्पणियों में से 17 होगी, जहां "राइट-ऑफ" वर्ग से टिप्पणियों का 13/17 (प्रायिकता 0.76) और "गैर-राइट-ऑफ" कक्षा से टिप्पणियों का 4/17 (संभावना 0.24) है ।

आइए जड़ की एन्ट्रापी की गणना करें और देखें कि संतुलन के आधार पर विभाजन का उपयोग करके पेड़ अनिश्चितता को कितना कम कर सकता है । बैलेंस



पर आधारित एक विभाजन 0.37 की सूचनात्मक लाभ देगा। चलो निवास चिह्न के लिए एक ही गणना करते हैंऔर परिणामों की तुलना करें।

लक्षण 2: निवास



विभाजन एक के आधार पर पेड़ निवास आप 3 वारिस नोड्स दे देंगे। बाएं उत्तराधिकारी नोड को 8 अवलोकन प्राप्त होंगे, जहां राइट-ऑफ क्लास से 7/8 (प्रायिकता 0.88) और गैर-राइट-ऑफ क्लास से टिप्पणियों का केवल 1/8 (प्रायिकता 0.12) प्राप्त होगा । औसत उत्तराधिकारी नोड को 10 अवलोकन प्राप्त होंगे, जहां राइट-ऑफ क्लास से 4/10 (संभावना 0.4) और गैर-राइट-ऑफ क्लास से टिप्पणियों के 6/10 (संभावना 0.6) का अवलोकन किया जाएगा । सही उत्तराधिकारी को 12 अवलोकनों की प्राप्ति होगी, जहाँ राइट-ऑफ क्लास से 5/12 (प्रायिकता 0.42) और नॉन-राइट-ऑफ क्लास से 7/12 (प्रायिकता 0.58) अवलोकन प्राप्त होंगे।। हम पहले से ही मूल नोड के एन्ट्रापी को जानते हैं, इसलिए हम निवास विशेषता से सूचनात्मक लाभ को समझने के लिए विभाजन के बाद एन्ट्रापी की गणना करते हैं । शेष राशि



से सूचना का लाभ निवास से लगभग 3 गुना अधिक है ! यदि आप ग्राफ़ को फिर से देखते हैं, तो आप देखेंगे कि बैलेंस के अनुसार विभाजन निवास के अनुसार क्लीनर वंशज नोड्स देगा । हालाँकि, रेजिडेंस में बाईं ओर का नोड भी काफी साफ है, लेकिन यह यहाँ है कि भारित औसत खेलने में आता है। इस तथ्य के बावजूद कि नोड साफ है, इसमें कम से कम संख्या में अवलोकन हैं, और इसका परिणाम सामान्य पुनर्गणना और निवास के अनुसार कुल एन्ट्रापी की गणना में खो गया है। यह महत्वपूर्ण है क्योंकि हम विशेषता की सामान्य सूचनात्मक सामग्री की तलाश कर रहे हैं और नहीं चाहते कि अंतिम परिणाम विशेषता के दुर्लभ मूल्य से विकृत हो। बैलेंस

विशेषता ही निवास की तुलना में लक्ष्य चर के बारे में अधिक जानकारी प्रदान करती है । इस प्रकार, हमारे लक्ष्य चर का एन्ट्रापी कम हो जाता है। निर्णय ट्री एल्गोरिदम इस परिणाम का उपयोग शेष राशि के अनुसार पहला विभाजन करने के लिए करता हैबाद में निम्नलिखित नोड्स को तोड़ने के लिए किस आधार पर निर्णय लें। वास्तविक दुनिया में, जब दो से अधिक विशेषताएं होती हैं, तो पहला ब्रेकडाउन सबसे अधिक जानकारीपूर्ण सुविधा के अनुसार होता है, और फिर प्रत्येक बाद के ब्रेकअप के साथ प्रत्येक अतिरिक्त सुविधा के लिए सूचना लाभ प्राप्त किया जाएगा, क्योंकि यह वैसा नहीं होगा जैसा कि प्रत्येक सुविधा के लिए सूचना का लाभ व्यक्तिगत रूप से होता है। एक या कई विभाजन होने के बाद एन्ट्रापी और सूचनात्मक लाभ की गणना की जानी चाहिए, जो अंतिम परिणाम को प्रभावित करेगा। निर्णय पेड़ इस प्रक्रिया को दोहराएगा क्योंकि यह गहराई तक बढ़ता है, जब तक कि यह एक निश्चित गहराई तक नहीं पहुंचता है या किसी प्रकार का विभाजन एक निश्चित सीमा से अधिक उच्च सूचना प्राप्त करता है, जिसे हाइपरपरमीटर के रूप में भी निर्दिष्ट किया जा सकता है!

बस इतना ही! अब आप जानते हैं कि क्या एन्ट्रापी, सूचना लाभ और उनकी गणना कैसे की जाती है। अब आप समझते हैं कि निर्णय वृक्ष कैसे, स्वयं या एक कलाकारों की टुकड़ी के हिस्से के रूप में, विशेषताओं द्वारा विभाजन के सर्वोत्तम क्रम के बारे में निर्णय लेता है और उपलब्ध आंकड़ों को सीखने के दौरान कब रोकना है, यह निर्णय लेता है। खैर, अगर आपको किसी को यह समझाना है कि पेड़ कैसे काम करते हैं, तो मुझे उम्मीद है कि आप इस कार्य के साथ पर्याप्त रूप से सामना करेंगे।

मुझे उम्मीद है कि आपने इस लेख से अपने लिए कुछ उपयोगी सीखा होगा। अगर मैंने कुछ याद किया या अपने आप को गलत तरीके से व्यक्त किया, तो मुझे इसके बारे में लिखें। मैं आपका बहुत आभारी रहूँगा! धन्यवाद।

---

पाठ्यक्रम के बारे में अधिक जानें।

---