🏾 👲🏻 🎣 बहु-टैग वर्गीकरण 👩🏼‍⚕️ 🤶 🤴🏻

हैलो, हब्रोज़िटेली! हमने वर्गीकरण के लिए समर्पित आंद्रेई बुर्कॉव , मशीन लर्निंग विदाउट एक्स्ट्रा वर्ड्स की पुस्तक के एक अंश का हवाला दिया ।

आकृति में छवि का वर्णन करने के लिए, कई लेबल एक साथ उपयोग किए जा सकते हैं: "शंकुधारी वन", "पहाड़", "सड़क"। यदि टैग के लिए संभावित मानों की संख्या बड़ी है, लेकिन उन सभी में टैग के समान प्रकृति है, प्रत्येक टैग किए गए नमूने को कई टैग किए गए डेटा में बदला जा सकता है, प्रत्येक टैग के लिए एक। इस सभी नए डेटा में समान वैक्टर और केवल एक लेबल होगा। नतीजतन, कार्य एक बहुस्तरीय वर्गीकरण समस्या बन जाता है। इसे "सभी के खिलाफ एक" रणनीति का उपयोग करके हल किया जा सकता है। सामान्य मल्टीस्कैलर्स वर्गीकरण समस्या से एकमात्र अंतर एक नए हाइपरपैरमीटर की उपस्थिति है: थ्रेशोल्ड। यदि लेबल के लिए समानता स्कोर एक थ्रेशोल्ड मान से ऊपर है, तो यह लेबल इनपुट सुविधा वेक्टर को सौंपा गया है। इस परिदृश्य में, कई लेबल एक विशेषता वेक्टर को सौंपा जा सकता है।थ्रेशोल्ड मान नियंत्रण सेट का उपयोग करके चुना जाता है।

कई लेबलों के साथ वर्गीकरण समस्या को हल करने के लिए, कोई भी एल्गोरिदम को लागू कर सकता है जो स्वाभाविक रूप से मल्टीस्केल्स (निर्णय पेड़, लॉजिस्टिक प्रतिगमन, तंत्रिका नेटवर्क आदि) में परिवर्तित हो जाते हैं। वे प्रत्येक वर्ग के लिए एक अनुमान लौटाते हैं, इसलिए हम एक सीमा को परिभाषित कर सकते हैं और फिर एक विशेषता वेक्टर के लिए कई लेबल असाइन कर सकते हैं जिसके लिए निकटता स्कोर इस सीमा से अधिक है।

तंत्रिका नेटवर्क को स्वाभाविक रूप से मल्टी-लेबल वर्गीकरणों में प्रशिक्षित किया जा सकता है, जो बाइनरी क्रॉस-एन्ट्रॉपी का उपयोग लागत फ़ंक्शन के रूप में करते हैं। इस मामले में तंत्रिका नेटवर्क की आउटपुट परत में एक नोड प्रति लेबल होता है। आउटपुट लेयर के प्रत्येक नोड में सिग्मॉइड एक्टिवेशन फंक्शन होता है। तदनुसार, प्रत्येक लेबल l बाइनरी है

जहाँ l = 1, ..., L और i = 1, ..., N. बाइनरी क्रॉस-एन्ट्रापी इस संभावना को निर्धारित करता है

कि नमूना xi में लेबल l है, को

न्यूनतमकरण मानदंड के रूप में परिभाषित किया गया है - सभी प्रशिक्षण नमूनों में बाइनरी क्रॉस-एंट्रोपी के सभी सदस्यों का एक सरल औसत और उनके सभी टैग।

ऐसे मामलों में जहां संभावित लेबल मानों की संख्या छोटी है, आप वर्गीकरण समस्याओं को कई लेबल के साथ एक मल्टीस्कूल वर्गीकरण समस्या में बदलने का प्रयास कर सकते हैं। निम्नलिखित समस्या की कल्पना करें। आपको छवियों के लिए दो प्रकार के लेबल असाइन करने की आवश्यकता है। पहले प्रकार के लेबल के दो संभावित अर्थ हो सकते हैं: { फोटो, पेंटिंग }; दूसरे प्रकार के निशान के तीन संभावित अर्थ हो सकते हैं: { पोर्ट्रेट, लैंडस्केप, अन्य}। दो स्रोत वर्गों के प्रत्येक संयोजन के लिए, आप एक नई डमी कक्षा बना सकते हैं, उदाहरण के लिए:

अब हमारे पास एक ही टैग किया गया डेटा है, लेकिन हमने 1 से 6. मान वाले एक डमी लेबल के साथ सच्चे लेबल के सेट को बदल दिया है। व्यवहार में, यह दृष्टिकोण अच्छे परिणाम देता है जब कक्षाओं के बहुत अधिक संभावित संयोजन नहीं होते हैं। अन्यथा, कक्षाओं के सेट में वृद्धि की भरपाई के लिए बहुत अधिक प्रशिक्षण डेटा का उपयोग करने की आवश्यकता है।

इस बाद के दृष्टिकोण का मुख्य लाभ यह है कि ऊपर वर्णित विधियों के विपरीत, लेबल परस्पर संबंधित रहते हैं, जो प्रत्येक लेबल को एक-दूसरे से स्वतंत्र रूप से अनुमानित करते हैं। कई कार्यों में, लेबल के बीच सहसंबंध एक महत्वपूर्ण कारक हो सकता है। उदाहरण के लिए, कल्पना करें कि आप ईमेल को स्पैम और गैर- स्पैम के रूप में वर्गीकृत करना चाहते हैं, और एक ही समय में सामान्य और महत्वपूर्ण के रूप में। आप शायद [ स्पैम, महत्वपूर्ण ] जैसे पूर्वानुमानों को बाहर करना चाहेंगे ।

7.5। प्रशिक्षण को सुनिश्चित करें

मौलिक एल्गोरिदम जो हमने अध्याय 3 में शामिल किए हैं, उनकी सीमाएं हैं। अपनी सादगी के कारण, कभी-कभी वे ऐसा मॉडल नहीं बना पाते जो आपके काम के लिए पर्याप्त प्रभावी हो। ऐसे मामलों में, आप गहरे तंत्रिका नेटवर्क का उपयोग करने का प्रयास कर सकते हैं। हालांकि, व्यवहार में, गहरे तंत्रिका नेटवर्क को एक महत्वपूर्ण मात्रा में लेबल डेटा की आवश्यकता होती है, जो आपके पास नहीं हो सकता है। सरल सीखने के एल्गोरिदम की प्रभावशीलता को बढ़ाने का एक और तरीका है पहनावा प्रशिक्षण का उपयोग करना ।

पहनावा प्रशिक्षण एक प्रशिक्षण प्रतिमान है जो न केवल एक सुपर-सही मॉडल के प्रशिक्षण पर आधारित है, बल्कि कम सटीकता के साथ बड़ी संख्या में मॉडल और इन कमजोर मॉडलों द्वारा दिए गए पूर्वानुमानों को मिलाकर अधिक सही मेटामॉडल प्राप्त करने के लिए है ।

कम सटीकता वाले मॉडल आमतौर पर कमजोर शिक्षण एल्गोरिदम द्वारा प्रशिक्षित होते हैं जो जटिल मॉडल को प्रशिक्षित करने में सक्षम नहीं होते हैं और इसलिए प्रशिक्षण और पूर्वानुमान चरणों में उच्च गति दिखाते हैं। सबसे अधिक बार, निर्णय ट्री लर्निंग एल्गोरिदम का उपयोग कमजोर एल्गोरिथ्म के रूप में किया जाता है, जो आमतौर पर कई पुनरावृत्तियों के बाद प्रशिक्षण सेट को तोड़ना बंद कर देता है। परिणाम छोटा है और बहुत नियमित पेड़ नहीं हैं, लेकिन, जैसा कि कलाकारों की टुकड़ी सीखने का विचार कहता है, अगर पेड़ समान नहीं हैं और प्रत्येक पेड़ यादृच्छिक अनुमान लगाने की तुलना में कम से कम थोड़ा बेहतर है, तो हम बड़ी संख्या में ऐसे पेड़ों को मिलाकर उच्च सटीकता प्राप्त कर सकते हैं।

प्रविष्टि x के लिए अंतिम पूर्वानुमान प्राप्त करने के लिएसभी कमजोर मॉडलों के पूर्वानुमानों को भारित मतदान की कुछ विधि का उपयोग करके जोड़ा जाता है। वोटों को भारित करने का विशिष्ट रूप एल्गोरिदम पर निर्भर करता है, लेकिन सार इस पर निर्भर नहीं करता है: यदि, सामूहिक रूप से, कमजोर मॉडल यह अनुमान लगाते हैं कि ईमेल स्पैम है, हम नमूना x को स्पैम लेबल असाइन करते हैं ।

प्रशिक्षण टुकड़ी के लिए दो मुख्य विधियां बढ़ावा और बैगिंग (एकत्रीकरण) हैं। बूस्टिंग और बैगिंग की शर्तों के अनुवाद गलत हैं और आदी नहीं हैं।

7.5.1। बूस्टिंग और बैगिंग

बूस्टिंग विधि प्रारंभिक प्रशिक्षण डेटा का उपयोग करना और कमजोर एल्गोरिथ्म का उपयोग करके कई मॉडल बनाना है।

प्रत्येक नया मॉडल पिछले वाले से अलग है, इसका निर्माण करते हुए, एक कमजोर एल्गोरिदम पिछले मॉडल द्वारा की गई त्रुटियों को "ठीक" करने की कोशिश करता है। अंतिम पहनावा मॉडल इन कई कमजोर चलने वाले निर्मित मॉडल का एक संयोजन है।

बैगिंग का सार प्रशिक्षण डेटा की कई "प्रतियां" बनाना है (प्रत्येक प्रतिलिपि दूसरों से थोड़ी अलग है) और फिर कई कमजोर मॉडल प्राप्त करने के लिए प्रत्येक कॉपी में एक कमजोर एल्गोरिदम लागू करें, और फिर उन्हें संयोजित करें। बैगिंग के विचार के आधार पर एक व्यापक रूप से इस्तेमाल और कुशल मशीन लर्निंग एल्गोरिदम एक यादृच्छिक जंगल है ।

7.5.2। बेतरतीब जंगल

"क्लासिक" बैगिंग एल्गोरिथ्म निम्नानुसार काम करता है। बी यादृच्छिक नमूने मौजूदा प्रशिक्षण सेट

(प्रत्येक बी = 1, ..., बी) के

लिए बनाए जाते हैं और प्रत्येक नमूने के आधार पर एक

निर्णय ट्री मॉडल बनाया जाता है ।

कुछ बी के लिए एक नमूना प्राप्त करने के लिए , एक नमूना प्रतिस्थापन के साथ बनाया जाता है । यही है, पहले एक खाली नमूना बनाया जाता है, और फिर प्रशिक्षण सेट से एक यादृच्छिक नमूना चुना जाता है, और इसकी सटीक प्रतिलिपि अंदर रखी जाती है

, जबकि नमूना स्वयं मूल प्रशिक्षण सेट में रहता है। स्थिति पूरी होने तक डेटा का चयन जारी रहता है।

प्रशिक्षण के परिणामस्वरूप, बी निर्णय पेड़ प्राप्त होते हैं। प्रतिगमन के मामले में नए नमूना x के लिए पूर्वानुमान , बी के औसत के रूप में निर्धारित किया जाता है पूर्वानुमान

या वर्गीकरण के मामले में बहुमत के मत से।

बेतरतीब जंगल में क्लासिक बैगिंग से केवल एक अंतर है। यह एक संशोधित ट्री लर्निंग एल्गोरिदम का उपयोग करता है, जो सीखने की प्रक्रिया में प्रत्येक विभाजन के साथ, सुविधाओं के एक यादृच्छिक सबसेट की जांच करता है। यह पेड़ों के बीच सहसंबंध को खत्म करने के लिए किया जाता है: यदि एक या एक से अधिक विशेषताओं में एक बड़ी भविष्य कहनेवाला क्षमता है, तो कई पेड़ उन्हें डेटा के विभाजन के लिए चुनेंगे। इससे बड़ी संख्या में सहसंबद्ध पेड़ों के "वन" में उपस्थिति होगी। उच्च भविष्य कहनेवाला क्षमता के साथ सहसंबंध, भविष्यवाणी की सटीकता को बढ़ने से रोकता है। मॉडल के पहनावा की उच्च दक्षता को इस तथ्य से समझाया जाता है कि अच्छे मॉडल एक ही पूर्वानुमान से सहमत होने की सबसे अधिक संभावना है, और खराब मॉडल अलग-अलग पूर्वानुमानों से सहमत होने और देने की संभावना नहीं है। सहसंबंध खराब मॉडल को सहमत करने की अधिक संभावना बना देगा,जो वोटिंग पैटर्न को विकृत करेगा या औसत को प्रभावित करेगा।

ट्यूनिंग के लिए सबसे महत्वपूर्ण हाइपरपामेटर्स पेड़ों की संख्या बी और सुविधाओं के एक यादृच्छिक सबसेट का आकार है जो प्रत्येक विभाजन के लिए विचार किया जाना चाहिए।
रैंडम वन सबसे व्यापक रूप से इस्तेमाल किया जाने वाला पहनावा एल्गोरिदम है। क्या इसकी प्रभावशीलता निर्धारित करता है? कारण यह है कि मूल डाटासेट से कई नमूनों का उपयोग करके, हम अंतिम मॉडल के विचरण को कम करते हैं । याद रखें कि कम विचरण का अर्थ है, पीछे हटने की एक कमजोर प्रवृत्ति। जब डेटा सेट में छोटे बदलावों को समझाने की कोशिश करता है तो रिट्रीटिंग होती है क्योंकि डेटा सेट उस घटना के सभी संभावित उदाहरणों का एक छोटा सा नमूना है जिसे हम अनुकरण करने की कोशिश कर रहे हैं। प्रशिक्षण सेट के गठन के लिए एक असफल दृष्टिकोण के मामले में, कुछ अवांछनीय (लेकिन अपरिहार्य) कलाकृतियों में गिर सकता है: शोर, असामान्य और अत्यधिक या अपर्याप्त प्रतिनिधि डेटा। प्रशिक्षण सेट के प्रतिस्थापन के साथ कई यादृच्छिक नमूने बनाकर, हम इन कलाकृतियों के प्रभाव को कम करते हैं।

7.5.3। धीरे-धीरे बूस्ट

बढ़ावा देने के विचार के आधार पर एक और प्रभावी पहनावा प्रशिक्षण एल्गोरिथ्म धीरे-धीरे बढ़ाने वाला है। सबसे पहले, प्रतिगमन में ढाल बढ़ाने के उपयोग पर विचार करें। हम एक स्थिर मॉडल के साथ एक प्रभावी प्रतिगमन मॉडल बनाना शुरू करेंगे

(जैसा कि हमने ID3 में किया था):

फिर सभी नमूनों में लेबल को i = 1, ..., N को प्रशिक्षण सेट में बदलें:

जहां शेष

को कहा जाता है और नमूने का नया लेबल है। अब हम निर्णय वृक्ष के नए मॉडल के निर्माण के लिए मूल लेबल के बजाय अवशेषों के साथ संशोधित प्रशिक्षण सेट का उपयोग करते हैं। बूस्टिंग मॉडल को अब परिभाषित किया गया है जहां α सीखने की गति (हाइपरपरमेटर) है। फिर, हम समीकरण 7.2 का उपयोग कर बच पुनर्गणना, फिर से प्रशिक्षण डेटा में लेबल बदल, निर्णय वृक्ष का एक नया मॉडल को पढ़ाने, बढ़ाने मॉडल को फिर से परिभाषित के रूप में हम प्रक्रिया को दोहराने, जब तक हम पूर्व निर्धारित अधिकतम संख्या गठबंधन के एम पेड़।

आइए सहज रूप से समझें कि यहां क्या हो रहा है। अवशिष्टों की गणना करके, हम यह निर्धारित करते हैं कि प्रत्येक प्रशिक्षण नमूने का लक्ष्य कितनी अच्छी तरह (या खराब) वर्तमान मॉडल एफ द्वारा अनुमानित है। फिर हम वर्तमान मॉडल की त्रुटियों को ठीक करने के लिए एक और पेड़ को प्रशिक्षित करते हैं (यही कारण है कि हम वास्तविक लेबल के बजाय बचे हुए का उपयोग करते हैं) और मौजूदा मॉडल में कुछ वजन α के साथ एक नया पेड़ जोड़ते हैं। नतीजतन, मॉडल में जोड़ा गया प्रत्येक नया पेड़ पिछले पेड़ों द्वारा की गई गलतियों को आंशिक रूप से ठीक करता है। यह प्रक्रिया तब तक जारी रहती है जब तक कि पेड़ों की अधिकतम संख्या M (एक और हाइपरपैरमीटर) संयुक्त न हो जाए।

अब इस प्रश्न का उत्तर देने की कोशिश करते हैं कि इस एल्गोरिथ्म को ग्रेडिएंट बूस्टिंग क्यों कहा जाता है। ग्रेडिएंट बूस्टिंग में, हम ग्रेडिएंट की गणना नहीं करते हैं, इसके विपरीत हमने अध्याय 4 में क्या किया था, रैखिक रिग्रेशन समस्या को हल करते हुए। ग्रेडिएंट बूस्टिंग और ग्रेडिएंट डिसेंट के बीच समानताएं देखने के लिए, याद रखें कि हमने रैखिक रिग्रेशन में ग्रेडिएंट की गणना क्यों की: एमएसई लागत फ़ंक्शन को कम करने के लिए पैरामीटर मानों की दिशा का पता लगाने के लिए। ढाल दिशा दिखाता है, लेकिन यह नहीं दिखाता है कि इस दिशा में कितनी दूर जाना है, इसलिए प्रत्येक पुनरावृत्ति में हमने एक छोटा कदम उठाया, और फिर से दिशा निर्धारित की। यही बात ग्रेडिएंट बूस्टिंग में भी होती है, लेकिन ग्रेडिएंट की सीधे गणना करने के बजाय, हम इसके अनुमान का उपयोग अवशिष्ट के रूप में करते हैं: वे दिखाते हैं कि त्रुटि को कम करने के लिए मॉडल को कैसे समायोजित किया जाना चाहिए (अवशिष्ट)।

ग्रेडिंग बूस्टिंग में, ट्यूनिंग के लिए तीन मुख्य हाइपरपरमेटर्स उपलब्ध हैं: पेड़ों की संख्या, सीखने की गति और पेड़ों की गहराई। तीनों मॉडल की सटीकता को प्रभावित करते हैं। पेड़ों की गहराई भी सीखने और पूर्वानुमान की गति को प्रभावित करती है: जितनी छोटी गहराई, उतनी ही तेजी से।

यह दिखाया जा सकता है कि अवशिष्ट द्वारा सीखना मानक त्रुटि मानक के लिए समग्र मॉडल एफ का अनुकूलन करता है। यहां आप बैगिंग से अंतर देख सकते हैं: वर्जन बढ़ाने के बजाय पूर्वाग्रह (या शिक्षा की कमी) को कम करता है। नतीजतन, बूस्टिंग रिट्रेनिंग के अधीन है। हालांकि, पेड़ों की गहराई और संख्या को समायोजित करके, पुन: उपयोग से काफी हद तक बचा जा सकता है।

ग्रेडिंग कार्यों के लिए ग्रेडिंग बूस्टिंग समान है, लेकिन चरण थोड़े अलग हैं। बाइनरी वर्गीकरण के मामले पर विचार करें। मान लीजिए कि एम प्रतिगमन निर्णय पेड़ हैं। लॉजिस्टिक रिग्रेशन के साथ समानता से, निर्णय वृक्षों के पहनावे का पूर्वानुमान सिग्मॉइड फ़ंक्शन का उपयोग करके तैयार किया जाता है:

जहां

प्रतिगमन वृक्ष है।

और फिर, लॉजिस्टिक रिग्रेशन की तरह, जब एक मॉडल एफ को अधिकतम करने की कोशिश

की जाती है, तो अधिकतम संभावना के सिद्धांत को लागू किया जाता है। इसी तरह, संख्यात्मक अतिप्रवाह से बचने के लिए, हम संभावना की उत्पाद के बजाय संभावना लघुगणक के योग को अधिकतम करते हैं।

एल्गोरिथ्म प्रारंभिक स्थिर मॉडल के साथ शुरू होता है

जहां

(यह दिखाया जा सकता है कि इस तरह के आरंभीकरण सिग्मोइड फ़ंक्शन के लिए इष्टतम है।) फिर, प्रत्येक पुनरावृत्ति मीटर पर, मॉडल में एक नया ट्री fm जोड़ा जाता है। सबसे अच्छा पेड़ खोजने के लिए सबसे अच्छा पेड़

खोजने के लिए

वर्तमान मॉडल के आंशिक व्युत्पत्ति की गणना प्रत्येक i = 1, ..., N: के लिए की जाती है।

जहां च पिछले पुनरावृत्ति मीटर पर निर्मित पहनावा क्लासिफायर का मॉडल है - 1. गणना करने के लिए

, हमें

सभी के लिए च के संबंध में डेरिवेटिव का पता लगाने की आवश्यकता है । ध्यान दें कि

पिछले समीकरण में सही शब्द f के संबंध में व्युत्पन्न है

फिर, प्रशिक्षण सेट को

संबंधित आंशिक व्युत्पन्न के मूल लेबल को बदलकर बदल दिया जाता है

, और परिवर्तित प्रशिक्षण सेट के आधार पर एक नया पेड़ बनाया जाता है।

इसके बाद, इष्टतम अद्यतन चरण के

रूप में निर्धारित किया जाता है:

पुनरावृत्ति मी के अंत में, हम

एक नया पेड़ जोड़कर कलाकारों की टुकड़ी का अद्यतन करते हैं

स्थिति m = M के पूरा होने तक Iterations जारी रहता है, जिसके बाद प्रशिक्षण बंद हो जाता है और पहनावा मॉडल f प्राप्त होता है।

ग्रेडिंग बूस्टिंग सबसे शक्तिशाली मशीन लर्निंग एल्गोरिदम में से एक है। न केवल इसलिए कि यह बहुत सटीक मॉडल बनाता है, बल्कि इसलिए भी क्योंकि यह लाखों डेटा और सुविधाओं के साथ विशाल डेटा सेट को संसाधित करने में सक्षम है। एक नियम के रूप में, यह एक यादृच्छिक जंगल की सटीकता में श्रेष्ठ है, लेकिन सुसंगत प्रकृति के कारण यह बहुत धीरे-धीरे सीख सकता है।

बहु-टैग वर्गीकरण

7.5। प्रशिक्षण को सुनिश्चित करें

7.5.1। बूस्टिंग और बैगिंग

7.5.2। बेतरतीब जंगल

7.5.3। धीरे-धीरे बूस्ट

More articles: