कैस्केडिंग के बारे में कुछ तथ्य, जो वैज्ञानिक लेखों में शायद ही कभी गंभीरता से माना जाता है।

हाय हमर! आज हम फिर से मान्यता के बारे में बात करेंगे। अर्थात्, कैस्केडिंग क्लासिफायर के रूप में इस तरह के एक सरल पहचानकर्ता मॉडल के बारे में। उस कैस्केड का उपयोग वियोला और जोन्स की लोकप्रिय पद्धति में किया जाता है, जिसके बारे में वे अब तक कई बार हैबे (उदाहरण के लिए, यहां , यहां और यहां ) पर लिख चुके हैं । दुखद बात यह है कि लेखों की प्रचुरता के बावजूद, किसी ने भी कैस्केडिंग क्लासिफायर का गंभीरता से अध्ययन नहीं किया। और न केवल हबेरा पर, बल्कि वैज्ञानिक समुदाय भी। हालांकि कैस्केडिंग क्लासिफायर सरल लगता है, इसमें बहुत सारे नुकसान और दिलचस्प विशेषताएं हैं। इसलिए, हम आपके साथ अपना ज्ञान साझा करने की जल्दी में हैं। तो, अगर दिलचस्पी है, तो बिल्ली में आपका स्वागत है।

कैस्केडिंग क्लासिफायर एक बहुत ही सरल मॉडल है। इसमें कई क्रमिक स्तर होते हैं, जिनमें से प्रत्येक को बाइनरी क्लासिफायरियर के रूप में दर्शाया जा सकता है। जांच की गई मिसाल पहले स्तर के इनपुट और फिर "यात्रा" स्तर के स्तर तक खिलाया जाता है। यदि अगले स्तर पर क्लासिफायरेंट मिसाल को नकारात्मक के रूप में पहचानता है, तो इसका अब कैस्केड के शेष क्लासिफायर द्वारा विश्लेषण नहीं किया जाता है। इस तरह का एक सरल मॉडल वियोला और जोन्स विधि [1] के प्रकाशन के बाद लोकप्रिय हो गया, जहां, जैसा कि कहा गया है, इसका उपयोग उच्च प्रदर्शन प्रदान करने के लिए किया गया था। लेकिन क्या यह सिर्फ इसके लिए है? क्या यह सिर्फ कैस्केडिंग क्लासिफायर है? चलो यह पता लगाने!

हम आज के लेख का निर्माण एक प्रारूप में हैबे पर करेंगे, जो हमारे लिए नया है। हम कई बयानों का चयन करेंगे जिन्हें हम विस्तार से प्रकट करेंगे और यहां तक ​​कि कहीं भी खंडन करेंगे। तो चलो शुरू करते है!

वियोला और जोन्स विधि में कैस्केडिंग क्लासिफायर का उपयोग बस ऑब्जेक्ट डिटेक्टर के संचालन को तेज करने के लिए किया जाता है

मूल लेख में [1] पहले पृष्ठ पर इस तरह का एक वाक्यांश है:

इस पत्र का तीसरा प्रमुख योगदान एक कैस्केड संरचना में क्रमिक रूप से अधिक जटिल क्लासिफायर के संयोजन के लिए एक विधि है जो छवि के होनहार क्षेत्रों पर ध्यान केंद्रित करके डिटेक्टर की गति को बढ़ाता है।

दरअसल, वियोला और जोन्स की मूल विधि छवि में वस्तुओं की खोज करने के लिए डिज़ाइन की गई है। इसके अलावा, पता लगाने की समस्या को बाइनरी क्लासिफायर का उपयोग करके स्लाइडिंग विंडो विधि द्वारा हल किया जाता है, जो कि जांच की गई छवि के प्रत्येक बिंदु पर विभिन्न तराजू पर लगाया जाता है। पता लगाने के चरण में अध्ययन किए गए डेटा का असंतुलन (अध्ययन के तहत प्रत्येक छवि में वांछित वस्तु के बिना "खाली" क्षेत्र, वस्तुओं के साथ क्षेत्रों की तुलना में लाखों या अरबों गुना अधिक) ने कैस्केड के उपयोग को प्रेरित किया - एक तंत्र जो आपको "खाली" क्षेत्रों को जल्दी से काटने की अनुमति देता है।

लेकिन यह पहले से ही प्रशिक्षित क्लासिफायर का उपयोग करने के बारे में था। अब हम क्लासिफायर ट्रेनिंग प्रक्रिया की ओर मुड़ते हैं। यह पता चला है कि नमूना असंतुलन की बिल्कुल यही समस्या है: सकारात्मक उदाहरणों की संख्या की तुलना में नकारात्मक उदाहरणों की संख्या कई गुना अधिक (लाखों और अरबों गुना अधिक) है। लेकिन इसकी वास्तुकला के लिए धन्यवाद, कैस्केड के प्रत्येक नए स्तर को AdaBoost विधि द्वारा पूरे नकारात्मक प्रशिक्षण नमूने पर नहीं, बल्कि केवल कैस्केड के पिछले स्तरों से त्रुटियों के सीमित सेट पर प्रशिक्षित किया जाता है! यह आपको एक संतुलित और सीमित नमूने पर AdaBoost प्रशिक्षण मशीन को चलाने की अनुमति देता है!

जैसा कि आप देख सकते हैं, वायोला और जोन्स विधि में कैस्केड क्लासिफायर का उपयोग दो बार शूट करता है:

1. यह आपको क्लासिफायर को आसानी से प्रशिक्षित करने की अनुमति देता है, स्वाभाविक रूप से "अनंत" प्रशिक्षण सेट की समस्या से बचता है;
2. यह वस्तु का पता लगाने के दौरान "खाली" क्षेत्रों की तेजी से क्लिपिंग प्रदान करता है, जिसके कारण उच्च औसत उत्पादकता प्राप्त होती है।

ठीक है, चलो क्लासिक कैस्केड का अध्ययन करना जारी रखें और प्रदर्शन के मुद्दे पर जाएं।

इसे ध्यान में रखते हुए, कैस्केडिंग क्लासिफायर एक त्वरण उपकरण है।

हमें कैस्केड के उद्देश्य के सवाल पर एक बार फिर से लौटना चाहिए, लेकिन अब दूसरी तरफ। अगर आप कैस्केड क्लासिफायर को गणितीय रूप से देखते हैं, तो आप देख सकते हैं कि कैस्केड मजबूत क्लासीफायर का एक संयुक्त रूप है (जिनमें से प्रत्येक को सुविधाओं की रैखिक संरचना के रूप में दर्शाया जा सकता है):

$$

$$Cascade\left(x\right)=\prod_{i=1}^{N}\left[S_i\left(x\right)>0\right], \\ S\left(x\right)=\left[\sum_{t=1}^{T}{\alpha_t\cdot h_t\left(x\right)}>0\right],$$

कहाँ पे $$$\left[\bullet\right]$- सूचक कार्य।

सीमित संख्या में उपलब्ध विशेषताओं की स्थितियों में (जो व्यवहार में, प्रदर्शन का पीछा करते समय, यह एक सामान्य स्थिति बन जाती है), मजबूत क्लासीफायर के संयुग्मित रूप में एकल रैखिक क्लासिफायरियर की तुलना में अधिक अभिव्यंजक क्षमता होती है। यह समझना आसान है यदि आप एक सरल उदाहरण की कल्पना करते हैं, जहां सुविधा स्थान में दो तत्व होते हैं, और इन विशेषताओं के निर्देशांक में व्यक्त सकारात्मक और नकारात्मक वस्तुएं स्थित हैं जैसा कि नीचे दिए गए आंकड़े में दिखाया गया है (हरे रंग की वस्तुएं सकारात्मक वस्तुओं को दर्शाती हैं और हरे रंग की वस्तुएं नकारात्मक वस्तुओं को दर्शाती हैं)। यह स्पष्ट है कि ऐसा कोई एकल रैखिक वर्गीकरणकर्ता नहीं है जो इस नमूने को सही ढंग से विभाजित कर सके। लेकिन चार स्तरों का एक झरना इस कार्य की गारंटी के साथ सामना करेगा।


इस प्रकार, उत्पादकता में वृद्धि के अलावा, कैस्केड क्लासिफायर का उपयोग, सीमित संख्या में सुविधाओं की स्थितियों में एकल रैखिक क्लासिफायर की तुलना में अधिक अभिव्यंजक शक्ति भी प्रदान करता है।

कैस्केडिंग क्लासिफायर लगातार उच्च प्रदर्शन प्रदान करता है और आसानी से वास्तविक समय की मान्यता प्रणालियों में उपयोग किया जा सकता है

जैसा कि हमने ऊपर कहा, कैस्केड योजना आपको "रिक्त" क्षेत्रों की तेजी से स्क्रीनिंग के कारण उच्च प्रदर्शन प्राप्त करने की अनुमति देती है, क्योंकि उनकी संख्या वस्तु वाले क्षेत्रों की संख्या से अधिक परिमाण के कई आदेश हैं। "खाली" क्षेत्र का प्रसंस्करण समय क्षेत्र के प्रसंस्करण समय से कई गुना (झरना की लंबाई के अनुपात के अनुपात में) के साथ क्षेत्र के प्रसंस्करण समय से भिन्न होता है।

चूंकि ऑब्जेक्ट वाले क्षेत्रों की संख्या छवि से छवि में भिन्न होती है, इसलिए प्रत्येक फ्रेम का प्रसंस्करण समय भी भिन्न होता है। इस तथ्य के कारण कि एक वस्तु के बिना क्षेत्रों की तुलना में फ्रेम पर एक वस्तु के साथ काफी कम क्षेत्र हैं, प्रसंस्करण समय में अंतर दसियों बार नहीं मापा जाता है, लेकिन दस प्रतिशत प्रतिशत, जो, फिर भी, औद्योगिक मान्यता प्रणालियों में महत्वपूर्ण है।

इस प्रकार, विभिन्न चित्रों में कैस्केड क्लासिफायर का ऑपरेटिंग समय काफी भिन्न हो सकता है। इसलिए, जब क्लासीफायर के प्रदर्शन का गंभीर माप किया जाता है, तो माप औसत समय और सबसे खराब मामलों में ऑपरेटिंग समय का होना चाहिए। और हमेशा कैस्केडिंग क्लासिफायर का उपयोग करते समय इस तरह के अस्थायी "विसंगतियों" के लिए तैयार रहें।

हमारे व्यवहार में, हमने पहले से ही औसत और सबसे खराब मामलों में कैस्केड के संचालन समय में एक महत्वपूर्ण विसंगति के कारण गंभीर समस्याओं का सामना किया है। टोल रोड ऑटोमेशन परियोजना के हिस्से के रूप में, हमने कार के प्रकार को पहचानने की समस्या को हल किया, जहां मुख्य उप-कार्यों में से एक पहियों की गिनती की समस्या थी। बेशक, हमने व्यक्तिगत फ्रेम पर पहियों का पता लगाने के लिए वियोला और जोन्स विधि का इस्तेमाल किया। पहियों की महान परिवर्तनशीलता (नीचे का आंकड़ा देखें) के कारण, प्रशिक्षित कैस्केड काफी लंबा (20 स्तर) था। हमने प्रत्येक फ्रेम के लिए अलग-अलग प्रसंस्करण समय से जुड़ी लाइव अप्रिय समस्याओं को देखा, जिसने हमें वास्तविक समय में मान्यता प्रणाली के निर्माण से गंभीरता से रोका।


फिर हमने एक क्लासिक कैस्केडिंग क्लासिफायर का विचार एक पूर्ण निर्णय वाले पेड़ के लिए विकसित किया, इस तरह के निर्णय पेड़ के लिए एक अनूठी सीखने की तकनीक विकसित की (याद रखें कि एक एल्गोरिथ्म का प्रस्ताव करना आवश्यक था जो हमें "अंतहीन प्रशिक्षण सेट" से जुड़ी समस्याओं से बचने की अनुमति देगा)। इस एल्गोरिथ्म का विवरण हमारे वैज्ञानिक कार्य [3] में पाया जा सकता है। यहाँ हम केवल कुछ तथ्यों की रिपोर्ट करते हैं:

1. एक प्रशिक्षित पेड़ में सबसे लंबे रास्ते में 6 मजबूत क्लासिफायर्स होते हैं (एक प्रशिक्षित ट्री क्लासिफायरियर की योजना नीचे दिए गए चित्र में दिखाई गई है)।
2. एक प्रशिक्षित ट्री क्लासिफायर ने पहले से प्रशिक्षित कैस्केड की तुलना में काम की बेहतर गुणवत्ता प्रदान की। यह तार्किक है और इस तथ्य से अनुसरण करता है कि पेड़ की तरह की झरना की अभिव्यंजक शक्ति (जो एक संयुग्म-विघटनकारी रूप है) कैस्केड की अभिव्यंजक शक्ति (संयुग्मक रूप) से अधिक है।
3. एक प्रशिक्षित ट्री-क्लासिफायर ने सबसे खराब स्थिति में कैस्केड को गंभीर रूप से दरकिनार कर दिया, लगभग बिना औसत खोए।

नीचे दी गई तालिका में कैस्केड और ट्री क्लासिफायर की संख्यात्मक तुलना प्रस्तुत की गई है।


इस प्रकार, यदि आप वास्तव में वास्तविक समय में मान्यता प्रणालियों में कैस्केडिंग क्लासिफायर का उपयोग करना चाहते हैं, तो हमेशा औसत और सबसे खराब मामलों में काम की गति से जुड़ी सुविधाओं के बारे में याद रखें।

कैस्केडिंग क्लासिफायर प्रशिक्षण प्रौद्योगिकियां इतनी स्पष्ट हैं कि गंभीरता से परेशान करने के लिए कुछ भी नहीं है।

ओह, यह शायद कैस्केडिंग क्लासिफायर से संबंधित सबसे कठिन विषयों में से एक है। लब्बोलुआब यह है कि सभी लेखों में जो हम मिले हैं, कैस्केड सीखने की प्रक्रिया को कैस्केड सीखने के एल्गोरिथ्म की प्रभावशीलता के उचित औचित्य के बिना, खराब, सतही रूप से वर्णित किया गया है। आमतौर पर, कैस्केड सीखने का एल्गोरिथ्म कुछ इस तरह दिखता है:

1. झूठी मान्यता के शेयर के मूल्यों पर निर्णय लें ($$$F$) पूरे कैस्केड के लिए।
2. सही मान्यता के हिस्से के मूल्यों पर निर्णय लें ($$$d$) और झूठी मान्यता के अंश ($$$f \lt F$) प्रत्येक मान्यता स्तर के लिए।
3. अंतिम क्लासिफायरियर के गुणवत्ता संकेतकों का ईमानदारी से मूल्यांकन करने के लिए एक सत्यापन नमूने पर निर्णय लें।
4. कैस्केड के प्रत्येक नए स्तर को प्रशिक्षित करें (जो हम याद करते हैं, सभी उपलब्ध सकारात्मक उदाहरणों के साथ-साथ वर्तमान कैस्केड की झूठी सकारात्मक त्रुटियों पर प्रशिक्षित किया गया है) ताकि इसका प्रदर्शन $$$d_i$तथा $$$f_i$दिए गए से भी बदतर नहीं थे $$$d_i>d$तथा $$$f_i \lt f$। वैसे, इन संकेतकों को अपने आप में सुनिश्चित करने की प्रक्रिया भी बहुत रुचि है।
5. कैस्केड में नए प्रशिक्षित स्तर को जोड़ें और सत्यापन नमूने में इसके गुणवत्ता संकेतकों का मूल्यांकन करें। यदि झूठी मान्यता दर लक्ष्य से कम है$$$F$, फिर प्रशिक्षण समाप्त करें। अन्यथा, कैस्केड के एक नए स्तर को जानने के लिए चरण 4 पर जाएं।

यदि उपरोक्त एल्गोरिथम के परिणामस्वरूप प्रशिक्षित किया गया है $$$K$कैस्केड के स्तर, फिर आप कैस्केड की सही पहचान की हिस्सेदारी की औसत जटिलता का अनुमान लगा सकते हैं:

$$

$$N=n_1+\sum_{i=2}^{K}\left(n_i\prod_{j=2}^{i}p_j\right),\\ D=\prod_{i=1}^{K}d_i,$$

कहाँ पे $$$n_i$- जटिलता $$$i$झरना स्तर $$$p_i$- गणना की संभावना $$$i$स्तर झरना, और $$$d_i$- सही पहचान का हिस्सा $$$i$स्तर का झरना।

जैसा कि आप देख सकते हैं, कैस्केड की जटिलता प्रस्तुत किए गए प्रशिक्षण एल्गोरिथ्म में भाग नहीं लेती है, इसलिए, निश्चित रूप से, इसे प्रदर्शन में प्रभावी नहीं कहा जा सकता है। उसी समय, हम यह सुनिश्चित करने के लिए जानते हैं कि दुनिया भर के वैज्ञानिक कैस्केड के लिए एल्गोरिदम सीखने के महत्व के बारे में दृढ़ता से आश्वस्त हैं। एक पुष्टि के रूप में, यहां पॉल वियोला और माइकल जोन्स [4] के एक लेख का एक उद्धरण है:

The overall training process involves two types of tradeoffs. In most cases classifiers with more features will achieve higher detection rates and lower false positive rates. At the same time classifiers with more features require more time to compute. In principle one could define an optimization framework in which
– the number of classifier stages,
– the number of features, $$$n_i$, of each stage,
– the threshold of each stage
are traded off in order to minimize the expected number of features $$$N$given a target for $$$F$and $$$D$. Unfortunately finding this optimum is a tremendously difficult problem.

यह दिलचस्प है कि 2016 में किए गए प्रासंगिक साहित्य की हमारी समीक्षा से पता चला है कि उस समय क्लासशीफर्स के लिए कोई प्रभावी प्रशिक्षण एल्गोरिदम नहीं थे। वैसे, यह तब था जब हमने स्मार्ट इंजन में इस समस्या को हल किया था। हमने निम्नलिखित कार्यात्मक का अध्ययन किया, जो पहली तरह की त्रुटियों का पता लगाने पर निर्भर करता है ($$$E_1$), दूसरी तरह की त्रुटियों का पता लगाना ($$$E_2$) और मध्यम कठिनाई ($$$N$):

$$

$$F\left(E_1,\ {\ E}_2,\ N\right)=\ {\ \beta_1\cdot\ E}_1+\ \beta_2\cdot E_2+\ \ \beta_3\cdot N.$$

मापदंडों का चयन $$$\beta_1$, $$$\beta_2$तथा $$$\beta_3$पहले और दूसरे प्रकार की त्रुटियों की सापेक्ष लागत निर्धारित करें, साथ ही परिणामी डिटेक्टर की जटिलता। इसके अलावा, कैस्केड क्लासिफायर के प्रशिक्षण की प्रक्रिया में, हमने चयनित स्तर को अधिकतम करने वाले कैस्केड प्राप्त करने के लिए प्रत्येक स्तर पर मापदंडों की गणना के लिए लालची एल्गोरिथ्म का उपयोग किया। विकसित एल्गोरिथ्म का एक विस्तृत विवरण इस लेख के दायरे से परे है, लेकिन हम एक ग्रंथ सूची [5] प्रदान करके आपको, हमारे पाठक के साथ इसे साझा करने के लिए हमेशा तैयार हैं।

निष्कर्ष

एक उदाहरण के रूप में कैस्केडिंग क्लासिफायर मॉडल का उपयोग करते हुए, हमारी ओर से कही गई सभी बातों को संक्षेप में, हम निम्नलिखित निष्कर्ष निकालना चाहते हैं:

1. एक वैज्ञानिक कार्य को पूरा करना शायद ही कभी संभव होता है जिसमें सभी आवश्यक विवरणों का अच्छी तरह से वर्णन किया जाता है।
2. वैज्ञानिक लेखों को फिर से पढ़ने के लिए यह बहुत उपयोगी है, उनमें प्रस्तुत किए गए मॉडल के गुणों और सीमाओं के बारे में गंभीरता से सोचते हुए, भले ही पहली नज़र में ऐसा लगता है कि लेख में सब कुछ "चबाया" गया है।
3. हमेशा योग्य वैज्ञानिक अनुसंधान के लिए एक जगह होगी, भले ही अध्ययन मॉडल 20 साल पहले प्रस्तावित किया गया हो।

अगर इस लेख में प्रस्तुत सामग्री उपयोगी है और निश्चित रूप से टिप्पणियों में एक उपयोगी चर्चा के लिए तैयार है, तो हमें बहुत खुशी होगी।

धन्यवाद।