👰🏻 👃🏾 🕵🏼 हम कंप्यूटर दृष्टि का उपयोग करके लोगों की गणना कैसे करते हैं 🧀 🤤 🚴🏼

खुले स्रोतों से तस्वीरें

लोगों की सामूहिक भीड़ विभिन्न क्षेत्रों (खुदरा, सार्वजनिक सेवाओं, बैंकों, डेवलपर्स) में समस्याएं पैदा करती हैं। ग्राहकों को कई स्थानों पर लोगों की संख्या के बारे में जानकारी को संयोजित करने और उनकी निगरानी करने की आवश्यकता है: सेवा कार्यालयों, प्रशासनिक भवनों, निर्माण स्थलों पर, आदि।

गिनती कार्य करने वाले लोगों के पास तैयार-किए गए समाधान हैं, उदाहरण के लिए, अंतर्निहित एनालिटिक्स के साथ कैमरों का उपयोग करना। हालांकि, कई मामलों में विभिन्न विभागों में पहले से स्थापित कैमरों की एक बड़ी संख्या का उपयोग करना महत्वपूर्ण है। इसके अलावा, एक समाधान जो किसी विशेष ग्राहक की बारीकियों को ध्यान में रखता है, उसके लिए बेहतर होगा।

हमारे नाम तात्याना वोरोनोवा और एलविरा डायमिनोवा हैं, हम केंद्र 2 एम में डेटा विश्लेषण में लगे हुए हैं। हालाँकि यह विषय सबसे सरल प्रतीत होता है जो अब कंप्यूटर विज़न समस्याओं में माना जाता है, यहाँ तक कि इस कार्य में, जब यह अभ्यास (कार्यान्वयन) की बात आती है, तो कई जटिल और गैर-तुच्छ उप-योगों को हल करना पड़ता है। हमारे लेख का उद्देश्य बुनियादी समस्याओं में से एक को सुलझाने के उदाहरण का उपयोग करके कंप्यूटर दृष्टि की समस्याओं की जटिलता और बुनियादी दृष्टिकोण को दिखाना है। निम्नलिखित सामग्रियों के लिए, हम सहयोगियों को आकर्षित करना चाहते हैं: वीडियो एनालिटिक्स पर devops, Engineer, प्रोजेक्ट मैनेजर, ताकि वे शामिल कंप्यूटिंग संसाधनों, गति माप, ग्राहकों के साथ संवाद करने की बारीकियों और परियोजना कार्यान्वयन कहानियों के बारे में बात करें। हम उपयोग किए गए कुछ डेटा विश्लेषण विधियों पर ध्यान केंद्रित करेंगे।

चलो निम्नलिखित कथन से शुरू करते हैं: आपको सेवा कार्यालय में कतार में लोगों की संख्या प्रदर्शित करने की आवश्यकता है। यदि ग्राहक कंपनी के आंतरिक नियमों के अनुसार कतार को महत्वपूर्ण माना जाता है, तो आंतरिक परिदृश्य पर काम करना शुरू हो जाएगा:

अतिरिक्त प्रवेश / कैश डेस्क खोलने की आवश्यकता की सूचना;
प्रबंधक कॉल;
लोगों को अन्य (अधिक मुक्त) नकदी डेस्क पर प्रवाह को पुनर्निर्देशित करने की आवश्यकता के बारे में बताना।

इस प्रकार, हमारा काम ग्राहकों को बहुत सारी नसों को बचाएगा।

मशीन लर्निंग मॉडल का इस्तेमाल किया

लोग सिल्हूट का पता लगाते हैं

प्रारंभ में, हमने लोगों (सिल्हूट) का पता लगाने के लिए पहले से ही प्रशिक्षित मॉडल का उपयोग करने का फैसला किया, क्योंकि इस तरह के कार्यों में काफी अच्छे समाधान हैं, उदाहरण के लिए, सिल्हूट की परिभाषा ।

तो, TensorFlow पुस्तकालय में पूर्व-प्रशिक्षित मॉडल की एक बड़ी संख्या है ।

परीक्षणों का संचालन करने के बाद, हम पहले दो आर्किटेक्चर पर बसे: फास्टर आर-सीएनएन और योलो वी 2। बाद में, नया संस्करण दिखाई देने के बाद, हमने YOLO v3 को जोड़ा।

मॉडल का विवरण ।

YOLO v2 के लिए एक मान्यता परिणाम का एक उदाहरण (इसके बाद, छवियों को मुफ्त स्रोतों से लिया जाता है - हम ग्राहक कैमरों से फ्रेम प्रकाशित नहीं कर सकते हैं):

फास्टर आर-सीएनएन के लिए एक मान्यता परिणाम का एक उदाहरण:

योलो का लाभ यह है कि मॉडल तेजी से प्रतिक्रिया करता है, और कुछ कार्यों में यह महत्वपूर्ण है। हालांकि, व्यवहार में, हमें पता चला कि यदि मॉडल के पूर्व-प्रशिक्षित संस्करण का उपयोग करना संभव नहीं है, और इसके विशेष प्रशिक्षण सेट पर अतिरिक्त प्रशिक्षण की आवश्यकता है, तो फास्टर आर-सीएनएन का उपयोग करना अधिक सही है। यदि कैमरा लोगों से काफी दूर स्थापित किया गया था (1920 से 1080 के एक संकल्प के लिए सिल्हूट की ऊंचाई 100 पिक्सेल से कम है) या किसी व्यक्ति पर व्यक्तिगत सुरक्षात्मक उपकरण को पहचानना आवश्यक था: हेलमेट, फास्टनरों, सुरक्षात्मक कपड़े तत्व, ऐसी स्थितियों में आपके स्वयं के डाटासेट पर प्रशिक्षण परिणाम की गुणवत्ता (10 तक) हजार अलग-अलग वस्तुएं) YOLO v2 के लिए हम संतुष्ट नहीं थे।

YOLO v3 ने स्वीकार्य परिणाम दिखाए, हालांकि, स्पीड परीक्षण ने फास्टर आर-सीएनएन की तुलना में YOLO v3 के लिए महत्वपूर्ण लाभ नहीं दिया। इसके अलावा, हमने बैच (छवियों के समूह प्रसंस्करण), छवियों के चयनात्मक विश्लेषण (नीचे इस पर अधिक) का उपयोग करके मान्यता गति बढ़ाने का एक तरीका पाया।

सभी प्रकार के मॉडल के लिए, हमने परिणामों के पोस्ट-प्रोसेसिंग का उपयोग करके सटीकता में सुधार किया: हमने मूल्यों में आउटलेयर को हटा दिया, लगातार फ्रेम के एक सेट के लिए सबसे आम मान लिया। एक कैमरे से एक सेकंड आमतौर पर 25-50 फ्रेम से मेल खाती है। बेशक, प्रदर्शन में सुधार करने के लिए (कैमरों की बढ़ती संख्या के साथ), हम हर फ्रेम का विश्लेषण नहीं करते हैं, लेकिन अक्सर कई सेकंड के अंतराल पर अंतिम जवाब देना संभव होता है, यानी कई फ्रेम का उपयोग करते हैं। यह निर्णय गतिशील रूप से लिया जा सकता है, कैमरों की कुल संख्या (प्रसंस्करण के लिए वीडियो स्ट्रीम) और उपलब्ध कंप्यूटिंग शक्ति को ध्यान में रखते हुए।

अपने स्वयं के डाटासेट पर प्रशिक्षित तेज़ आर-सीएनएन मॉडल का उपयोग करने का एक उदाहरण:

अब हम एसएसडी -300 मॉडल के साथ परीक्षण कर रहे हैं। हमें उम्मीद है कि मान्यता की स्वीकार्य गुणवत्ता को बनाए रखते हुए यह हमें उत्पादकता में वृद्धि देगा।

अपना स्वयं का प्रशिक्षण डेटासेट बनाना

ऐसे मामलों में जहां आप अपना स्वयं का सीखने का सेट बनाना चाहते हैं, हमने अपने लिए निम्न प्रक्रिया विकसित की है:

हम आवश्यक वस्तुओं के साथ वीडियो क्लिप एकत्र करते हैं: ग्राहकों के वीडियो, सार्वजनिक डोमेन में वीडियो (वीडियो, निगरानी कैमरे);
हम वीडियो टुकड़ों को काटते हैं और फ़िल्टर करते हैं ताकि परिणामी डाटासेट विभिन्न मान्यता प्राप्त वस्तुओं में संतुलित हो;
हम आवश्यक वस्तुओं को उजागर करने के लिए मार्करों के बीच फ़्रेम वितरित करते हैं। मार्कअप टूल का एक उदाहरण ;
चुनिंदा मार्करों के परिणामों की जांच करें;
यदि आवश्यक हो, तो हम वृद्धि करते हैं: आमतौर पर हम मोड़, प्रतिबिंब जोड़ते हैं, तीखेपन को बदलते हैं (एक विस्तारित चिह्नित डेटासेट बनाते हैं)।

डिटेक्शन ज़ोन का उपयोग करना

लोगों को लाइन में लगाने के साथ समस्याओं में से एक कई कैमरों के दृश्यता क्षेत्रों का चौराहा है। एक कमरे में एक से अधिक कैमरे स्थापित किए जा सकते हैं; इसलिए, छवियों के अतिव्यापी क्षेत्र को संरक्षित करना महत्वपूर्ण है, और जब कोई व्यक्ति कई कैमरों के देखने के क्षेत्र में प्रवेश करता है, तो उसे एक बार ध्यान में रखा जाना चाहिए।

कुछ स्थितियों में, लोगों को केवल कमरे के एक निश्चित क्षेत्र (सर्विस विंडो के पास) या प्लेटफॉर्म (उपकरण के पास) में पता लगाने की आवश्यकता होती है।

स्पष्ट कारणों के लिए, यह सत्यापित करना गलत है कि सीमा-आयत (बॉक्स / फ्रेम), पूरे व्यक्ति को प्रतिबंधित करते हुए, क्षेत्र (बहुभुज) में गिर जाता है। इस स्थिति में, आयत के नीचे (तीसरा / आधा) को अंकों में विभाजित किया जाता है - नोड्स (10 बाय 10 नोड्स लिया जाता है) और व्यक्तिगत चयनित नोड्स के क्षेत्र में गिरने की जाँच की जाती है। "महत्वपूर्ण" नोड्स को सिस्टम प्रशासक द्वारा कमरे के ज्यामिति के आधार पर आवंटित किया जाता है (डिफ़ॉल्ट मान भी चुने गए हैं - यदि किसी विशेष कमरे के लिए सेटिंग दर्ज नहीं की गई है)।

इसके अलावा, हमारे कार्यों के लिए मास्क आर-सीएनएन वास्तुकला के आवेदन का परीक्षण किया जा रहा है । विधि आपको सिल्हूट की रूपरेखा निर्धारित करने की अनुमति देती है - यह एक क्षेत्र के साथ चौराहे का विश्लेषण करते समय सीमा-आयत का उपयोग करने से दूर करना संभव बना देगा ।

एक और दृष्टिकोण: सिर का पता लगाना (मॉडल प्रशिक्षण)

गुणवत्ता हमेशा एक मॉडल चुनने, प्रशिक्षण सेट को बढ़ाने / बदलने और अन्य, विशुद्ध रूप से एमएल तरीकों से हासिल नहीं की जाती है। कभी-कभी एक निर्णायक सुधार केवल समस्या के पूरे सूत्रीकरण (उदाहरण के लिए, हमारी समस्या में) को बदलकर प्राप्त किया जा सकता है। इन कतारों में, लोग भीड़ करते हैं और इसलिए एक-दूसरे को ओवरलैप करते हैं, इसलिए वास्तविक स्थितियों में केवल इस पद्धति का उपयोग करने के लिए मान्यता की गुणवत्ता अक्सर अपर्याप्त होती है।

निचे की इमेज ले। हम अपनी आँखें इस तथ्य से बंद कर देते हैं कि तस्वीर फोन पर ली गई थी, और इसके झुकाव का कोण सीसीटीवी कैमरों के झुकाव के कोण के अनुरूप नहीं है। फ्रेम पर 18 लोग हैं, और सिल्हूट का पता लगाने वाले मॉडल ने 11 लोगों की पहचान की:

परिणामों में सुधार करने के लिए, हम सिल्हूट को परिभाषित करने से लक्ष्यों को परिभाषित करने से चले गए। इसके लिए, फास्टर आर-सीएनएन मॉडल से लिए गए डेटासेट पर प्रशिक्षण दिया गया थालिंक (डेटासेट में अलग-अलग संख्या के लोगों के साथ फ़्रेम शामिल हैं, जिसमें बड़े क्लस्टर भी शामिल हैं, जिनमें विभिन्न दौड़ और उम्र के लोग हैं)।

साथ ही, हमने ग्राहक के सामग्रियों से (कैमरों से) तख्ते से डेटासेट को लगभग एक तिहाई (मुख्य रूप से इस तथ्य के कारण कि मूल डेटासेट में कुछ सिर थे) से समृद्ध किया। एक मॉडल को सीखने के लिए एक ट्यूटोरियल उपयोगी था ।

हमने जिन मुख्य समस्याओं का सामना किया, वे छवि गुणवत्ता और वस्तुओं के पैमाने हैं। सिर के अलग-अलग आकार होते हैं (जैसा कि ऊपर दी गई छवि से देखा जा सकता है), और ग्राहक के कैमरों के फ्रेम में 640x480 का रिज़ॉल्यूशन था, इस वजह से, दिलचस्प वस्तुओं (हुड, क्रिसमस गेंदों, पीठ की कुर्सियां) को कभी-कभी प्रमुख के रूप में पाया जाता है।

उदाहरण के लिए, प्रशिक्षण डाटासेट में, हमने प्रमुखों को लेबल किया है:

- ये एक डेटासेट में प्रमुख हैं;

- और यह कुर्सी के पीछे है, लेकिन मॉडल विश्वास करना चाहता है कि यह सिर है।

हालांकि, सामान्य तौर पर, यह मॉडल उन मामलों में काफी अच्छी तरह से सामना करता है जहां लोगों की भारी एकाग्रता होती है। तो, ऊपर के फ्रेम में, हमारे मॉडल ने 15 लोगों की पहचान की:

इस प्रकार, इस छवि में, मॉडल केवल तीन सिर नहीं खोज सका, जो विदेशी वस्तुओं द्वारा काफी अवरुद्ध थे।

मॉडल की गुणवत्ता में सुधार के लिए, आप वर्तमान कैमरों को एक उच्च रिज़ॉल्यूशन वाले कैमरों से बदल सकते हैं और इसके अलावा प्रशिक्षण डेटासेट को इकट्ठा और चिह्नित कर सकते हैं।

फिर भी, यह ध्यान में रखना चाहिए कि कम संख्या में लोगों के साथ, सिर के बजाय सिल्हूट द्वारा पता लगाने की विधि अधिक उपयुक्त है, क्योंकि सिल्हूट पूरी तरह से ओवरलैप या विदेशी वस्तुओं के साथ भ्रमित करने के लिए अधिक कठिन है। हालांकि, अगर कोई भीड़ है, तो कोई रास्ता नहीं है, इसलिए लोगों को लाइन में गिनने के लिए, दो मॉडलों का समानांतर में उपयोग करने का निर्णय लिया गया - सिर और सिल्हूट के लिए - और उत्तर को मिलाएं।

सिल्हूट और सिर, एक मान्यता परिणाम का एक उदाहरण:

शुधता मापन

मॉडल का परीक्षण करते समय, फ़्रेम का चयन किया गया था जो प्रशिक्षण में भाग नहीं लेते थे (विभिन्न कोणों और अलग-अलग आकारों में फ्रेम पर अलग-अलग लोगों के साथ डेटासेट), मॉडल की गुणवत्ता का आकलन करने के लिए, हमने याद और परिशुद्धता का उपयोग किया।

स्मरण करो - पूर्णता से पता चलता है कि वास्तव में सकारात्मक वर्ग से संबंधित वस्तुओं का क्या अनुपात है , हमने सही भविष्यवाणी की।

प्रेसिजन - सटीकता से पता चलता है क्या वस्तुओं के अनुपात में मान्यता प्राप्त एक सकारात्मक वर्ग की वस्तुओं के रूप में, हम सही ढंग से की भविष्यवाणी की।

परीक्षण स्थलों पर कैमरों से फ़्रेम पर (इन कमरों में छवियां डेटासेट पर थीं) मीट्रिक:

नए कैमरों से फ़्रेम पर (ये कमरे डेटासेट पर नहीं थे):

जब ग्राहक को एक अंक, सटीकता और पूर्णता के संयोजन की आवश्यकता होती है, तो हमने एक हार्मोनिक माध्य या एफ-माप प्रदान किया :

रिपोर्टिंग

सेवा का एक महत्वपूर्ण हिस्सा सांख्यिकी है। अलग-अलग फ्रेम (और उनके द्वारा गिने गए समर्पित लोगों) के साथ, ग्राहक अलग-अलग समय अंतराल के लिए औसत / अधिकतम अधिभोग के साथ तैयार रिपोर्ट (डैशबोर्ड) के रूप में परिणाम देखना चाहते हैं। परिणाम अक्सर रेखांकन और चार्ट के रूप में दिलचस्प होता है जो समय के साथ लोगों की संख्या के वितरण की विशेषता रखते हैं।

उदाहरण के लिए, फ्रेम के लिए हमारे समाधान में, दोनों मॉडल (सिल्हूट और सिर) के लिए लोगों की संख्या की गणना की जाती है और अधिकतम का चयन किया जाता है। यदि कमरे में कई कैमरे हैं, तो छवि ओवरलैप ज़ोन (इंटरफ़ेस के माध्यम से पूर्व-सेट) सहेजी जाती है, और जब कोई व्यक्ति कई कैमरों के दायरे में प्रवेश करता है, तो उसे एक बार ध्यान में रखा जाता है।
अगला, कतार में लोगों की संख्या का मान लगातार कई फ़्रेमों के लिए बनता है - अंतराल .t के लिए । एक घंटे के भीतर, प्रत्येक कमरे के लिए ऐसे कई अंतरालों के मानों को उतार दिया जाता है।

समय अंतराल और अंतराल की संख्या का आकार कमरों की संख्या और प्रयुक्त कंप्यूटिंग शक्ति के आधार पर निर्धारित किया जाता है। प्रत्येक अंतराल के लिए, कमरे में लोगों की संख्या के साथ मूल्यों की एक सरणी बनाई जाती है।

सबसे सामान्य मूल्य (मोड) का चयन किया जाता है। यदि एक ही आवृत्ति के साथ कई मान हैं, तो अधिकतम का चयन किया जाता है।

परिणामी मान समय टी में लोगों की संख्या t हैसवाल में अंतराल के तुरंत बाद। केवल एक घंटे में, विभिन्न अंतरालों के लिए मानों का एक सेट प्राप्त किया जाता है - अर्थात, समय पर मानों t_1, t_2 ...। t_n । T_1, t_2 के

लिए आगे ...। t_n, लोगों की संख्या के अधिकतम और औसत मूल्यों की गणना की जाती है - इन मानों को रिपोर्ट में एक दिए गए घंटे के लिए चोटी और औसत भार के रूप में प्रदर्शित किया जाता है।

अधिकतम लोड (सरल उदाहरण) के

लिए समय-समय पर लोगों के वितरण का आरेख : औसत भार (सरल उदाहरण) के लिए समय-समय पर लोगों के वितरण का आरेख:

भीड़

अंत में, विषय की पूर्णता के लिए, मैं बहुत बड़ी भीड़ के मामलों का उल्लेख करना चाहूंगा, उदाहरण के लिए, स्टेडियमों में भीड़, गहन मानव यातायात के स्थानों में।

ये कार्य भीड़ के आकार का अनुमान लगाने के बारे में हैं: यदि यह 300 लोगों की भीड़ है, तो 312 या 270 का उत्तर स्वीकार्य माना जाता है।

व्यवहार में, हमें वीडियो एनालिटिक्स की सहायता से ऐसी समस्याओं को हल करने की आवश्यकता नहीं थी (यदि यह एक संगठित घटना है, तो प्रत्येक व्यक्ति के लिए लेबल जारी करना आसान है)। हालाँकि, हमने परीक्षण किया। ऐसे कार्यों के लिए, अलग-अलग तरीकों का उपयोग किया जाता है, विधियों का अवलोकन ।

समीक्षा से मॉडल का परिणाम (CSRNet पर पूर्व प्रशिक्षित मॉडल) पुन: पेश किया गया था:

इस मॉडल की सेटिंग्स के लिए कोण महत्वपूर्ण है, अर्थात्, यदि शूटिंग स्थान तय हो गया है, तो परिणाम विविध चित्रों पर लागू होने से बेहतर होगा। सामान्यतया, इस मॉडल को फिर से अपनाने का एक अवसर है - मॉडल के संचालन के दौरान गुणवत्ता में सुधार किया जा सकता है, जब स्थापित कैमरों से वास्तविक वीडियो चालू होता है।

लेख के लेखक: तात्याना वोरोनोवा (tvoronova), एल्विरा डायमिनोवा (elviraa)

हम कंप्यूटर दृष्टि का उपयोग करके लोगों की गणना कैसे करते हैं