👩🏿‍💼 🦃 🏷️ हम व्यक्तिगत सुरक्षा उपकरणों को कैसे पहचानते हैं 👩‍👦‍👦 👈🏼 🤹🏽

शायद, आप अपने पूरे जीवन को आश्चर्यचकित कर रहे हैं कि हेलमेट और नारंगी रंग के बनियान में लोगों को पहचानने के लिए एक तंत्रिका नेटवर्क को कैसे प्रशिक्षित किया जाए! नहीं? लेकिन हम आपको वैसे भी बताएंगे।

हमारा नाम तात्याना वोरोनोवा और एलविरा डायमिनोवा है। हम केंद्र 2 एम कंपनी में डेटा विश्लेषण में लगे हुए हैं, हम सबसे वास्तविक कारखानों और उद्यमों के साथ बहुत काम करते हैं। सुरक्षा उल्लंघनों के कारण, वे बहु-मिलियन डॉलर का नुकसान उठाते हैं, कर्मचारी घायल हो जाते हैं, इसलिए इस तरह के उल्लंघनों का व्यवस्थित रूप से और जितनी जल्दी हो सके पता लगाना अच्छा होगा। सभी के सर्वश्रेष्ठ - स्वचालित रूप से। इसलिए हमारे पास वीडियो पर व्यक्तिगत सुरक्षा उपकरण (पीपीई) को पहचानने और खतरे वाले क्षेत्र में लोगों या उपकरणों की पहचान करने से जुड़ी समस्याएं हैं।

अधिकांश भाग के लिए, हेलमेट (अधिक सटीक, उनकी अनुपस्थिति) और वर्कवियर का निर्धारण करने के लिए हमारे पास आदेश आते हैं। हमने पहले ही इस तरह के कार्यों को करने का अनुभव प्राप्त कर लिया है और अब हम उन समस्याओं का वर्णन कर सकते हैं जिनका हमने सामना किया है और उन्हें कैसे हल किया जाए।

चूंकि सहयोग की शर्तों के तहत हमारे पास ग्राहक की वस्तुओं से फुटेज प्रकाशित करने का अधिकार नहीं है, इसलिए हम लेख को इंटरनेट से छवियों के साथ चित्रित करेंगे, जिस पर हेलमेट में लोग अक्सर मुस्कुराते हैं और बहुत अच्छे लगते हैं। दुर्भाग्य से, सार्वजनिक डोमेन में उन कार्यों की सभी विशेषताओं के लिए नहीं जो हम वास्तविकता में सामना करते हैं, आप अच्छे उदाहरण पा सकते हैं। विशेष रूप से, जीवन में हेलमेट में लोगों को मुस्कुराने की संभावना कम होती है, और इंटरनेट पर गंजे श्रमिकों (हम इसके बारे में थोड़ी देर बाद बात करेंगे) की समस्या वास्तव में सामने नहीं आई है!

इंटरनेट से छवि (आकार 1920x1280):

पीपीई की मान्यता को कंप्यूटर विज़न की दो शास्त्रीय समस्याओं में से एक के लिए कम किया जा सकता है: चित्रों का वर्गीकरण और वस्तुओं का पता लगाना। व्यवहार में, यह पता चला कि इन तरीकों में से किसी एक का उपयोग न करना बेहतर था, लेकिन प्रत्येक विशेष मामले के लिए सबसे उपयुक्त चुनने के लिए, साथ ही साथ लचीले ढंग से गठबंधन करना। उदाहरण के लिए, हम पहले यह निर्धारित कर सकते हैं कि लोग छवि में कहां हैं, फिर सिल्हूट द्वारा काटे गए चित्रों को "वर्कवीयर" और "बिना" के कक्षाओं में वर्गीकृत करें, और दूसरे पास से हेलमेट की उपस्थिति का पता लगाएं।

लोगों के पूर्व-कट आंकड़ों पर, हेलमेट और चौग़ा की उपस्थिति का वर्गीकरण इस तरह दिखता है (मूल तस्वीर का दृश्य):

चौग़ा और हेलमेट के वर्गीकरण के लिए मॉडल के काम का परिणाम

पहले से चयनित मानव आकृतियों पर, हेलमेट के लिए पता लगाने के साथ इस बार दृष्टिकोण का अनुप्रयोग।

कामगार के वर्गीकरण के लिए मॉडल और हेलमेट का पता लगाने के लिए एक मॉडल का परिणाम:

स्टेज एक: मानव का पता लगाने

बड़े फ्रेम पर छोटी वस्तुओं (हेलमेट / चश्मा / दस्ताने) की परिभाषा की गुणवत्ता इतनी है। यह कंप्यूटर के लिए बहुत आसान है, एक व्यक्ति की तरह, पहले यह समझने के लिए कि लोग कहाँ हैं, और केवल तब यह पता लगाने के लिए कि उन्होंने क्या पहना है। तो, यह सब फ्रेम में लोगों की पहचान के साथ शुरू होता है।

प्रयोगों के परिणामस्वरूप, हमें पता चला कि फीचर निष्कर्षण के रूप में इनसेप्शन v2 के साथ फास्टर आर-सीएनएन न्यूरल नेटवर्क लोगों का पता लगाने के लिए अच्छी तरह से अनुकूल है। TensorFlow में पहले से ही वस्तुओं का पता लगाने के लिए पूर्व प्रशिक्षित तंत्रिका नेटवर्क हैं।

हमारे लिए, फास्टर आर-सीएनएन इंसेप्शन v2 (COCO डेटासेट पर प्रशिक्षित) एक मूल विधि है जिसे हम अपनी समस्याओं को हल करते समय पहले प्रयास करते हैं।

प्रारंभ में, हम फ्रेम पर लोगों का पता लगाते हैं (और फिर हम पाए गए लोगों पर पीपीई पाते हैं):

ध्यान दें कि हमने y अक्ष के साथ "व्यक्ति के साथ" बाउंडिंग बॉक्स बढ़ाया है :

इस तस्वीर में, कार्यकर्ता को अच्छी रोशनी में और एक विपरीत पृष्ठभूमि (इंटरनेट पर पाए जाने वाले चित्रों के साथ, यह हर समय होता है) में शूट किया गया था। इसलिए, व्यक्ति के साथ बाउंडिंग बॉक्स अच्छी तरह से बनाया गया था। हालांकि, हमारे व्यवहार में अक्सर मामले होते हैं (विशेषकर अपर्याप्त दृश्यता की स्थितियों में) जब डिटेक्शन मॉडल किसी व्यक्ति में एक हेलमेट काट देता है, जिसके बाद एक फसली छवि पर इसके लिए देखना बेकार है। इस संबंध में, y अक्ष के साथ, हम दूसरे चरण पर जाने से पहले अनुमानित बाउंडिंग बॉक्स को 15% तक बढ़ा देते हैं।

लोगों का पता लगाते समय, हम छोटी अप्रिय समस्याओं का सामना करते हैं। सबसे पहले, जब दो लोग एक दूसरे के पीछे चलते या खड़े होते हैं, तो अक्सर उन्हें एक व्यक्ति के रूप में पहचाना जाने लगता है। दूसरे, ऐसा होता है कि एक स्थिर वस्तु कैमरे के दृष्टिकोण के क्षेत्र में प्रवेश करती है, जिसमें मॉडल किसी व्यक्ति को हाइड्रेंट की तरह पहचान सकता है। इन समस्याओं को विभिन्न तरीकों से हल किया जा सकता है। उदाहरण के लिए, हमने यह कैसे किया: सामंजस्य और उन्हें स्वीकार करें, क्योंकि सामान्य रूप से, मॉडल उत्पादकता और गुणवत्ता के मामले में हमारे लिए उपयुक्त है।

एक अधिक मूलभूत समस्या यह है कि औद्योगिक परिसर जिसमें "खतरे का क्षेत्र" होता है, अक्सर विशाल होता है और तदनुसार, फ्रेम में लोग बहुत छोटे होते हैं। फास्टर आर-सीएनएन इंसेप्शन वी 2 पर आधारित हमारी बुनियादी पद्धति ने ऐसे मामलों में खराब परिणाम दिखाए, और अंत में हमने कोशिश कीतेज़ आर-सीएनएन एनएएस । परिणाम प्रभावशाली थे, लोग दूरी में भी अच्छी तरह से पहचाने जाते थे, लेकिन गति आधार मॉडल की तुलना में बहुत कम थी। पर्याप्त संसाधनों और उच्च सटीकता की आवश्यकता के साथ, आप तेज़ आर-सीएनएन एनएएस का उपयोग कर सकते हैं ।

दूसरा चरण: दुर्भावनापूर्ण उल्लंघनकर्ताओं का निर्धारण

कार्य के आधार पर, अक्सर उपयोग किया जाता है:

छवि वर्गीकरण मॉडल - इंसेप्शन v3
ऑब्जेक्ट डिटेक्शन मॉडल - तेज़ आर-सीएनएन इंसेप्शन v2

वर्कवियर और हेलमेट का वर्गीकरण

हमने छवियों को वर्गीकृत करने के लिए विभिन्न तंत्रिका नेटवर्क आर्किटेक्चर का परीक्षण किया, और अंततः इनसाइट v3 पर बसे, इस तथ्य का लाभ उठाने का निर्णय लिया कि यह चर छवि आकारों के साथ काम करने के लिए डिज़ाइन किया गया है। हमारे पास पहले से ही लोगों के साथ बहुत सारे कट आउट चित्र थे, और ऊंचाई और चौड़ाई के लिए औसत मूल्यों की गणना करना मुश्किल नहीं था। इसलिए हम इस निष्कर्ष पर पहुंचे कि क्लासिफायर के प्रशिक्षण के लिए छवियों को 150x400 के आकार में लाना शुरू किया।

पीपीई को पहचानने के लिए नेटवर्क को प्रशिक्षित करने के लिए, सबसे पहले, लेबल किए गए उदाहरणों से डेटासेट एकत्र करना आवश्यक है। इस प्रक्रिया में, सूक्ष्मताएं हैं, जिनमें से साकार अनुभव के साथ आता है। उदाहरण के लिए, उन लोगों को हटाने के लिए बेहतर है जो डेटासेट से कूल्हों के ऊपर काट रहे हैं। यह डाटासेट को वास्तविक स्थितियों के करीब लाएगा, क्योंकि अधिकांश समय लोग निगरानी कैमरों से वीडियो पर पूरी ऊंचाई पर देखे जाते हैं। अतिव्यापी के मामले, निश्चित रूप से भी होते हैं, लेकिन लक्ष्य नमूने के लिए पूर्ण सिल्हूट बहुत अधिक विशेषता हैं।

हमारे कार्यस्थल डेटासेट के उदाहरण:

हमने एक मीट्रिक के रूप में कुछ भी विशेष का आविष्कार नहीं किया है; हम रिकॉल और सटीक का उपयोग करते हैं।

वर्कवियर की उपस्थिति / अनुपस्थिति को वर्गीकृत करने के लिए मॉडल:

एक सत्यापन नमूने पर परिणाम

पीपीई का पता लगाना

वर्गीकरण मॉडल वस्तुओं का पता लगाने के लिए मॉडल की तुलना में तेजी से काम करता है, लेकिन इस तथ्य के कारण कि छवि में सुरक्षा चश्मा और दस्ताने छोटे हैं, ऐसे पीपीई के लिए एक अच्छा क्लासिफायर बनाना मुश्किल है। इसलिए, हमने छह वर्गों के साथ डेटासेट पर तेज़ R-CNN तंत्रिका नेटवर्क को प्रशिक्षित किया:

चश्मा / not_glasses
दस्ताने / not_gloves
हेलमेट / not_helmet

डेटा संग्रह और मार्कअप

मुख्य समस्याएँ हेलमेट डेटासेट से संबंधित थीं। यह एक आकर्षक तरीका था: हम गंजे लोगों, अपने हाथों में हेलमेट वाले लोगों, और यहां तक कि गंजे लोगों के हाथों में हेलमेट के माध्यम से गए।

चूंकि यात्रा की शुरुआत में हमने वास्तविक परिस्थितियों से कई फ्रेम नहीं लिए थे, इसलिए हमने डेटासेट को सबसे अच्छे रूप में एकत्र किया: हम खुद को फिल्मा सकते थे, इंटरनेट या निर्माण स्थलों से चित्र ले सकते थे। थोड़ी देर बाद, हमने विभिन्न उद्यमों से बहुत सारे वीडियो प्राप्त करना शुरू किया, इसलिए हमने केवल वास्तविक स्थितियों के फ्रेम के साथ डेटासेट को समृद्ध करना शुरू किया। कुछ बिंदु पर, टैग की गई छवियों की संख्या 5k से अधिक हो गई, और नए उदाहरणों को जोड़ने से गुणवत्ता में सुधार नहीं हुआ, इस संबंध में, हमने मार्कअप के दृष्टिकोण को संशोधित किया।

हम इंटरनेट से छवियों के उदाहरण का उपयोग करके हेलमेट डेटासेट में सुधार करने के चरणों का वर्णन करेंगे, इसलिए हमारे पास जो कुछ था, कोण और गुणवत्ता काफी मेल नहीं खाते हैं।

उपरोक्त छवि के अलावा, कूल्हों के ऊपर क्रॉप किया गया, हमने उन छवियों को हटा दिया, जिसमें कैप के साथ भ्रम से बचने के लिए हेलमेट को आधे से अधिक क्रॉप किया जाता है।

हमने इस तथ्य का भी सामना किया कि यदि किसी व्यक्ति के हाथों में एक हेलमेट है, तो अक्सर मॉडल ने कोई उल्लंघन नहीं देखा: क्या कोई हेलमेट है? वहाँ है। इसलिए, हमने प्रशिक्षण डेटासेट से उन सभी फ़्रेमों को हटा दिया, जिसमें एक व्यक्ति अपने हाथ से हेलमेट रखता है, भले ही उस समय हेलमेट उसके सिर पर हो।

सामान्य तौर पर, हमने एक ज्वलंत पृष्ठभूमि के साथ या अंधेरे कमरे में छवियों को हटाने की कोशिश की, और फिर हमने उत्पादन द्वारा ज्यादातर फुटेज को छोड़कर, हमारे द्वारा ली गई तस्वीरों की संख्या को कम कर दिया। परिणामस्वरूप, हमने डेटासेट को आधे से कम कर दिया।

इसके अलावा, हमने गंजे लोगों के साथ डाटासेट को समृद्ध किया, अन्यथा वे हमेशा हेलमेट में रहेंगे, भले ही ऐसा न हो, और वर्गों के साथ गोरे के लिए, जिसके लिए एक निश्चित कोण के साथ, डिटेक्टर भी हेलमेट निर्धारित करता है।

अनुपयुक्त छवियों को हटाने के बाद, हम सीधे मार्कअप (वस्तुओं का पता लगाने के लिए) पर आगे बढ़े। यह इतना आसान नहीं निकला। यह पता चला है कि अंतिम डिटेक्टर की गुणवत्ता काफी हद तक इस बात पर निर्भर करती है कि छवि में क्षेत्र "हेलमेट" या "दस्ताने" के रूप में क्या चिह्नित है। प्रारंभ में, हमने हाथों को पकड़ने के बिना हेलमेट और काले चश्मे आवंटित किए, और हाथों को पकड़ने के साथ दस्ताने। हालांकि, अनुभव के साथ, हमने धीरे-धीरे पहली और दूसरी तरह की त्रुटियों को देखते हुए अपने दृष्टिकोण में सुधार किया, जहां लोग अपने हाथों में हेलमेट रखते हैं, और कुछ लंबे समय तक गोल "दस्ताने" होता है। अब, हेलमेट और चश्मे को चिह्नित करते समय, हम चेहरे को नाक की नोक पर ले जाने की कोशिश करते हैं, और जब दस्ताने को चिह्नित करते हैं, तो इसके विपरीत, हमने खुद को ब्रश तक सीमित कर लिया।

डेटासेट पर हमारी जोड़तोड़ के परिणामस्वरूप, हमें निम्नलिखित परिणाम मिले।

एक उदाहरण के रूप में हेलमेट का उपयोग करके पीपीई की उपस्थिति / अनुपस्थिति का पता लगाने के लिए मॉडल:
डेटासेट पर "वैश्विक कार्य" की शुरुआत से पहले एक सत्यापन नमूना पर परिणाम

सत्यापन के नमूने पर अंतिम परिणाम

हेलमेट की मान्यता की पूर्णता थोड़ी कम हो गई, लेकिन साथ ही, उल्लंघन का पता लगाने के लिए मैट्रिक्स में सुधार हुआ, और यही हम हासिल करना चाहते थे।

हेलमेट की उपस्थिति / अनुपस्थिति को वर्गीकृत करने के लिए मॉडल:
डेटासेट पर "वैश्विक काम" की शुरुआत से पहले एक सत्यापन नमूना

सत्यापन के नमूने पर अंतिम परिणाम

यह ध्यान दिया जाना चाहिए कि हमारे पास दृष्टि के लिए चश्मे और चश्मे में एक विभाजन नहीं है, वे एक ही टैग "चश्मा" के तहत जाते हैं, और हल्के रंगों के दस्ताने को नंगे ब्रश के रूप में माना जा सकता है। हमने अपने डेटासेट में हेलमेट और काम के कपड़े के रंग सरगम को अधिकतम करने की कोशिश की, लेकिन विश्वसनीयता के लिए हमने इसमें सबसे सरल और सबसे विश्वसनीय तकनीक जोड़ी: यदि आवश्यक हो, तो दस्ताने का पता लगाने के लिए, हम ग्राहकों को बताते हैं कि चमकीले रंग सटीकता बढ़ाने में मदद करते हैं।

फिलहाल, हमारे पास सार्वभौमिक मॉडल हैं जो हम ग्राहक को शुरुआती शो के लिए उपयोग करते हैं। हालांकि, यह समझा जाना चाहिए कि सभी के लिए एक सार्वभौमिक मॉडल बनाना असंभव है, प्रत्येक ग्राहक के लिए अनुकूल होना, नई बारीकियों को पहचानना और लेना, डेटासेट को समृद्ध करना या विशिष्ट आवश्यकताओं को पूरा करने के लिए नए सिरे से बनाना आवश्यक है।

बक्शीश

आमतौर पर, ग्राहक यथासंभव संसाधनों का उपयोग करते हुए, जितने संभव हो सके उतने कैमरे संसाधित करना चाहते हैं। बुच, ज़ाहिर है, एक अच्छी बात है, लेकिन प्रक्रिया को अनुकूलित करने के लिए अतिरिक्त चालें निषिद्ध नहीं हैं।

उदाहरण के लिए, मास्को आईबीएम क्लाइंट सेंटर से मेरे सहयोगियों और मैंने एक परिकल्पना की थी कि हेलमेट का पता लगाने के लिए कई लोगों को एक साथ काट दिया जाता है, जिससे सटीकता में अप्रत्याशित नुकसान के साथ प्रति सर्वर कैमरों की संख्या में वृद्धि होगी।

एक आधार के रूप में, हमने कैनवास के लिए 1000x600 का आकार लेने का फैसला किया, जिस पर लोगों को "लागू" किया जाएगा। शुरू में दो लेआउट विकल्पों पर विचार किया गया था:

निश्चित चौड़ाई और ऊंचाई (200x600), इस दृष्टिकोण के साथ, फ्रेम पर 5 लोग हैं।
निश्चित चौड़ाई और ऊंचाई (125x600), 8 लोग।

यह निर्णय इस तथ्य के कारण था कि निश्चित डेटा के साथ, हम वास्तव में फोटो में लोगों की संख्या जानते हैं, जो हमें लोड का पूर्वानुमान देता है। हालांकि, विकास के दौरान, हमने इस तरह के विकल्प पर विचार किया:

निश्चित ऊंचाई और आनुपातिक चौड़ाई (*** x600), व्यक्तियों की अलग-अलग संख्या।

यह माना गया था कि बढ़ते आकार और अनुपात बनाए रखने के साथ, परिणाम अन्य लेआउट विकल्पों की तुलना में बेहतर होंगे। व्यक्तियों की संख्या 3 से 5 (+/-) तक थी।

नतीजतन, हमने प्राप्त किया कि निश्चित चौड़ाई और ऊंचाई (200x600) वाला विकल्प सबसे अच्छा माना जाता है। बेशक, यह विधि चश्मा और दस्ताने का पता लगाने के लिए उपयुक्त नहीं है, क्योंकि वस्तुएं छोटी हैं, लेकिन हेलमेट / हेलमेट की कमी का पता लगाने के लिए, इस पद्धति ने अच्छे परिणाम दिखाए हैं।

उदाहरण के लिए, एक सत्यापन नमूने में:

: (tvoronova), (elviraa)