🔒 😖 🙌🏾 YOLOv4 - Microsoft COCO डेटासेट पर सबसे सटीक वास्तविक समय तंत्रिका नेटवर्क है 👺 🍄 🗯️

Darknet YOLOv4 Google TensorFlow EfficientDet और FaceBook Pytorch / Detectron RetinaNet / MaskRCNN की तुलना में तेज़ / अधिक सटीक है।

मध्यम पर एक ही लेख : मध्यम
कोड : github.com/AlexeyAB/darknet
लेख : arxiv.org/abs/2004.10.10934

हम वस्तुओं का पता लगाने के लिए तंत्रिका नेटवर्क की तुलना और उपयोग करने की कुछ बारीकियों को दिखाएंगे।

हमारा लक्ष्य वास्तविक उत्पादों में उपयोग के लिए एक वस्तु पहचान एल्गोरिथ्म विकसित करना था, न कि केवल विज्ञान को आगे बढ़ाना। YOLOv4 तंत्रिका नेटवर्क (608x608) की सटीकता 43.5% AP / 65.7% AP50 Microsoft-COCO-testdev है। टेस्ला V100 पर

62 FPS - YOLOv4 (608x608 बैच = 1) - डार्कनेट -फ्रेमवर्क
400 FPS - YOLOv4 (416x416 बैच = 4) का उपयोग करके RTX 2080 Ti पर - TensorRT + tkDNN
32 FPS - YOLOv4 (416x416 बैच) का उपयोग करके। जेटसन AGX ज़ेवियर - TensorRT + tkDNN का उपयोग करके

सबसे पहले, कुछ उपयोगी लिंक।

आप इस लेख में YOLOv4 में प्रयुक्त सुविधाओं का एक विस्तृत विवरण पढ़ सकते हैं: medium.com/@jonathan_hui/yolov4-c9901eaa8e61
YOLOv4: lutzroeder.imtqy.com/netron/?url=https%3A%2F%2Fraw.githubusercontent.com%2FAlexeyAB%2Fdarknet%2Fmaster%2Fcfg%2Fyolov4.cfg
YOLOv4 GPU Google-cloud Jupyter Notebook – , - «Open in Playground», [ ] – , , , 5 : colab.research.google.com/drive/12QusaaRj_lUwCGDvQNfICpa7kA7_a2dE www.youtube.com/watch?v=mKAEGSxwOAY
Darknet :
— Darknet YOLOv4
— Darknet YOLOv4

हमारे YOLOv4 तंत्रिका नेटवर्क और हमारे अपने डार्कनेट डीएल फ्रेमवर्क (C / C ++ / CUDA) डीपीएस फ्रेमवर्क और न्यूरल नेटवर्क की तुलना में Microsoft COCO डेटासेट पर FPS गति और AP50: 95 और AP50 सटीकता में बेहतर हैं: Google TensorFlow EfficDet, FaceBook Detectron RetinaNet RetinaNet / MaskRCNN, PyTorch Yolov3-ASFF, और कई अन्य ... YOLOv4 62.5 Titan टाइटन या 34 FPS RTX 2070 की गति से Microsoft COCO परीक्षण पर 43.5% AP / 65.7% AP50 की सटीकता प्राप्त करता है। अन्य आधुनिक डिटेक्टरों के विपरीत, YOLOv4 किसी को भी प्रशिक्षित कर सकता है। जिसके पास 8-16 जीबी वीआरएएम के साथ एनवीडिया गेमिंग ग्राफिक्स कार्ड है। अब, न केवल बड़ी कंपनियां उच्च सटीकता प्राप्त करने के लिए बड़े मिनी-बैच आकारों का उपयोग करने के लिए सैकड़ों जीपीयू / टीपीयू पर एक तंत्रिका नेटवर्क को प्रशिक्षित कर सकती हैं, इसलिए हम सामान्य उपयोगकर्ताओं को कृत्रिम बुद्धि का नियंत्रण वापस कर रहे हैं, क्योंकि YOLOv4 के लिए एक बड़े मिनी-लॉट की आवश्यकता नहीं है,2 - 8 के आकार तक सीमित हो सकता है।

YOLOV4 वास्तविक समय का उपयोग करने के लिए इष्टतम है, क्योंकि नेटवर्क एपी (सटीकता) / एफपीएस (गति) ग्राफ में परेतो इष्टतमता वक्र पर निहित है ।

GPUs TitanV / TeslaV100, TitanXP / TeslaP100, TitanX / TeslaM40 पर सटीकता के दो मुख्य संकेतकों AP50: 95 और AP50 के

लिए मापा वस्तुओं का पता लगाने के लिए सटीकता (एपी) और गति (एफपीएस) के ग्राफ सटीकता के लिए AP50: 95 और AP50 के दो मुख्य संकेतकों के लिए, हम लेख और डेटा से एक निष्पक्ष तुलना करते हैं। GPU पर केवल उसी आर्किटेक्चर के साथ तुलना करें।

अधिकांश व्यावहारिक कार्यों में डिटेक्टरों के लिए न्यूनतम आवश्यक आवश्यकताएं होती हैं - ये न्यूनतम स्वीकार्य सटीकता और गति हैं। आमतौर पर न्यूनतम स्वीकार्य गति 30 एफपीएस (फ्रेम प्रति सेकंड) और रियल-टाइम सिस्टम के लिए उच्चतर होती है।

जैसा कि ग्राफ से देखा जा सकता है, एफपीएस 30 या अधिक के साथ रियल-टाइम सिस्टम में:

YOLOv4-608 RTX 2070 450$ (34 FPS) 43.5% AP / 65.7% AP50
EfficientDet-D2 TitanV 2250$ (42 FPS) 43.0% AP / 62.3% AP50
EfficientDet-D0 RTX 2070 450$ (34 FPS) 33.8% AP / 52.2% AP50

उन। YOLOv4 को E कुशलDet-D2 (Google-TensorFlow) की तुलना में 5 गुना सस्ते उपकरण और अधिक सटीक चाहिए । आप EfficDet-D0 (Google-TensorFlow) का उपयोग कर सकते हैं तब उपकरणों की लागत समान होगी, लेकिन सटीकता 10% एपी कम होगी।
इसके अलावा, कुछ औद्योगिक प्रणालियों में गर्मी लंपटता या निष्क्रिय शीतलन प्रणाली के उपयोग पर सीमाएं हैं - इस मामले में आप पैसे के साथ भी टाइटन का उपयोग नहीं कर सकते हैं।

जब TensorRT + tkDNN का उपयोग करके RTX 2080 Ti GPU पर YOLOv4 (416x416) का उपयोग किया जाता है, तो हम 2x गुणा अधिक गति प्राप्त करते हैं, और बैच = 4 का उपयोग करते समय यह तेजी से 3x-4x गुना होता है - एक ईमानदार तुलना के लिए, हम arxiv पर एक लेख में इन परिणामों को प्रस्तुत नहीं करते हैं। org:

YOLOv4 तंत्रिका नेटवर्क (416x416) FP16 (टेन्सर कोर) बैच = 32 एफपीएस कैलकुलेटर nVidia Jetson AGX जेवियर पर 1 पहुँच पुस्तकालयों + tkDNN TensorRT का उपयोग कर: github.com/ceccocats/tkDNN
: थोड़ी धीमी गति OpenCV-DNN पुस्तकालय CUDA के साथ संकलित देता डॉक्स .opencv.org / मास्टर / दा / d9d / tutorial_dnn_yolo.html

कभी-कभी लेखों में कुछ तंत्रिका नेटवर्क की गति (FPS) को उच्च बैच आकार का उपयोग करते समय या विशेष सॉफ़्टवेयर (TensorRT) के साथ परीक्षण करते समय इंगित किया जाता है, जो नेटवर्क का अनुकूलन करता है और एक बढ़ा हुआ FPS मान दिखाता है। TRT पर अन्य नेटवर्कों के साथ TRT पर कुछ नेटवर्कों की तुलना उचित नहीं है। एक उच्च बैच आकार का उपयोग करने से एफपीएस बढ़ता है, लेकिन बैच = 1 की तुलना में विलंबता (इसे कम करने के बजाय) भी बढ़ाता है। यदि बैच = 1 वाला नेटवर्क 40 FPS दिखाता है, और बैच = 32 के साथ यह 60 FPS दिखाता है, तो देरी बैच के लिए 25ms = 1 होगी, और ~ 500ms बैच = 32 के लिए, क्योंकि प्रति सेकंड केवल ~ 2 पैकेट (प्रत्येक में 32 चित्र) संसाधित किए जाएंगे, यही वजह है कि कई औद्योगिक प्रणालियों में बैच = 32 का उपयोग स्वीकार्य नहीं है। इसलिए, हमने ग्राफ़ पर परिणामों की तुलना केवल बैच = 1 के साथ और TensorRT का उपयोग किए बिना की।

किसी भी प्रक्रिया को लोगों द्वारा या कंप्यूटरों द्वारा नियंत्रित किया जा सकता है। जब कोई कंप्यूटर सिस्टम कम गति के कारण बड़ी देरी से कार्य करता है और बहुत अधिक गलतियाँ करता है, तो उसे कार्यों का पूर्ण नियंत्रण नहीं सौंपा जा सकता है, इस मामले में व्यक्ति प्रक्रिया को नियंत्रित करता है, और कंप्यूटर सिस्टम केवल संकेत देता है - यह एक सिफारिश प्रणाली है - व्यक्ति काम करता है, और केवल सिस्टम बताता है कि गलतियाँ कहाँ की गई थीं। जब सिस्टम जल्दी और उच्च सटीकता के साथ काम करता है, तो ऐसी प्रणाली स्वतंत्र रूप से प्रक्रिया को नियंत्रित कर सकती है, और एक व्यक्ति केवल इसके बाद दिखता है। इसलिए, सटीकता और सिस्टम की गति हमेशा महत्वपूर्ण होती है। यदि यह आपको लगता है कि YOLOv4 416x416 के लिए 120 FPS आपके कार्य के लिए बहुत अधिक है, और एल्गोरिथ्म को अधिक धीरे-धीरे और अधिक सटीक रूप से लेना बेहतर है, तो वास्तविक कार्यों में सबसे अधिक संभावना है कि आप Tesla VV 250 Watt की तुलना में कुछ कमजोर का उपयोग करेंगे,उदाहरण के लिए, RTX 2060 / Jetson-Xavier 30-80 वाट, इस मामले में आपको YOLOv4 416x416 पर 30 FPS, और अन्य तंत्रिका नेटवर्क 1-15 FPS पर मिलेंगे या बिल्कुल भी शुरू नहीं होंगे।

विभिन्न तंत्रिका नेटवर्क के प्रशिक्षण की विशेषताएं

आपको कई बैच टेस्ला V100 32GB GPU पर मिनी-बैच = 128 आकार के साथ EfficDet को प्रशिक्षित करना होगा, जबकि YOLOv4 को मिनी-बैच = 8 = बैच / उपखंडों के साथ सिर्फ एक टेस्ला V100 32GB GPU पर प्रशिक्षित किया गया था और एक नियमित गेमिंग पर प्रशिक्षित किया जा सकता है। ग्राफिक्स कार्ड 8-16 जीबी जीपीयू-वीआरएएम।
अगली बारीकियों में एक तंत्रिका नेटवर्क को प्रशिक्षित करने की कठिनाई है ताकि वह अपनी वस्तुओं का पता लगा सके। कोई फर्क नहीं पड़ता कि आप एक ही 1080 Ti GPU पर कितने समय तक अन्य नेटवर्क को प्रशिक्षित करते हैं, आपको ऊपर दिए गए ग्राफ़ में दिखाई गई सटीकता नहीं मिलेगी। अधिकांश नेटवर्क (EfficientDet, ASFF, ...) को 4 - 128 GPU (सिंकबीएन का उपयोग करते हुए एक बड़े मिनी-बैच आकार के साथ) पर प्रशिक्षित करने की आवश्यकता है और प्रत्येक नेटवर्क रिज़ॉल्यूशन के लिए प्रत्येक बार फिर से प्रशिक्षित करना आवश्यक है, दोनों स्थितियों को पूरा किए बिना उनके द्वारा घोषित एपी या एपी 50 सटीकता प्राप्त करना असंभव है।

आप अन्य डिटेक्टरों में मिनीबैच के आकार पर वस्तुओं की पहचान सटीकता की निर्भरता देख सकते हैं, अर्थात्। 128 वीडियो के बजाय कार्ड 8 वीडियो कार्ड और सीखने की गति का उपयोग कर 10 गुना अधिक है और अंतिम सटीकता 1.5 एपी अधिक है - MegDet: एक बड़े मिनी बैच वस्तु डिटेक्टर arxiv.org/abs/1711.07240

Yolo ASFF: arxiv.org/abs/1911.09516

[४३] के बाद, हम प्रशिक्षण प्रक्रिया में चाल का एक बैग पेश करते हैं, जैसे कि मिक्सअप एल्गोरिथ्म [१२], कोसाइन [२६] सीखने की दर अनुसूची, और सिंक्रनाइज़ बैच सामान्यीकरण तकनीक [३०]।

एफिशिएंटडेट: arxiv.org/abs/1911.09070

बैच मानक क्षय 0.99 और एप्सिलॉन 1e-3 के साथ प्रत्येक दृढ़ संकल्प के बाद सिंक्रोनाइज़्ड बैच सामान्यीकरण जोड़ा जाता है।

प्रत्येक मॉडल को 32 टीपीयूवी 3 कोर पर बैच कुल आकार 128 के साथ 300 युगों का प्रशिक्षण दिया जाता है।

cloud.google.com/tpu/docs/types-zones#europe

v3-32 TPU type (v3) – 32 TPU v3 cores – 512 GiB Total TPU memory

बैच = 128 पर सिंक्रोनाइज़्ड बैच के सामान्यीकरण के साथ एफिशिएंटसेट मॉडल को प्रशिक्षित करने के लिए आपको 512 GB TPU / GPU-RAM का उपयोग करना चाहिए, जबकि YOLOv4 को प्रशिक्षित करने के लिए मिनी-बैच = 8 और केवल 32 GB GPU-RAM का उपयोग किया गया। इसके बावजूद, YOLOv4 सार्वजनिक नेटवर्क की तुलना में तेज़ / अधिक सटीक है, हालांकि यह केवल 1 बार में 512x512 प्रति जीपीयू (टेस्ला वी 100 32 जीबी / 16 जीबी) के संकल्प के साथ प्रशिक्षित किया जाता है। उसी समय, छोटे मिनी-बैच आकार और GPU-VRAM का उपयोग करने से अन्य तंत्रिका नेटवर्क की तरह सटीकता का इतना नाटकीय नुकसान नहीं होता है:

स्रोत: arxiv.org/abs/2004.10934

ताकि आप अपने पीसी पर स्थानीय इंटेलिजेंस को डाउनलोड करने के बजाय प्रशिक्षित कर सकें। क्लाउड पर डेटासेट - यह आपके व्यक्तिगत डेटा की सुरक्षा की गारंटी देता है और सभी के लिए कृत्रिम बुद्धिमत्ता प्रशिक्षण उपलब्ध कराता है।

यह एक नेटवर्क रिज़ॉल्यूशन 512x512 के साथ एक बार हमारे नेटवर्क को प्रशिक्षित करने के लिए पर्याप्त है, और फिर इसका उपयोग रेंज में विभिन्न नेटवर्क रिज़ॉल्यूशन के साथ किया जा सकता है: [416x416 - 512x512 - 608x608]।

अधिकांश अन्य मॉडलों को प्रत्येक नेटवर्क रिज़ॉल्यूशन के लिए प्रत्येक बार अलग से प्रशिक्षित करने की आवश्यकता होती है, इस वजह से प्रशिक्षण में कई बार अधिक समय लगता है।

ऑब्जेक्ट डिटेक्शन एल्गोरिदम की सटीकता मापने की विशेषताएं

आप हमेशा एक छवि पा सकते हैं जिस पर एक एल्गोरिथ्म खराब तरीके से काम करेगा, और दूसरा एल्गोरिथ्म अच्छी तरह से काम करेगा, और इसके विपरीत। इसलिए, डिटेक्शन एल्गोरिदम का परीक्षण करने के लिए, ~ 20,000 छवियों और 80 विभिन्न प्रकार की वस्तुओं का एक बड़ा सेट उपयोग किया जाता है - MSCOCO परीक्षण-देवता।

ताकि एल्गोरिथ्म केवल प्रत्येक छवि के हैश को याद रखने की कोशिश न करे और उस पर निर्देशांक (ओवरफिटिंग) हो, वस्तु का पता लगाने की सटीकता हमेशा छवियों और लेबल पर जाँची जाती है जो एल्गोरिथ्म ने प्रशिक्षण के दौरान नहीं देखी थी - यह सुनिश्चित करता है कि एल्गोरिथ्म छवियों / वीडियो से वस्तुओं का पता लगा सकता है कि यह कभी नहीं देखा।

ताकि कोई भी सटीकता की गणना करने में गलती न कर सके, सार्वजनिक क्षेत्र में केवल परीक्षण-देव परीक्षण चित्र हैं, जिन पर आप पता लगाते हैं, और कोडालैब मूल्यांकन सर्वर को परिणाम भेजते हैं, जिस पर कार्यक्रम स्वयं आपके परिणामों की परीक्षण टिप्पणियों के साथ तुलना करता है जो किसी के लिए सुलभ नहीं है। ।

MSCOCO डेटासेट में 3 भाग होते हैं

ट्यूटोरियल: 120,000 छवियां और प्रत्येक ऑब्जेक्ट के निर्देशांक के साथ एक json फ़ाइल
सत्यापन सेट: 5,000 चित्र और प्रत्येक ऑब्जेक्ट के निर्देशांक के साथ एक json फ़ाइल
टेस्ट सूट: वस्तुओं के निर्देशांक के बिना 41,000 jpg-चित्र (इनमें से कुछ छवियों का उपयोग कार्यों में सटीकता निर्धारित करने के लिए किया जाता है: ऑब्जेक्ट डिटेक्शन, इंस्टेंस सेगमेंटेशन, कीपॉइंट्स, ...)

YOLOv4 के विकास की विशेषताएं

YOLOv4 को विकसित करते समय, मुझे YOLOv4 न्यूरल नेटवर्क और डार्कनेट फ्रेमवर्क दोनों को C / C ++ / CUDA पर स्वयं विकसित करना था। चूंकि डार्कनेट में कोई स्वचालित भेदभाव और स्वचालित श्रृंखला-नियम नहीं है, फिर सभी ग्रेडिएंट को मैन्युअल रूप से लागू करना होगा। दूसरी ओर, हम श्रृंखला-नियम के सख्त पालन से हट सकते हैं, बैकप्रॉपैगमेंट को बदल सकते हैं और सीखने की स्थिरता और सटीकता को बढ़ाने के लिए बहुत ही गैर-तुच्छ चीजों की कोशिश कर सकते हैं।

तंत्रिका नेटवर्क बनाते समय अतिरिक्त निष्कर्ष

हमेशा वस्तुओं को वर्गीकृत करने के लिए सबसे अच्छा नेटवर्क वस्तुओं का पता लगाने के लिए उपयोग किए जाने वाले नेटवर्क के लिए एक रीढ़ की हड्डी के रूप में सबसे अच्छा नहीं होगा
वर्गीकरण में सटीकता बढ़ाने वाली विशेषताओं के साथ प्रशिक्षित वजन का उपयोग डिटेक्टर सटीकता (कुछ नेटवर्क पर) पर प्रतिकूल प्रभाव डाल सकता है।
विभिन्न अध्ययनों में बताई गई सभी विशेषताएं नेटवर्क सटीकता में सुधार नहीं करती हैं।
.
BFLOPS , BFLOPS
, receptive field , stride=2 / conv3x3, weights (filters) .

YOLOv4

प्रशिक्षित YOLOv4 मॉडल का उपयोग करके ऑब्जेक्ट का पता लगाने का निर्माण OpenCV-dnn लाइब्रेरी github.com/opencv/opencv/issues/17148 में किया गया है, इसलिए आप Darknet ढांचे का उपयोग किए बिना सीधे OpenCV से YOLOv4 का उपयोग कर सकते हैं। OpenCV लाइब्रेरी CPU, GPU (nVidia GPU), VPU (Intel Myriad X) पर तंत्रिका नेटवर्क के कार्यान्वयन का समर्थन करती है। अधिक जानकारी: docs.opencv.org/master/da/d9d/tutorial_dnn_yolo.html

OpenCV (dnn) ढांचा:

C ++ उदाहरण: github.com/opencv/opencv/blob/master/samples/dnn/object_detection.cpp
पायथन उदाहरण: github.com/opencv/opencv/blob/master/samples/dnn/object_detection.py

डार्कनेट फ्रेमवर्क:

वस्तुओं का पता लगाने के लिए YOLOv4 का उपयोग करने के निर्देश: github.com/AlexeyAB/darknet#how-to-use-on-the-command-line
अपनी खुद की वस्तुओं का पता लगाने के लिए एक तंत्रिका नेटवर्क के प्रशिक्षण के लिए निर्देश: github.com/AlexeyAB/darknet#how-to-train-to-detect-your-custom-objects
ILSVRC2012 डेटासेट (इमेजनेट) पर CSPDarknet53 क्लासिफायर के प्रशिक्षण के लिए निर्देश: github.com/AlexeyAB/darknet/wiki/Train-Classifier-on-ImageNet- (ILSVRC2012)
MS COCO डेटासेट पर YOLOv4 के प्रशिक्षण के लिए निर्देश: github.com/AlexeyAB/darknet/wiki/Train-Detector-on-MSCO- (trainvalno5k-2014) -dasaset

tkDNN + TensorRT - YOLOv4 का उपयोग करके ऑब्जेक्ट डिटेक्शन की अधिकतम गति: TensorRT + tkDNN github.com/ceccocats/tkDNN

400 एफपीएस - RTX 2080 तिवारी पर YOLOv4 (416x416 बैच = 4)
जेटसन एजीएक्स ज़ेवियर पर 32 एफपीएस - योलोव 4 (416x416 बैच = 1)

3D-रोटेट-बॉक्स या प्रमुख बिंदुओं / चेहरे के स्थलों का पता लगाने के लिए YOLOv4 के उपयोग का विस्तार किया जा सकता है, उदाहरण के लिए:

github.com/ouyanghuiyu/darknet_face_with_landmark