Google Colab में बड़ी मात्रा में डेटा जल्दी लोड करें

शुभ दिन, हैब्र। मैंने अपना ज्ञान साझा करने का निर्णय लिया कि कैसे Google Colab को बड़ी संख्या में Google ड्राइव के साथ जल्दी से अपलोड किया जाए।

हर कोई जानता है कि Google Colab तंत्रिका नेटवर्क पर सीखने और प्रयोग करने के लिए एक महान मुफ्त मंच है।

Google Colab प्लेटफ़ॉर्म पर, आपको एक शक्तिशाली वीडियो कार्ड मुफ्त में प्रदान किया जाएगा, जिस पर आप अपने तंत्रिका नेटवर्क के प्रशिक्षण के लिए 12 घंटे तक प्रयोग कर सकते हैं।
फिर सत्र बाधित हो जाएगा, लेकिन अगले दिन Google से आप फिर से एक वीडियो कार्ड प्राप्त कर सकते हैं और अपने प्रयोगों को जारी रख सकते हैं।

तंत्रिका नेटवर्क को प्रशिक्षण के लिए बहुत अधिक डेटा की आवश्यकता होती है, खासकर जब यह छवियों के साथ काम करने वाले तंत्रिका नेटवर्क की बात आती है।

ऐसे तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए, प्रशिक्षण और सत्यापन नमूनों में हजारों और सैकड़ों छवियों को लोड करना आवश्यक है। दुर्भाग्य से, यदि आप इन चित्रों को सीधे अपने Google ड्राइव से डाउनलोड करते हैं, तो यह एक अशोभनीय समय लेता है - दसियों मिनट या घंटे भी। आखिरकार, Google डिस्क में एक फ़ाइल के लिए प्रत्येक अनुरोध और फ़ाइल की सामग्री के साथ उस से प्रतिक्रिया प्राप्त करना क्रमिक रूप से होता है और जल्दी से नहीं।

डेटा डाउनलोड करने के लिए मुफ्त वीडियो कार्ड तक पहुँचने में समय व्यतीत करना शर्म की बात है, और यह उचित नहीं है।

और हम वाजिब लोग हैं, इसलिए हम एक बार Google ड्राइव की ओर रुख करेंगे, हमारे डेटा को ज़िप संग्रह में अग्रिम रूप से पैक करने पर विचार करेंगे, परिणामी ज़िप संग्रह को Google Colab मेमोरी में अनपैक करें और एक समय में Google ड्राइव एक फ़ाइल की तुलना में सैकड़ों गुना अधिक गति से हमारे डेटा पर विचार करें।

कोलाब में डेटा लोड करने की गति के साथ एक प्रयोग के लिए, मैंने अपने एयरप्लेन डेटाबेस को एक विभाजन तंत्रिका नेटवर्क के लिए लिया।

इस डेटाबेस में छवियों "हवाई जहाज" और एक फ़ोल्डर "विभाजन" के साथ एक फ़ोल्डर है, जहां उपरोक्त फ़ोल्डर से हवाई जहाज की छवियों के मुखौटे संग्रहीत हैं।
प्रत्येक फ़ोल्डर में 1920 * 1080 के 1,005 चित्र शामिल हैं।
कुल में, हमें 2010 फाइलें अपलोड करनी हैं।
मैंने पहले खुद को Google ड्राइव पर दोनों डेटाबेस को छवियों और इसके ज़िप संग्रह के साथ अपलोड किया था।

प्रशिक्षण आधार संरचना:



तो, चलिए Google ड्राइव से डेटा डाउनलोड करने की गति को कम करते हैं:

1. हम Google Colab लॉन्च करते हैं और इसके लिए हमें आवश्यक लाइब्रेरी और मॉड्यूल आयात करते हैं
   
   
2. Google ड्राइव से कनेक्ट करने के लिए कमांड चलाएँ
   
   
3. अपना Google खाता चुनने के लिए लिंक का अनुसरण करें
   
   
4. Google पर अपना खाता चुनें
   
   
5. Colab Google Drive
   
   
6. Google Drive
   
   
7. Google Drive
   
   
8. Colab
   
   
9. , .
   
   
10. 
    
    
    
    , 2010 c 1920*1080 0,96 .
    
    , , .
    
    Colab, , Google Drive.
11. zip Google Drive
    
    

जैसा कि हम देख सकते हैं, 2010 कैटलॉग से Google ड्राइव पर संग्रहीत फ़ाइलों को डाउनलोड करने में हमें 1500 सेकंड का समय लगा और यह 25 मिनट है।

यह तंत्रिका नेटवर्क के साथ आपके प्रयोगों के डाउनटाइम का 25 मिनट है।

मुझे उम्मीद है कि लेख आपके लिए उपयोगी था और अब Google ड्राइव से कोलाब तक बड़ी संख्या में फ़ाइलों को डाउनलोड करना अब कोई समस्या नहीं है।

अपने प्रशिक्षण डेटा को पहले की तुलना में सैकड़ों गुना तेज अपलोड करें।

बस चार आसान उपाय।

1. एक ज़िप संग्रह में लर्निंग बेस को पैक करें।
2. Google डिस्क पर खुद को लर्निंग बेस के साथ ज़िप फ़ाइल अपलोड करें
3. कोलाब की मेमोरी में लर्निंग बेस के साथ जिप फाइल को अनज़िप करें
4. अपने कार्यक्रम में सभी कोलाब मेमोरी फ़ाइलों को पढ़ें

सभी प्रश्नों के लिए, मुझे एक ईमेल

लिखें alexeyk500@yandex.ru

उन लोगों के लिए जिन्हें लेख में वर्णित कोड की आवश्यकता है, मेरे लिए GitHub पर आपका स्वागत है ।