قم بتحميل كميات كبيرة من البيانات بسرعة في Google Colab

يوم جيد ، هبر. قررت مشاركة معرفتي بكيفية تحميل عدد كبير من الملفات بسرعة إلى Google Colab باستخدام Google Drive.

يعلم الجميع أن Google Colab هو نظام أساسي مجاني رائع للتعلم والتجربة على الشبكات العصبية.

على نظام Google Colab الأساسي ، سيتم تزويدك ببطاقة فيديو قوية مجانًا يمكنك من خلالها تجربة تدريب شبكتك العصبية لمدة 12 ساعة تقريبًا.
ثم ستتم مقاطعة الجلسة ، ولكن في اليوم التالي من Google ، يمكنك الحصول على بطاقة فيديو مرة أخرى ومتابعة تجاربك.

تتطلب الشبكات العصبية الكثير من البيانات للتدريب ، خاصة عندما يتعلق الأمر بالشبكات العصبية التي تعمل مع الصور.

لتدريب هذه الشبكات العصبية ، من الضروري تحميل آلاف ومئات الصور في عينات التدريب والتحقق من الصحة. لسوء الحظ ، إذا قمت بتنزيل هذه الصور مباشرة من Google Drive ، فسيستغرق الأمر وقتًا غير لائق - عشرات الدقائق أو حتى الساعات. بعد كل شيء ، كل طلب لملف في Google Drive وتلقي استجابة منه مع محتويات الملف يحدث بشكل متسلسل وليس بسرعة.

من العار قضاء الوقت في الوصول إلى بطاقة فيديو مجانية لتنزيل البيانات ، وهذا أمر غير معقول.

ونحن أشخاص عاقلون ، لذلك بمجرد أن ننتقل إلى Google Drive ، فإننا نعتبر بياناتنا معبأة مسبقًا في أرشيف مضغوط ، ونفك الأرشيف المضغوط الناتج في ذاكرة Google Colab وننظر في بياناتنا بسرعة مئات المرات أسرع من Google Drive في ملف واحد.

لتجربة سرعة تحميل البيانات في Colab ، أخذت قاعدة بيانات الطائرات الخاصة بي لشبكة عصبية مجزأة.

يوجد في قاعدة البيانات هذه مجلد يحتوي على صور "طائرات" ومجلد "تجزئة" ، حيث يتم تخزين أقنعة صور الطائرات من المجلد أعلاه.
يحتوي كل مجلد على 1005 صورة بدقة 1920 * 1080.
في المجموع ، علينا تحميل ملفات 2010.
سبق لي تحميل نفسي على Google Drive على حد سواء قاعدة البيانات مع الصور وأرشيفها المضغوط.

هيكل قاعدة التدريب:



لذا ، دعنا نبدأ بسرعة تنزيل البيانات من Google Drive:

1. أطلقنا Google Colab ونستورد المكتبات والوحدات التي نحتاجها لذلك
   
   
2. شغّل الأمر للاتصال بـ Google Drive
   
   
3. اتبع الرابط لاختيار حساب Google الخاص بك
   
   
4. اختر حسابك على جوجل
   
   
5. Colab Google Drive
   
   
6. Google Drive
   
   
7. Google Drive
   
   
8. Colab
   
   
9. , .
   
   
10. 
    
    
    
    , 2010 c 1920*1080 0,96 .
    
    , , .
    
    Colab, , Google Drive.
11. zip Google Drive
    
    

كما نرى ، استغرق الأمر 1500 ثانية لتنزيل الملفات المخزنة على Google Drive من كتالوج 2010 ، وهذه 25 دقيقة.

هذا هو 25 دقيقة من التوقف عن تجاربك مع شبكة عصبية.

آمل أن تكون المقالة مفيدة لك وأن تنزيل عدد كبير من الملفات من Google Drive إلى Colab لم يعد مشكلة.

قم بتحميل بيانات التدريب الخاصة بك أسرع مئات المرات مما فعلت من قبل.

فقط أربع خطوات سهلة.

1. احزم قاعدة التعلم في أرشيف مضغوط.
2. قم بتحميل ملف مضغوط مع قاعدة التعلم لنفسك على Google Drive
3. قم بفك ضغط الملف المضغوط باستخدام قاعدة التعلم في ذاكرة Colab
4. اقرأ جميع ملفات ذاكرة Colab في برنامجك

لجميع الأسئلة ، اكتب لي بريدًا إلكترونيًا

alexeyk500@yandex.ru

لأولئك الذين يحتاجون إلى الرمز الموصوف في المقالة ، مرحبًا بكم في GitHub .