Cepat memuat sejumlah besar data di Google Colab

Selamat siang, Habr. Saya memutuskan untuk membagikan pengetahuan saya tentang cara mengunggah sejumlah besar file ke Google Colab dengan Google Drive dengan cepat.

Semua orang tahu bahwa Google Colab adalah platform gratis yang hebat untuk belajar dan bereksperimen di Neural Networks.

Pada platform Google Colab, Anda akan diberikan kartu video yang kuat gratis di mana Anda dapat bereksperimen dengan melatih jaringan saraf Anda selama sekitar 12 jam.
Kemudian sesi akan terputus, tetapi hari berikutnya dari Google Anda dapat kembali mendapatkan kartu video dan melanjutkan percobaan Anda.

Jaringan saraf memerlukan banyak data untuk pelatihan, terutama ketika menyangkut jaringan saraf yang bekerja dengan gambar.

Untuk melatih jaringan saraf seperti itu, perlu memuat ribuan dan ratusan gambar ke dalam sampel pelatihan dan validasi. Sayangnya, jika Anda mengunduh gambar-gambar ini langsung dari Google Drive Anda, dibutuhkan waktu yang tidak senonoh - puluhan menit atau bahkan berjam-jam. Lagi pula, setiap permintaan untuk file di Google Drive dan menerima respons darinya dengan konten file terjadi secara berurutan dan tidak cepat.

Sayang menghabiskan waktu mengakses kartu video gratis untuk mengunduh data, dan itu tidak masuk akal.

Dan kami adalah orang-orang yang beralasan, jadi setelah kami beralih ke Google Drive, kami mempertimbangkan data kami dikemas terlebih dahulu dalam arsip zip, membongkar arsip zip yang dihasilkan ke dalam memori Google Colab dan mempertimbangkan data kami dengan kecepatan ratusan kali lebih cepat daripada dengan Google Drive dalam satu file.

Untuk percobaan dengan kecepatan memuat data ke Colab, saya mengambil database Airplanes saya untuk jaringan saraf segmentasi.

Dalam database ini ada folder dengan gambar "pesawat terbang" dan folder "segmentasi", di mana topeng gambar pesawat terbang dari folder di atas disimpan.
Setiap folder berisi 1.005 gambar 1920 * 1080.
Secara total, kita harus mengunggah file 2010.
Saya sebelumnya mengunggah ke Google Drive baik di database dengan gambar dan arsip zip-nya.

Struktur Basis Pelatihan:



Jadi, mari kita mulai dengan cepat mengunduh data dari Google Drive:

1. Kami meluncurkan Google Colab dan mengimpor perpustakaan dan modul yang kami butuhkan untuk ini
   
   
2. Jalankan perintah untuk terhubung ke Google Drive
   
   
3. Ikuti tautan untuk memilih akun Google Anda
   
   
4. Memilih akun Anda di Google
   
   
5. Colab Google Drive
   
   
6. Google Drive
   
   
7. Google Drive
   
   
8. Colab
   
   
9. , .
   
   
10. 
    
    
    
    , 2010 c 1920*1080 0,96 .
    
    , , .
    
    Colab, , Google Drive.
11. zip Google Drive
    
    

Seperti yang dapat kita lihat, butuh 1500 detik untuk mengunduh file yang disimpan di Google Drive dari katalog 2010, dan ini adalah 25 menit.

Ini adalah 25 menit downtime dari percobaan Anda dengan jaringan saraf.

Saya harap artikel ini bermanfaat bagi Anda dan sekarang mengunduh sejumlah besar file dari Google Drive ke Colab tidak lagi menjadi masalah.

Unggah data pelatihan Anda ratusan kali lebih cepat dari yang Anda lakukan sebelumnya.

Hanya empat langkah mudah.

1. Kemas Basis Belajar di arsip zip.
2. Unggah file zip dengan Basis Belajar ke diri Anda di Google Drive
3. Buka zip file zip dengan Basis Belajar ke dalam memori Colab
4. Baca semua file memori Colab ke dalam program Anda

Untuk semua pertanyaan, kirimkan saya email

alexeyk500@yandex.ru

Bagi mereka yang membutuhkan kode yang dijelaskan dalam artikel, selamat datang di GitHub .