Skema pemalsuan, pengembalian, dan pengecekan buah-buahan di toko sayur. Kutipan dari buku

Halo, habrozhiteli! Sejauh ini, situasi di luar jendela, kami memutuskan untuk membagikan kutipan menarik dari buku kami Generative Deep Learning. Potensi kreatif dari jaringan saraf ”oleh David Foster.

Apel dan jeruk

Granny Smith dan Florida adalah pemilik bersama dari penjual sayur. Untuk mencapai efisiensi maksimum, masing-masing mengurus rak-raknya di toko. Sebagai contoh, Granny Smith bangga dengan apel pilihannya, dan Florida berjam-jam jeruk, mencapai lokasi yang sempurna. Keduanya begitu yakin bahwa mereka menyetujui suatu kesepakatan: keuntungan dari penjualan apel akan diberikan kepada Nenek Smith, keuntungan dari penjualan jeruk akan jatuh ke Florida.

Sayangnya, baik Nenek Smith maupun Florida tidak berniat untuk bersaing secara jujur. Ketika Florida tidak melihat, Nenek Smith berjalan ke jendela dengan jeruk dan mulai mengecatnya merah sehingga terlihat seperti apel! Florida melakukan hal yang persis sama: dia mencoba membuat apel Granny Smith lebih mirip jeruk, menggunakan semprotan warna yang cocok ketika dia membalikkan punggung. Karena itu, pelanggan sering memilih buah yang salah yang ingin mereka beli. Mereka yang akan membeli jeruk kadang-kadang keliru memilih apel berwarna Florida, dan mereka yang ingin membeli apel keliru memilih jeruk bertopeng oleh Nenek Smith. Pada akhirnya, keuntungan untuk setiap buah ditambahkan dan dibagi sesuai dengan perjanjian - Nenek Smith kehilangan uang setiap kali salah satu apelnya dijual sebagai jeruk,dan Florida, ketika salah satu jeruknya dijual sebagai apel.

Setelah toko tutup, keduanya mulai memulihkan ketertiban di rak buah. Tetapi alih-alih mencoba mencuci cat yang disebabkan oleh saingannya, keduanya hanya mengecat palsu, mencoba mengembalikannya ke bentuk aslinya. Penting bagi mereka untuk melakukan pekerjaan ini dengan benar: jika buah tidak terlihat sebagaimana mestinya, maka mereka tidak akan bisa menjualnya pada hari berikutnya dan lagi-lagi kehilangan keuntungan. Untuk memastikan tindakan mereka benar, mereka terkadang menguji metode mereka pada buah mereka sendiri. Florida menaburkan jeruk dan memeriksa untuk melihat apakah mereka terlihat persis sama dengan aslinya. Nenek Smith menguji “keterampilannya” pada apel. Jika mereka menemukan perbedaan yang jelas, maka mereka harus menghabiskan laba yang diperoleh dengan susah payah untuk mempelajari metode yang lebih maju (Gbr. 5.2).

Pada awalnya, pembeli sering membuat pilihan yang salah. Namun, seiring waktu, mereka mendapatkan pengalaman dan belajar menentukan buah mana yang dipalsukan. Ini memaksa Granny Smith dan Florida untuk menyempurnakan diri sendiri dalam memalsukan buah masing-masing, serta mengembalikan kepalsuan ke penampilan asli mereka. Selain itu, mereka perlu secara berkala memastikan bahwa trik yang mereka gunakan tidak mengubah penampilan buah mereka sendiri.

Setelah berhari-hari dan berminggu-minggu dalam permainan konyol ini, mereka memperhatikan bahwa sesuatu yang luar biasa telah terjadi. Pelanggan tidak lagi membedakan antara buah asli dan palsu. Dalam gbr. 5.3 menunjukkan seperti apa buah setelah pemalsuan dan pemulihan, serta setelah pengujian.

CycleGAN

Kisah sebelumnya adalah alegori yang menggambarkan pengembangan salah satu bidang utama dalam pemodelan generatif, yang dikenal sebagai transfer gaya: jaringan kompetitif-generatif yang konsisten secara siklikal, atau CycleGAN. Artikel yang menguraikan jaringan ini merupakan langkah maju yang signifikan dalam bidang transfer gaya dan menunjukkan cara melatih model yang dapat menyalin gaya dari serangkaian gambar referensi ke gambar lain tanpa menggunakan serangkaian contoh pelatihan yang dipasangkan.

Model transfer gaya yang sudah ada sebelumnya, seperti pix2pix, mensyaratkan bahwa setiap gambar dalam set pelatihan ada dalam bentuk sumber dan target. Untuk beberapa tugas transfer gaya (misalnya, untuk mengubah foto hitam-putih menjadi foto berwarna, peta menjadi citra satelit), Anda dapat membuat kumpulan data seperti itu, tetapi bagi yang lain itu tidak mungkin. Misalnya, kami tidak memiliki foto asli kolam tempat Monet menulis seri “Water Lilies”, dan lukisan karya Picasso dengan gambar Empire State Building. Dengan analogi, akan diperlukan upaya luar biasa untuk membuat foto kuda dan zebra berdiri dalam posisi yang sama. Sebuah artikel yang menggambarkan CycleGAN keluar hanya beberapa bulan setelah sebuah artikel yang menggambarkan metode pix2pix, dan menunjukkan bagaimana melatih model untuk menyelesaikan masalah yang sama,tetapi dengan tidak adanya pasangan gambar sumber dan target. Dalam gbr. Gambar 5.4 menunjukkan perbedaan antara dataset Pix2pix dan CycleGAN yang berpasangan dan tidak berpasangan. Jika metode pix2pix memungkinkan Anda untuk mensimulasikan perubahan hanya dalam satu arah (dari gaya sumber ke target), maka CycleGAN melatih model di kedua arah pada waktu yang bersamaan, sehingga model belajar untuk mengkonversi gambar sumber ke target dan sebaliknya. Properti ini disebabkan oleh arsitektur model, sehingga Anda mendapatkan kemampuan untuk mengkonversi ke arah yang berlawanan secara otomatis.terima kasih untuk model yang belajar mengonversi gambar sumber ke target dan sebaliknya. Properti ini disebabkan oleh arsitektur model, sehingga Anda mendapatkan kemampuan untuk mengkonversi ke arah yang berlawanan secara otomatis.terima kasih untuk model yang belajar mengonversi gambar sumber ke target dan sebaliknya. Properti ini disebabkan oleh arsitektur model, sehingga Anda mendapatkan kemampuan untuk mengkonversi ke arah yang berlawanan secara otomatis.

Mari kita lihat bagaimana membangun model CycleGAN menggunakan Keras. Untuk memulainya, mari kita ambil contoh sebelumnya dengan apel dan jeruk sebagai dasar, menelusuri semua bagian CycleGAN dan bereksperimen dengan arsitekturnya. Kemudian kami menerapkan pendekatan yang sama untuk membuat model yang dapat menerapkan gaya artis tertentu ke foto pilihan Anda.

Jaringan CycleGAN pertama Anda

Sebagian besar kode berikut dipinjam dari repositori Keras-GAN (http://bit.ly/2Za68J2), dikelola oleh Erik Linder-Norén. Sumber yang luar biasa ini berisi banyak contoh jaringan persaingan generatif dari berbagai buku yang diimplementasikan dengan Keras.

Pertama, Anda perlu mengunduh data yang akan digunakan untuk pelatihan. Di folder tempat Anda mengkloning repositori dengan contoh-contoh buku, jalankan perintah:

bash ./scripts/download_cyclegan_data.sh apple2orange

Dalam kumpulan gambar apel dan jeruk yang diunduh, yang akan kita gunakan nanti, datanya dibagi menjadi empat folder: trainA dan testA berisi gambar apel, dan trainB dan testB berisi gambar jeruk. Artinya, A mewakili ruang gambar apel, dan B mewakili ruang gambar jeruk. Tujuan kami adalah untuk melatih model pada kumpulan data di folder kereta untuk mengonversi gambar dari set A ke set B, dan sebaliknya. Gambar dalam folder uji yang kami gunakan untuk menguji kualitas model.

»Informasi lebih lanjut tentang buku ini dapat ditemukan di situs web penerbit
» Isi
» Kutipan