Bagaimana kami membuat galeri seni jaringan saraf dan mengapa kami tidak memberikan gambar untuk disalin

Hari ini kami meluncurkan galeri virtual tempat semua gambar dibuat oleh jaringan saraf. Keunikannya adalah bahwa hanya satu orang yang dapat mengambil setiap gambar dalam ukuran penuh. Hampir seperti di galeri sungguhan.

Dalam posting ini, saya akan berbicara tentang bagaimana ide ini lahir dan bagaimana kami menerapkannya menggunakan dua jaringan saraf, salah satunya digunakan dalam pencarian Yandex.



Ide

Kami banyak bereksperimen dengan GAN dan mencoba menemukan ide proyek yang indah dan dapat dipahami di mana kami dapat menunjukkan prestasi kami.

Saya sudah memiliki proyek ganarts yang saya luncurkan untuk diri sendiri dan teman-teman. Itu hanya halaman di mana gambar-gambar dalam bentuk cetakan pada t-shirt dibuat tanpa henti. Mereka dihasilkan oleh jaringan saraf StyleGAN, dilatih tentang gaya seni yang dipilih sendiri dengan wikiart.

Proyek Gif

Kami mengambil ide ini sebagai dasar. Tetapi saya tidak ingin melakukan hanya pembuat gambar situs lainnya. Dan dalam proses diskusi, konsep galeri seni dengan beberapa ruang tematik muncul, di mana setiap gambar harus memiliki tidak lebih dari satu pemilik. Menurut ide kami, ini harus menghubungkan galeri virtual dengan galeri yang lebih akrab di mana setiap gambar memiliki pemilik tertentu. Pada saat yang sama, untuk dapat menghasilkan jutaan gambar, kami secara khusus membatasi jumlah mereka sehingga setiap pengguna yang berhasil mengambil gambar merasakan keunikannya. Dan kami juga menambahkan batasan - Anda dapat mengambil tidak lebih dari satu gambar - sehingga jauh lebih menarik untuk dipilih.

Penerapan

Karena perusahaan Nvidia memposting kode untuk melatih jaringan saraf StyleGAN, cukup sulit untuk mengejutkan seseorang dengan gambar yang dihasilkan. Penulisnya berhasil membuat arsitektur yang cukup universal, yang menunjukkan hasil yang baik pada data yang berbeda. Terobosan ini juga dalam kenyataan bahwa model dapat dilatih pada resolusi yang cukup tinggi (1024 × 1024) untuk waktu yang dapat diterima dan dengan kualitas yang lebih baik daripada pesaing.

Penggemar "memberi makan" padanya segala yang ada di tangannya. Jika Anda tertarik untuk melihat proyek-proyek seperti itu, berikut adalah daftar yang paling mencolok.

- People: thispersondoesnotexist.com
- Anime: www.thiswaifudoesnotexist.net
- Kucing: thesecatsdonotexist.com
- Karakter Game of Thrones: nanonets.com/blog/stylegan-got
- Mobil: twitter.com/SyntopiaDK/status/1094337819659644928
- Logos: twitter.com/matthewjarvisw/status/1110548997729452035
- gambar Anak: twitter.com/roberttwomey/status/1239050186120282113
- Bugs: twitter.com/karim_douieb/status/1229903297378766854
- komik Garfield: twitter.com/willynguen/status/1220382062554898433
- Font: twitter.com/cyrildiagne/status/1095603397179396098
- Gambar dari mikroskop: twitter.com/MichaelFriese10/status/1229453681516412928
- Pokemon: twitter.com/MichaelFri10/status/ 1210305621121064960

Tetapi kemajuan tidak berhenti, dan pada akhir 2019 Nvidia merilis versi keduaStyleGAN . Tinjauan terperinci dari semua perubahan dapat dibaca di Habré . Peningkatan terlihat utama adalah menyingkirkan artefak seperti tetesan karakteristik dengan mengubah metode normalisasi aktivasi dalam jaringan. Setelah mencoba arsitektur baru pada dataset awal kami, kami juga melihat peningkatan dalam variasi lukisan yang dihasilkan, yang tidak bisa tidak bersuka cita. Hipotesis kami: ini disebabkan oleh peningkatan jumlah parameter dalam versi kedua arsitektur, yang memungkinkan kami mempelajari lebih banyak "mode" dalam distribusi data.

Bonus bagus lainnya dari versi kedua dari StyleGAN adalah ruang laten yang “lebih halus”. Sederhananya, ini memungkinkan Anda untuk membuat kelancaran mengalir di antara gambar yang berbeda:


Untuk membuat lukisan, kami menggunakan arsitektur StyleGAN2. Kami melatih jaringan saraf pada karya-karya yang berasal dari berbagai bidang lukisan: dari Fauvisme dan Kubisme hingga minimalis dan seni jalanan. Secara total, ada sekitar 40 ribu lukisan dalam set pelatihan, berdasarkan gambar yang benar-benar baru dihasilkan.

Galeri kami memiliki empat ruang tematik: "People", "Nature", "City" dan "Mood". Untuk membagi lukisan menjadi aula, kami menggunakan jaringan saraf, yang digunakan dalam Gambar Yandex. Dia belajar tentang klik pengguna dari mengeluarkan gambar berdasarkan permintaan teks. Dataset pelatihan internal kami cukup besar sehingga jaringan saraf ini dapat mengetahui pola yang dihasilkan. Dia membantu memilih gambar secara otomatis sesuai dengan permintaan tekstual kami dari sejumlah besar gambar acak. Misalnya, untuk ruangan yang disebut "People," lukisan dipilih atas permintaan "keindahan," "tarian bundar," "kencan," "tuan," dan seterusnya. Ini menciptakan kesan ruang tematik, dan pertanyaan awal menjadi nama untuk lukisan.

Hasil



Kami membuat galeridari empat ribu lukisan, yang masing-masing dapat menemukan pemiliknya. Dengan galeri virtual ini, kami ingin mengurangi jarak antara kreativitas jaringan saraf dan seni yang lebih nyata.

Saya percaya bahwa proses pemilihan gambar oleh pengguna juga bisa disebut sebagai manifestasi kreativitas. Dan saya berharap di masa depan akan ada lebih banyak peluang untuk pilihan kreatif.