كيف أنشأنا معرض فن الشبكة العصبية ولماذا لا نعطي الصور لنسخها

أطلقنا اليوم معرضًا افتراضيًا حيث يتم إنشاء جميع الصور بواسطة شبكة عصبية. تكمن خصوصيته في أنه يمكن لشخص واحد فقط التقاط كل صورة بالحجم الكامل. تقريبا مثل في معرض حقيقي.

في هذا المنشور ، سأتحدث عن كيف ولدت هذه الفكرة وكيف نفذناها باستخدام شبكتين عصبيتين ، إحداهما تستخدم في بحث Yandex.



الفكرة

نجرب الكثير مع GANs وحاولنا العثور على فكرة مشروع جميل ومفهوم يمكننا من خلاله إظهار إنجازاتنا.

كان لدي بالفعل مشروع الجانارتات الذي أطلقته لنفسي ولأصدقائي. كانت مجرد صفحة يتم فيها إنشاء صور على شكل طباعة على قميص إلى ما لا نهاية. تم إنشاؤها بواسطة الشبكة العصبية StyleGAN ، والتي تم تدريبها على الأنماط الفنية المختارة يدويًا مع wikiart.

مشروع Gif

أخذنا هذه الفكرة كأساس. لكنني لم أرد أن أقوم بعمل منشئ موقع آخر للصور. وفي سياق المناقشة ، ظهر مفهوم معرض فني مع العديد من الغرف المواضيعية ، حيث لا يجب أن يكون لكل صورة أكثر من مالك واحد. وفقًا لفكرتنا ، يجب أن يربط هذا المعرض الافتراضي بالمعارض الأكثر شيوعًا التي تحتوي على كل صورة مالك معين. في الوقت نفسه ، نظرًا لقدرتنا على إنشاء ملايين الصور ، قمنا بتحديد عددهم على وجه التحديد حتى يشعر كل مستخدم تمكن من التقاط صورة بتفرده. وأضفنا قيودًا - لا يمكنك التقاط أكثر من صورة واحدة - لذا من المثير للاهتمام الاختيار.

التنفيذ

نظرًا لأن شركة Nvidia نشرت رمزًا لتدريب الشبكة العصبية StyleGAN ، فمن الصعب جدًا مفاجأة شخص بالصور التي تم إنشاؤها. تمكن مؤلفوها من إنشاء بنية عالمية إلى حد ما ، والتي تظهر نتائج جيدة على بيانات مختلفة. كان هناك تقدمًا كبيرًا أيضًا في حقيقة أنه يمكن تدريب النموذج بدقة عالية بما فيه الكفاية (1024 × 1024) لفترة زمنية مقبولة وبجودة أفضل من تلك المنافسة.

المتحمسون "أطعموا" كل ما يأتي في متناول اليد. إذا كنت مهتمًا بالنظر في مثل هذه المشاريع ، فإليك قائمة بأكثر المشاريع جاذبية.

- الناس: thispersondoesnotexist.com
- الأنمي: www.thiswaifudoesnotexist.net
- القطط: thesecatsdonotexist.com
- شخصيات Game of Thrones: nanonets.com/blog/stylegan-got
- سيارات: twitter.com/SyntopiaDK/status/1094337819659644928
- شعارات: twitter.com/matthewjarvisw/status/1110548997729452035
- رسومات الأطفال: twitter.com/roberttwomey/status/1239050186120282113
- البق: twitter.com/karim_douieb/status/1229903297378766854
- كاريكاتير غارفيلد: twitter.com/willynguen/status/1220382062554898433
- الخطوط: twitter.com/cyrildiagne/status/1095603397179396098
- صور من المجهر: twitter.com/MichaelFriese10/status/1229453681516412928
- Pokemon: twitter.com/MichaelFriese10/status 1210305621121064960

لكن التقدم لا يقف ساكنا ، وفي نهاية 2019 أصدرت نفيديا النسخة الثانيةستايل . يمكن الاطلاع على نظرة عامة مفصلة لجميع التغييرات على حبري . التحسين الرئيسي المرئي هو التخلص من القطع الأثرية المميزة مثل القطرات عن طريق تغيير طريقة تطبيع التنشيط داخل الشبكة. بعد تجربة البنية الجديدة في مجموعة بياناتنا الأولية ، لاحظنا أيضًا زيادة في مجموعة متنوعة من اللوحات المولدة ، والتي لا يمكن إلا أن تفرح. فرضيتنا: كان هذا بسبب زيادة عدد المعلمات في الإصدار الثاني من البنية ، مما سمح لنا بمعرفة المزيد من "الأنماط" في توزيع البيانات.

مكافأة أخرى لطيفة من الإصدار الثاني من StyleGAN كانت المساحة الكامنة "الأكثر سلاسة". ببساطة ، هذا يسمح لك بالتدفق السلس بين الصور المختلفة:


لإنشاء اللوحات ، استخدمنا بنية StyleGAN2. قمنا بتدريب الشبكة العصبية على الأعمال التي تنتمي إلى مناطق مختلفة من الرسم: من الفوفية والتكعيبية إلى البساطة وفن الشارع. في المجموع ، هناك حوالي 40 ألف لوحة في مجموعة التدريب ، يتم على أساسها إنشاء صور جديدة تمامًا.

يحتوي معرضنا على أربع قاعات موضوعية: "الناس" و "الطبيعة" و "المدينة" و "المزاج". من أجل تقسيم اللوحات إلى قاعات ، استخدمنا الشبكة العصبية ، التي يتم استخدامها في Yandex.Photos. تتعرف على نقرات المستخدم من إصدار الصور بناءً على طلب نصي. مجموعة بيانات التدريب الداخلي لدينا كبيرة بما يكفي بحيث يمكن لهذه الشبكة العصبية معرفة حتى الأنماط التي تم إنشاؤها. ساعدت في تحديد الصور تلقائيًا وفقًا لطلباتنا النصية من عدد كبير من الصور العشوائية. على سبيل المثال ، بالنسبة لغرفة تسمى "أشخاص" ، تم اختيار اللوحات بناءً على طلب "الجمال" و "الرقص المستدير" و "التاريخ" و "سيد" وما إلى ذلك. هذا خلق شعوراً بالغرف المواضيعية ، وعملت الاستعلامات الأولية كأسماء اللوحات.

النتيجة



قمنا بعمل معرضمن أربعة آلاف لوحة ، كل منها يمكن أن يجد صاحبها. مع هذا المعرض الافتراضي ، نريد تقليل المسافة بين إبداع الشبكة العصبية والفن الملموس.

أعتقد أن عملية اختيار صورة من قبل المستخدم يمكن أن تسمى أيضًا مظهرًا من مظاهر الإبداع. وآمل أنه في المستقبل سيكون هناك المزيد من الفرص للاختيار الإبداعي.