Get best of the week

CGI di rumah dengan Unreal Engine dan iPhone

Halo semuanya! Nama saya Vasily Mazalov, saya bekerja sebagai editor video senior di Pixonic. Departemen kami menciptakan materi iklan video untuk pemasaran dan komunitas: video untuk halaman di halaman, review video dari inovasi game dan konten lainnya.

Ketika saya tidak menciptakan kreativitas, saya memantau Internet untuk format baru dan cara menyajikan materi untuk membuat konten kita sendiri lebih beragam, menarik dan menarik bagi pemain baru.

Setahun yang lalu, saya menemukan video berikut:

Tonton videonya


Apa yang kita lihat di sini? Pria itu mengenakan setelan untuk menangkap gerakan tubuh (sejauh ini tidak ada yang aneh), menggantung iPhone di depannya (tapi ini menarik) dan dengan demikian menyiarkan animasi wajah dan tubuh karakter secara langsung secara real time di Unreal Engine, dan hasilnya terlihat seperti implementasi sederhana seperti itu. kualitas yang cukup tinggi.

Ide yang keren, pikirku. Kemudian tutup videonya. Dan dia terus bekerja lebih jauh.

Enam bulan kemudian, materi pelatihan tentang cara menangkap animasi wajah di Unreal Engine menggunakan aplikasi pada iPhone ternyata berada di domain publik. Pada saat yang sama, saya menemukan bahwa setelan untuk menangkap gerakan dibeli di departemen seni kami. Tampak kompatibilitasnya dengan UE: semuanya berjalan dengan baik. Hanya menemukan iPhone untuk pekerjaan lebih lanjut, tetapi saat ini ada lebih sedikit masalah dengan ini.

Tonton videonya


Ada banyak pertanyaan. Sebelum saya adalah bidang animasi yang belum digali, Unreal Engine, pemodelan wajah dan tubuh manusia, dan hal-hal lain yang sepenuhnya jauh dari pengeditan video, tetapi pada saat yang sama, keinginan besar untuk menyadari apa yang dimaksudkan.

Proses panjang mempelajari berbagai dokumentasi telah dimulai.

Apa yang terjadi sebagai akibat dan bagaimana kita mencapainya, baca terus.


Animasi wajah


Untuk mewujudkan ide kami, tidak menguntungkan bagi kami untuk menggunakan dan memahat karakter dari awal: akan membutuhkan banyak waktu dan akan membutuhkan perbaikan yang kompleks dan paling sering tidak dapat dibenarkan. Oleh karena itu, kami memutuskan untuk menggunakan DAZ Studio: tulang wajah awalnya diletakkan di sana, memungkinkan Anda untuk dengan cepat membuat kontraksi dan emosi wajah yang diperlukan, yang mana pematung akan menghabiskan lebih banyak waktu. Ya, model yang dibuat di DAZ jauh dari citra fotorealistik, tetapi mereka cocok untuk tujuan kami.

Untuk merekam animasi wajah, kami hanya membutuhkan iPhone dengan kamera depan TrueDepth - yaitu, dari iPhone X dan di atasnya. Teknologi inilah yang membaca topologi wajah dan mentransfer nilai yang diperlukan di Unreal ke model kami.



Bentuk campuran bertanggung jawab untuk ekspresi wajah yang berbeda - model 3D dari topologi yang sama, yaitu, dengan jumlah simpul yang sama, tetapi bentuknya berbeda. Face AR menggunakan 51 campuran, dan berkat dokumentasi Apple yang mendetail yang menggambarkan campuran spesifik mana yang digunakan dalam DAZ, kami dapat membuatnya dengan cukup cepat.

Himpunan emosi dan campuran dalam model 3D terlihat seperti ini:


Blend bentuk dari Internet


Campuran kami

Jadi, pertama-tama kita mendapatkan wajah Unreal Engine kami untuk pengujian, kemudian membangun aplikasi dan kembali ke Unreal untuk mendapatkan hasilnya.




Animasi tubuh


Untuk membuat badan, perlu mempertimbangkan secara spesifik peranti lunak untuk bekerja dengan jas. Kami bekerja dengan setelan tangkap gerak Sistem Persepsi Neuron 2.0 Noitom. Harganya sekitar 2.500 dolar. Ini adalah setelan termurah di pasar dan bukan yang terbaik di antara analog: sangat sensitif terhadap radiasi elektromagnetik, yang membuat koordinat sensor bergerak jika berada dalam radius radiasi aktif, dan akan lebih sulit untuk membersihkan animasi. Untungnya, kami baru saja pindah ke lantai lain, dan di tempat baru itu cukup sepi, yang berarti radiasi elektromagnetik dikurangi seminimal mungkin - itu ideal bagi kami.



Kenapa harus setelan jas? Animasi siap pakai dari berbagai perpustakaan tidak cocok untuk kita, karena karakter kita harus memiliki karakter dan perilaku yang unik, dan wajah dan tubuh harus secara akurat mencerminkannya. Jika kami membuat animasi dari awal, itu akan memakan waktu satu bulan, atau bahkan dua. Menggunakan peralatan penangkapan gerak disimpan saat ini.

Berbeda dengan wajah, para seniman sendiri melukis model tubuh dari awal. Maka itu perlu untuk membuatnya kecurangan dan menguliti di Maya. Setelah merakit tubuh, kami memulainya di Unreal, di sana kami mengumpulkan semuanya untuk mocap, merekam animasi, dan setelah itu hasilnya hanya tinggal diremas-remas.



Agar animasi dapat ditransmisikan secara akurat, peningkatannya minimal atau untuk menghindarinya sama sekali, dan untuk menyiarkan animasi dari kostum langsung ke Unreal Engine, perlu untuk mengatur dengan benar tulang-tulang dan menghilangkan nilai yang tidak perlu dari model kami. Noitom memiliki model 3D kasar untuk Unreal Engine, yang dengannya, sebagai referensi, kami perlu memperbaiki model kami sendiri: memasukkannya ke dalam T-pose, menempatkan telapak tangan dan jari pada posisi pemodelan yang tidak standar dan mengatur ulang semua nilai ke nol. Sangat penting bahwa semua tulang tanpa belokan yang tidak perlu, jika tidak program akan melipatgandakan mereka, sehingga sangat mengganggu gerakan.

Secara total, butuh sekitar dua jam untuk mengkalibrasi setelan dan merekam video pertama. Kami mengatur pengaturan di Mesin Unreal, merekam animasi tubuh dengan semua jeda yang diperlukan sesuai dengan skrip, kemudian merekam animasi wajah sesuai dengan gerakan tubuh dan skrip yang sama dan mendapatkan hasilnya, yang akan Anda lihat pada ilustrasi berikut.


Setelah merekam, animasi perlu ditingkatkan, jadi kami mengatur animator tugas membersihkannya. Butuh tiga hari baginya untuk membersihkan dua menit animasi.


Kemudian kami memerlukan waktu sekitar tiga minggu untuk versi final, dan jika kami mengecualikan penyempurnaan faktor-faktor tertentu baik dalam model wajah dan dalam tubuh, periode ini dapat dikurangi dengan minggu berikutnya.


Mengapa kita menggunakannya?


Mari kita istirahat dari proses CGI dan berbicara tentang apa tujuan dari proyek tersebut.

Pada saat itu, ketika saya mempelajari topik ini dan mengumpulkan informasi yang diperlukan untuk bekerja, pilot muncul di permainan kami.

Biasanya, ketika konten baru keluar, baik suara di luar layar berbicara tentang hal itu, atau pengembang sendiri, atau informasi itu entah bagaimana datang melalui gameplay. Sekarang kita memiliki kesempatan untuk membuat karakter, mempersiapkannya dengan baik, mengumpulkan dari aset berkualitas tinggi lokasi di mana ia akan berlokasi, dan melalui pahlawan ini berkomunikasi dengan para pemain: mulai dari cerita dan ulasan video hingga siaran langsung.

Untuk pertama kalinya dalam game tentang robot, karakter hidup muncul, dan setelah mereka cerita yang bisa mereka ceritakan tentang diri mereka sendiri dan dunia. Dan saya pikir akan keren jika memungkinkan untuk mengumpulkan gameplay sinematik dengan karakter yang akan membenamkan pemain di dunia game secepat kita melakukan video di mesin.



Bersama-sama dengan departemen komunitas, kami mulai menemukan gambar karakter, bagaimana dia terlihat dan bagaimana ceritanya nanti. Manajer komunitas senior kami menulis naskah, yang kemudian kami kembangkan dalam hal menghemat waktu dan menyederhanakan produksi.


Dalam video ini Anda melihat hampir semua tes yang telah kami lakukan dengan animasi wajah dan animasi tubuh. Karena mereka memiliki spesifikasi yang berbeda, mereka harus diuji pada gilirannya dan hanya dicampur pada akhirnya. Untuk tes animasi tubuh, model kostum diambil dari trailer CGI untuk rilis baru:


Nah, sekarang mari kita tunjukkan apa yang kita dapatkan sebagai hasilnya:



Total


Memiliki setelan penangkapan gerak, iPhone, model 3D dan Unreal Marketplace dengan banyak pilihan aset berkualitas gratis, kami dapat mengumpulkan cerita menarik untuk para pemain kami hanya dalam beberapa minggu. Kami juga mendapatkan pengalaman dan pemahaman tentang cara membuat karakter baru dengan cepat dan, pada tahap penciptaannya, memperhitungkan semua fitur produksi untuk mencapai hasil terbaik dalam waktu singkat.

Mengapa kami tidak bertujuan untuk mencapai kualitas sinematik keren seperti Blizzard? Untuk konten berbasis komunitas dan pemasaran, kualitas saat ini cukup untuk memberikan pengguna kami perspektif baru di dunia game. Namun, sementara masih tidak perlu meningkatkan kualitas klip, kami selalu mencari solusi baru.

More articles:


All Articles