Get best of the week

CGI en casa con Unreal Engine y iPhone

¡Hola a todos! Mi nombre es Vasily Mazalov, trabajo como editor senior de video en Pixonic. Nuestro departamento está creando creatividades de video para el marketing y la comunidad: videos para páginas en páginas, videos de revisión de innovaciones de juegos y otro contenido.

Cuando no creo creatividad, monitorizo ​​en Internet nuevos formatos y formas de presentar material para hacer que nuestro propio contenido sea más diverso, interesante y atractivo para los nuevos jugadores.

Hace un año, me encontré con el siguiente video:

Ver el vídeo


¿Qué vemos aquí? El chico se puso un traje para capturar el movimiento del cuerpo (hasta ahora nada inusual), colgó un iPhone frente a él (pero esto es interesante) y, por lo tanto, transmite la animación de la cara y el cuerpo del personaje directamente en tiempo real en Unreal Engine, y el resultado busca una implementación tan simple Bastante alta calidad.

Buena idea, pensé. Luego cerró el video. Y continuó trabajando más.

Seis meses después, el material de capacitación sobre cómo capturar animación facial en Unreal Engine usando una aplicación en el iPhone resultó ser de dominio público. Al mismo tiempo, descubrí que se compró un traje para capturar movimiento en nuestro departamento de arte. Analizó su compatibilidad con UE: todo salió bien. Solo quedaba por encontrar un iPhone para seguir trabajando, pero hoy en día hay aún menos problemas con esto.

Ver el vídeo


Hubo muchas preguntas. Antes de mí había un campo inculto de animación inexplorada, el Unreal Engine, el modelado de la cara y el cuerpo humano, y otras cosas completamente remotas de la edición de video, pero al mismo tiempo, un gran deseo de darse cuenta de lo que se pretendía.

El largo proceso de estudiar diversos documentos ha comenzado.

Lo que sucedió como resultado y cómo lo logramos, sigue leyendo.


Animación de la cara


Para realizar nuestra idea, no era rentable para nosotros usar y esculpir el personaje desde cero: tomaría mucho tiempo y requeriría mejoras complejas y, a menudo, injustificadas. Por lo tanto, decidimos usar DAZ Studio: los huesos faciales se colocaron originalmente allí, lo que le permite crear rápidamente las contracciones y emociones faciales necesarias, en las que el escultor pasaría mucho más tiempo. Sí, los modelos creados en DAZ están lejos de ser una imagen fotorrealista, pero fueron ideales para nuestros objetivos.

Para grabar animaciones faciales, solo necesitábamos un iPhone con una cámara frontal TrueDepth, es decir, desde iPhone X y superior. Fue esta tecnología la que leyó la topología facial y transfirió los valores necesarios en Unreal a nuestro modelo.



Las formas de mezcla son responsables de diferentes expresiones faciales: modelos 3D de la misma topología, es decir, con el mismo número de vértices, pero con formas diferentes. Face AR usa 51 mezclas, y gracias a la documentación detallada de Apple que describe qué mezclas específicas se usan en DAZ, pudimos hacerlas lo suficientemente rápido.

El conjunto de emociones y mezclas en un modelo 3D se ve más o menos así:


Mezcla formas de Internet


Nuestras mezclas

Entonces, primero obtenemos nuestra cara de Unreal Engine para las pruebas, luego construimos la aplicación y volvemos a Unreal para obtener el resultado.




Animación del cuerpo


Para crear un cuerpo, era necesario tener en cuenta los detalles del software para trabajar con un traje. Trabajamos con el traje de captura de movimiento Perception Neuron 2.0 Motion Capture de Noitom. Cuesta alrededor de 2500 dólares. Este es el traje más barato del mercado y no el mejor representante entre los análogos: es muy sensible a la radiación electromagnética, lo que hace que las coordenadas de los sensores se muevan si está dentro del radio de la radiación activa, y será aún más difícil limpiar la animación. Afortunadamente, nos mudamos a otro piso, y en un lugar nuevo estaba bastante desierto, lo que significa que la radiación electromagnética se redujo al mínimo, es decir, era ideal para nosotros.



¿Por qué un traje? Las animaciones listas para usar de varias bibliotecas no nos convenían, porque nuestro personaje debería tener un carácter y un comportamiento únicos, y la cara y el cuerpo deberían reflejarlos con precisión. Si hiciéramos la animación desde cero, llevaría un mes, o incluso dos. El uso de equipos de captura de movimiento ahorró esta vez.

A diferencia de la cara, los propios artistas pintaron el modelo del cuerpo desde cero. Luego fue necesario hacerla aparejar y desollar en Maya. Después de ensamblar el cuerpo, lo comenzamos en Unreal, allí recolectamos todo para el mocap, grabamos la animación, después de lo cual el resultado solo queda para amasar.



Para que la animación se transmitiera con precisión, las mejoras fueron mínimas o para evitarlas, y para transmitir la animación del disfraz directamente al Unreal Engine, fue necesario establecer correctamente los huesos y eliminar valores innecesarios de nuestro modelo. Noitom tiene un modelo 3D aproximado para el Unreal Engine, con el cual, como referencia, necesitábamos refinar nuestro propio modelo: colocarlo en la posición T, colocar las palmas y los dedos en posiciones de modelado no estándar y restablecer todos los valores a cero. Era muy importante que todos los huesos estuvieran sin giros innecesarios, de lo contrario el programa los multiplicará, distorsionando en gran medida el movimiento.

En total, tomó aproximadamente dos horas calibrar el traje y grabar los primeros videos. Configuramos los ajustes en Unreal Engine, grabamos la animación del cuerpo con todas las pausas necesarias de acuerdo con el guión, luego grabamos la animación de la cara de acuerdo con los movimientos del cuerpo y el mismo guión y obtuvimos el resultado, que verán en la siguiente ilustración.


Después de grabar, la animación necesitaba ser mejorada, por lo que le asignamos al animador la tarea de limpiarla. Le llevó tres días limpiar dos minutos de animación.


Luego nos llevó unas tres semanas hasta la versión final, y si excluimos el refinamiento de ciertos factores tanto en el modelo de la cara como en el cuerpo, este período puede reducirse en otra semana.


¿Por qué lo usamos?


Tomemos un descanso del proceso de CGI y hablemos sobre cuáles eran los objetivos del proyecto.

En ese momento, cuando profundicé en este tema y reuní la información necesaria para el trabajo, los pilotos aparecieron en nuestro juego.

Por lo general, cuando sale nuevo contenido, ya sea una voz fuera de la pantalla que habla sobre él, o los propios desarrolladores, o la información simplemente llega de alguna manera a través del juego. Ahora tenemos la oportunidad de crear un personaje, prepararlo adecuadamente, reunir a partir de activos de alta calidad las ubicaciones en las que se ubicará y, a través de este héroe, comunicarse con los jugadores: desde la historia y la revisión de videos hasta las transmisiones en vivo.

Por primera vez en un juego sobre robots, aparecieron personajes en vivo, y después de ellos historias que pueden contar sobre sí mismos y el mundo. Y pensé que sería genial si fuera posible recopilar cinemáticas de juego con personajes que sumergirían a los jugadores en el mundo del juego tan rápido como hacemos videos en el motor.



Junto con el departamento de la comunidad, comenzamos a idear una imagen del personaje, cómo se vería y cuál sería su historia. Nuestro gerente superior de la comunidad escribió el guión, que posteriormente desarrollamos en términos de ahorro de tiempo y simplificación de la producción.


En este video puedes ver casi todas las pruebas que hemos realizado con animación facial y animación corporal. Como tienen especificaciones diferentes, tuvieron que probarse por turnos y solo mezclarse al final. Para las pruebas de animación corporal, se tomó un modelo de vestuario del tráiler de CGI para el nuevo lanzamiento:


Bueno, ahora vamos a mostrar lo que obtuvimos como resultado:



Total


Con un traje de captura de movimiento, iPhone, modelo 3D y Unreal Marketplace con una gran selección de activos de calidad gratuitos, podemos recopilar historias interesantes para nuestros jugadores en solo un par de semanas. También adquirimos experiencia y comprensión sobre cómo crear rápidamente un nuevo personaje y, en la etapa de su creación, tener en cuenta todas las características de producción para lograr el mejor resultado en poco tiempo.

¿Por qué no buscamos alcanzar la calidad de cinemáticas geniales como Blizzard? Para contenido de marketing y basado en la comunidad, la calidad actual es suficiente para brindar a nuestros usuarios una nueva perspectiva sobre el mundo de los juegos. Sin embargo, aunque todavía no hay necesidad de mejorar la calidad de los clips, siempre estamos en busca de nuevas soluciones.

More articles:


All Articles