使用虚幻引擎和iPhone在家中使用CGI

大家好！我叫Vasily Mazalov，我在Pixonic担任高级视频编辑。我们的部门正在创建用于市场营销和社区的视频广告素材：页面中的视频，评论游戏创新的视频以及其他内容。

当我没有创造力时，我会在Internet上监视新格式和呈现材料的方式，以使我们自己的内容对新玩家更加多样化，有趣和有吸引力。

一年前，我看了以下视频：

观看视频

我们在这里看到什么？这个家伙穿上西装来捕捉身体的动作（到目前为止没有什么异常），将iPhone挂在他的面前（但这很有趣），因此可以在Unreal Engine中直接实时地实时播放角色的脸部和身体的动画，结果需要如此简单的实现相当高的质量。

好主意，我想。然后关闭视频。并且他继续做进一步的工作。

六个月后，有关如何使用iPhone上的应用程序在虚幻引擎中捕获面部动画的培训材料被证明是在公共领域。同时，我发现在我们的艺术部门购买了一套捕捉动作的服装。看了它与UE的兼容性：一切进展顺利。只是找到一部iPhone做进一步的工作，但是如今，与此相关的问题更少了。

观看视频

有很多问题。在我之前是一个未经开发的动画领域，它是虚幻引擎，人脸和身体的建模以及其他与视频编辑完全脱节的事物，但与此同时，人们渴望实现预期的目标。

研究各种文档的漫长过程已经开始。

继续阅读所产生的结果以及我们如何实现。

人脸动画

要实现我们的想法，从头开始使用和雕刻角色对我们而言是无利可图的：这将花费大量时间，并且将需要复杂且最不合理的改进。因此，我们决定使用DAZ Studio：将面部骨骼最初放置在此处，使您能够快速创建必要的面部收缩和情绪，雕刻家会花费更多的时间。是的，在DAZ中创建的模型远不是逼真的图像，但是非常适合我们的目标。

为了录制面部动画，我们只需要一台配备TrueDepth前置摄像头的iPhone，即iPhone X及更高版本。正是这项技术读取了面部拓扑并将虚幻中的必要值已经转移到我们的模型中。



混合形状负责不同的面部表情-具有相同拓扑的3D模型，即具有相同数量的顶点，但形状不同。Face AR使用51种混合，并且由于有详细的Apple文档描述了DAZ中使用了哪些特定混合，因此我们能够足够快地使它们混合。

3D模型中的一组情感和混合看起来像这样：


从Internet混合形状


我们的混合

因此，首先，我们获得了虚幻引擎的面孔进行测试，然后构建应用程序并返回到虚幻以获得结果。

身体动画

要创建一个身体，必须考虑搭配西装时所用软件的细节。我们与Noitom的Perception Neuron 2.0运动捕捉系统运动捕捉服一起工作。它的价格约为2500美元。这是市场上最便宜的服装，而不是同类产品中最好的代表：它对电磁辐射非常敏感，如果传感器处于活动辐射半径之内，这将使传感器的坐标移动，并且清理动画将更加困难。幸运的是，我们只是搬到了另一层，而在一个新的地方，它已经很荒凉了，这意味着电磁辐射已降至最低，这对我们来说是理想的选择。



为什么要穿西装？来自各个库的现成动画不适合我们，因为我们的角色应该具有独特的角色和行为，并且面部和身体应该准确地反映它们。如果我们从头开始制作动画，则需要一个月甚至两个月的时间。使用运动捕捉设备节省了这次时间。

与面部不同，艺术家们自己从头开始绘制人体模型。然后有必要在Maya中进行她的索具和蒙皮。组装好身体之后，我们在Unreal中启动它，在那里我们收集了所有要捕捉的东西，记录了动画，之后结果仅是揉捏的。



为了准确地传输动画，改进是最小的或完全避免了，并且为了将动画从服装直接广播到虚幻引擎，有必要正确设置骨骼并从我们的模型中删除不必要的值。 Noitom为Unreal Engine提供了一个粗略的3D模型，作为参考，我们需要完善自己的模型：将其放在T型姿势中，将手掌和手指放在非标准建模位置并将所有值重置为零。非常重要的是，所有骨骼都必须没有不必要的转动，否则程序将使它们成倍增加，从而极大地扭曲了运动。

总共花了两个小时校准了西装并录制了第一批视频。我们在Unreal Engine中进行设置，根据脚本记录身体的动画以及所有必要的暂停，然后根据身体的动作和相同的脚本记录面部动画并获得结果，您将在下图中看到该结果。


录制后，需要改进动画，因此我们将动画制作者的任务设置为清理动画。他花了三天的时间清理了两分钟的动画。


然后，我们花了大约三周的时间才制作出最终版本，如果我们排除了面部模型和身体中某些因素的细化，则可以再减少一周的时间。

我们为什么用它？

让我们从CGI流程中休息一下，讨论一下该项目的目标是什么。

那时，当我深入研究此主题并收集工作所需的信息时，飞行员出现在我们的游戏中。

通常，当出现新内容时，要么是屏幕外的声音在谈论它，要么是开发商自己在说，或者信息只是通过游戏方式以某种方式到达。现在，我们有机会创建一个角色，进行适当的准备，从高质量的资产中组装角色所处的位置，并通过这位英雄与玩家进行交流：从故事和评论视频到现场直播。

在有关机器人的游戏中，第一次出现了现场角色，然后出现了可以讲述自己和整个世界的故事。而且我认为，如果可以收集具有角色性的游戏性电影来将玩家沉浸在游戏世界中，就像我们在引擎上录制视频一样快，那将很酷。



我们与社区部门一起开始构思角色的形象，他的外貌以及他的故事。我们的高级社区经理编写了脚本，随后我们在节省时间和简化生产方面进行了开发。


在此视频中，您几乎可以看到我们对面部动画和身体动画所做的所有测试。由于它们具有不同的规格，因此必须依次对其进行测试，并且仅在最后进行混合。对于身体动画测试，从CGI预告片中获取了服装模型的新版本：


好吧，现在让我们展示一下结果：

总

有了动作捕捉套装，iPhone，3D模型和虚幻市场，以及大量免费的优质资产，我们可以在短短几周内为玩家收集有趣的故事。我们还获得了有关如何快速创建新角色的经验和理解，并且在创建新角色时考虑了生产的所有功能，以便在短时间内获得最佳效果。

我们为什么不旨在达到像暴雪这样的酷电影的质量？对于基于社区和营销的内容，当前的质量足以使我们的用户对游戏世界有了新的认识。但是，尽管仍然没有必要提高剪辑的质量，但我们始终在寻找新的解决方案。