Get best of the week

CGI zu Hause mit Unreal Engine und iPhone

Hallo alle zusammen! Mein Name ist Vasily Mazalov, ich arbeite als leitender Video-Editor bei Pixonic. Unsere Abteilung erstellt Videokreative für das Marketing und die Community: Videos für Seiten in Seiten, Videos von Spielinnovationen und andere Inhalte.

Wenn ich keine Kreativität schaffe, überwache ich das Internet auf neue Formate und Möglichkeiten, Material zu präsentieren, um unsere eigenen Inhalte für neue Spieler vielfältiger, interessanter und attraktiver zu machen.

Vor einem Jahr bin ich auf folgendes Video gestoßen:

Schau das Video


Was sehen wir hier? Der Typ zog einen Anzug an, um die Bewegung des Körpers festzuhalten (bisher nichts Ungewöhnliches), hängte ein iPhone vor sich (aber das ist interessant) und übertrug so die Animation von Gesicht und Körper des Charakters direkt in Echtzeit in Unreal Engine, und das Ergebnis sucht nach einer so einfachen Implementierung ziemlich hohe Qualität.

Coole Idee, dachte ich. Dann schloss das Video. Und er arbeitete weiter.

Sechs Monate später stellte sich heraus, dass Schulungsmaterial zum Erfassen von Gesichtsanimationen in Unreal Engine mithilfe einer Anwendung auf dem iPhone gemeinfrei war. Gleichzeitig fand ich heraus, dass in unserer Kunstabteilung ein Anzug zur Bewegungserfassung gekauft wurde. Betrachtet man die Kompatibilität mit UE: alles lief gut. Es blieb nur ein iPhone für die weitere Arbeit zu finden, aber heutzutage gibt es noch weniger Probleme damit.

Schau das Video


Es gab viele Fragen. Vor mir befand sich ein unkultiviertes Feld unerforschter Animationen, die Unreal Engine, die Modellierung des menschlichen Gesichts und Körpers und andere Dinge, die völlig von der Videobearbeitung entfernt waren, aber gleichzeitig der große Wunsch, zu erkennen, was beabsichtigt war.

Der lange Prozess des Studiums verschiedener Dokumentationen hat begonnen.

Was als Ergebnis passiert ist und wie wir es erreicht haben, lesen Sie weiter.


Gesichtsanimation


Um unsere Idee zu verwirklichen, war es für uns nicht rentabel, den Charakter von Grund auf neu zu verwenden und zu formen: Es würde viel Zeit in Anspruch nehmen und komplexe und meist ungerechtfertigte Verbesserungen erfordern. Aus diesem Grund haben wir uns für DAZ Studio entschieden: Ursprünglich wurden dort Gesichtsknochen gelegt, damit Sie schnell die erforderlichen Gesichtskontraktionen und Emotionen erzeugen können, für die der Bildhauer viel mehr Zeit aufwenden würde. Ja, die in DAZ erstellten Modelle sind weit entfernt von einem fotorealistischen Bild, aber sie waren ideal für unsere Ziele geeignet.

Um Gesichtsanimationen aufzunehmen, brauchten wir nur ein iPhone mit TrueDepth-Frontkamera - also von iPhone X und höher. Es war diese Technologie, die die Gesichtstopologie las und die erforderlichen Werte in Unreal bereits auf unser Modell übertrug.



Mischformen sind für unterschiedliche Gesichtsausdrücke verantwortlich - 3D-Modelle mit derselben Topologie, dh mit derselben Anzahl von Scheitelpunkten, jedoch unterschiedlicher Form. Face AR verwendet 51 Mischungen. Dank der detaillierten Apple-Dokumentation, in der beschrieben wird, welche spezifischen Mischungen in DAZ verwendet werden, konnten wir sie schnell genug herstellen.

Die Menge der Emotionen und Mischungen in einem 3D-Modell sieht ungefähr so ​​aus:


Formen aus dem Internet


mischen Unsere Mischungen

Zuerst erhalten wir unser Unreal Engine-Gesicht für Tests, dann erstellen wir die Anwendung und kehren zu Unreal zurück, um das Ergebnis zu erhalten.




Körperanimation


Um einen Körper zu schaffen, mussten die Besonderheiten der Software für die Arbeit mit einem Anzug berücksichtigt werden. Wir haben mit dem Motion Capture-System Perception Neuron 2.0 Motion Capture System von Noitom gearbeitet. Es kostet ungefähr 2500 Dollar. Dies ist das billigste Kostüm auf dem Markt und nicht der beste Vertreter unter den Analoga: Es ist sehr empfindlich gegenüber elektromagnetischer Strahlung, wodurch sich die Koordinaten der Sensoren bewegen, wenn es sich innerhalb des Radius der aktiven Strahlung befindet, und es wird noch schwieriger, die Animation zu reinigen. Glücklicherweise sind wir gerade in ein anderes Stockwerk gezogen und an einem neuen Ort war es ziemlich menschenleer, was bedeutet, dass die elektromagnetische Strahlung auf ein Minimum reduziert wurde - das heißt, es war ideal für uns.



Warum ein Anzug? Vorgefertigte Animationen aus verschiedenen Bibliotheken passten nicht zu uns, da unser Charakter einen einzigartigen Charakter und ein einzigartiges Verhalten haben sollte und Gesicht und Körper sie genau widerspiegeln sollten. Wenn wir die Animation von Grund auf neu machen würden, würde es einen oder sogar zwei Monate dauern. Die Verwendung von Bewegungserfassungsgeräten wurde diesmal gespeichert.

Im Gegensatz zum Gesicht haben die Künstler selbst das Modell des Körpers von Grund auf neu gemalt. Dann war es notwendig, dass sie in Maya manipulierte und häutete. Nachdem wir den Körper zusammengebaut haben, starten wir ihn in Unreal, dort sammeln wir alles für die Mocap, zeichnen die Animation auf, danach bleibt das Ergebnis nur noch zu kneten.



Damit die Animation genau übertragen werden konnte, waren die Verbesserungen minimal oder um sie überhaupt zu vermeiden. Um die Animation vom Kostüm direkt an die Unreal Engine zu senden, mussten die Knochen korrekt eingestellt und unnötige Werte aus unserem Modell entfernt werden. Noitom verfügt über ein grobes 3D-Modell für die Unreal Engine, anhand dessen wir unser eigenes Modell verfeinern mussten: Legen Sie es in die T-Pose, platzieren Sie Handflächen und Finger in nicht standardmäßigen Modellierungspositionen und setzen Sie alle Werte auf Null zurück. Es war sehr wichtig, dass alle Knochen ohne unnötige Drehungen waren, da sie sonst vom Programm multipliziert werden und dadurch die Bewegung stark verzerrt wird.

Insgesamt dauerte es ungefähr zwei Stunden, um den Anzug zu kalibrieren und die ersten Videos aufzunehmen. Wir haben die Einstellungen in der Unreal Engine festgelegt, die Animation des Körpers mit allen erforderlichen Pausen gemäß dem Skript aufgezeichnet, dann die Animation des Gesichts gemäß den Bewegungen des Körpers und demselben Skript aufgezeichnet und das Ergebnis erhalten, das Sie in der folgenden Abbildung sehen werden.


Nach der Aufnahme musste die Animation verbessert werden, daher haben wir den Animator mit der Reinigung beauftragt. Er brauchte drei Tage, um zwei Minuten Animation aufzuräumen.


Dann haben wir ungefähr drei Wochen bis zur endgültigen Version gebraucht, und wenn wir die Verfeinerung bestimmter Faktoren sowohl im Gesichtsmodell als auch im Körper ausschließen, kann dieser Zeitraum um eine weitere Woche verkürzt werden.


Warum benutzen wir es?


Machen wir eine Pause vom CGI-Prozess und sprechen über die Ziele des Projekts.

In diesem Moment, als ich mich mit diesem Thema befasste und die für die Arbeit notwendigen Informationen sammelte, erschienen Piloten in unserem Spiel.

Wenn neue Inhalte herauskommen, spricht normalerweise entweder eine Off-Screen-Stimme darüber oder die Entwickler selbst, oder die Informationen kommen einfach irgendwie durch das Gameplay. Jetzt haben wir die Möglichkeit, einen Charakter zu erstellen, ihn richtig vorzubereiten, aus hochwertigen Assets die Orte zusammenzustellen, an denen er sich befinden wird, und über diesen Helden mit den Spielern zu kommunizieren: von Story- und Review-Videos bis hin zu Live-Übertragungen.

Zum ersten Mal in einem Spiel über Roboter erschienen Live-Charaktere und danach Geschichten, die sie über sich und die Welt erzählen können. Und ich dachte, es wäre cool, wenn es möglich wäre, Gameplay-Kinematiken mit Charakteren zu sammeln, die die Spieler so schnell in die Spielwelt eintauchen lassen, wie wir Videos auf der Engine machen.



Zusammen mit der Community-Abteilung begannen wir, ein Bild des Charakters zu entwickeln, wie er aussehen könnte und wie seine Geschichte aussehen würde. Unser Senior Community Manager hat das Skript geschrieben, das wir später entwickelt haben, um Zeit zu sparen und die Produktion zu vereinfachen.


In diesem Video sehen Sie fast alle Tests, die wir mit Gesichts- und Körperanimationen durchgeführt haben. Da sie unterschiedliche Spezifikationen haben, mussten sie nacheinander getestet und erst am Ende gemischt werden. Für Körperanimationstests wurde für die neue Version ein Kostümmodell aus dem CGI-Trailer entnommen:


Nun wollen wir zeigen, was wir als Ergebnis haben:



Gesamt


Mit einem Motion-Capture-Anzug, einem iPhone, einem 3D-Modell und einem Unreal Marketplace mit einer riesigen Auswahl an kostenlosen Qualitätsgütern können wir in nur wenigen Wochen interessante Geschichten für unsere Spieler sammeln. Wir haben auch Erfahrung und Verständnis dafür gesammelt, wie man schnell einen neuen Charakter erschafft und in der Phase seiner Entstehung alle Merkmale der Produktion berücksichtigt, um in kurzer Zeit das beste Ergebnis zu erzielen.

Warum wollten wir nicht die Qualität cooler Kinematiken wie Blizzard erreichen? Für Community-basierte und Marketing-Inhalte reicht die aktuelle Qualität aus, um unseren Benutzern eine neue Perspektive auf die Spielewelt zu geben. Obwohl die Qualität der Clips noch nicht verbessert werden muss, sind wir immer auf der Suche nach neuen Lösungen.

More articles:


All Articles