Dipfake Video ein Bild

Arbeitsbeispiel für ein Bewegungsmodell erster Ordnung

Ist es möglich, einen ganzen Film aus einem Foto zu machen? Und nachdem Sie die Bewegungen einer Person aufgezeichnet haben, ersetzen Sie sie im Video durch eine andere? Natürlich ist die Antwort auf diese Fragen für Bereiche wie Kino, Fotografie und die Entwicklung von Computerspielen äußerst wichtig. Die Lösung könnte die digitale Fotoverarbeitung mit einer speziellen Software sein. Das fragliche Problem unter Fachleuten auf diesem Gebiet ist die Aufgabe der automatischen Synthese von Video- oder Bildanimationen.

Um das erwartete Ergebnis zu erzielen, kombinieren bestehende Ansätze Objekte, die aus dem Originalbild extrahiert wurden, und Bewegungen, die als separates Video geliefert werden können - „Spender“.

In den meisten Bereichen erfolgt die Bildanimation jetzt mit Computergrafikwerkzeugen. Dieser Ansatz erfordert zusätzliches Wissen über das Objekt, das wir animieren möchten - sein 3D-Modell ist normalerweise erforderlich (wie es jetzt in der Filmindustrie funktioniert, finden Sie hier ). Die meisten der neuesten Lösungen für dieses Problem basieren auf einer eingehenden Schulung von Modellen, die auf generativ-kompetitiven neuronalen Netzen (GAN) und variierenden Autoencodern (VAE) basieren. Diese Modelle verwenden normalerweise vorab trainierte Module, um nach Schlüsselpunkten von Objekten im Bild zu suchen. Das Hauptproblem bei diesem Ansatz besteht darin, dass diese Module nur die Objekte erkennen können, auf denen sie trainiert wurden.

, ? «First Order Motion Model for Image Animation». — First Order Motion Model, . , (, , ), , .

…

, .

, , (occlusion map). . , , .

: .
$$$D \in \mathbb{R} ^{3×H×W}$$$$S ∈ \mathbb{R} ^{3×H×W}$. $$$S$$$$D$.

$$$S$$$$D$. , ( ) $$$R$. $$$\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$$$$D$$$$S$$$$\hat{\mathcal{O}}_{\mathrm{S \leftarrow D}}$. .

.

$$$\mathcal{T}_{\mathrm{S \leftarrow D}}$$$$D$$$$S$. $$$\mathcal{T}_{\mathrm{S \leftarrow D}}$. , $$$R$( ), $$$\mathcal{T}_{\mathrm{S \leftarrow D}}$$$$\mathcal{T}_{\mathrm{S \leftarrow R}}$$$$\mathcal{T}_{\mathrm{R \leftarrow D}}$. , $$$X$, $$$\mathcal{T}_{\mathrm{X \leftarrow R}}$. $$$K$$$$p_1,..., p_K$, $$$p_1,..., p_K$$$$R$.

:

$$$\mathcal{T}_{\mathrm{R \leftarrow X}} = \mathcal{T}_{\mathrm{X \leftarrow R}}^{-1}$, , $$$\mathcal{T}_{\mathrm{X \leftarrow R}}$.

:

$$

$$\mathcal{T}_{\mathrm{S \leftarrow D}} = \mathcal{T}_{\mathrm{S \leftarrow R}} \circ \mathcal{T}_{\mathrm{R \leftarrow D}} = \mathcal{T}_{\mathrm{S \leftarrow R}} \circ \mathcal{T}_{\mathrm{D \leftarrow R}}^{-1}$$

$$$\mathcal{T}_{\mathrm{S \leftarrow R}}(p_k)$$$$\mathcal{T}_{\mathrm{D \leftarrow R}}(p_k)$. U-Net, $$$K$, .
softmax , .

$$$P$$$$\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$$$$\mathcal{T}_{\mathrm{S \leftarrow D}}(z)$( $$$z$), $$$S$. , $$$\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$, , $$$D$, $$$S$. $$$\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$, $$$K$$$$S^0,...,S^k$($$$S^0 = S$), $$$\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$. $$$S^1,...,S^k$U-Net.
$$$\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}(z)$:

$$$M_k$— ($$$M_0$ — ) $$$J_k$:

, $$$S$$$$\hat{D}$. , . down-sampling $$$\xi \in \mathbb{R}^{H' \times W'}$. $$$\xi$c $$$\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$. $$$S$, $$$\hat{D}$. — $$$\hat{\mathcal{O}}_{\mathrm{S \leftarrow D}} \in [0, 1]^{H' \times W'}$, , , $$$S$. :

$$

$$\xi ' = \hat{\mathcal{O}}_{\mathrm{S \leftarrow D}} \odot f_w(\xi, \hat{\mathcal{T}}_{\mathrm{S \leftarrow D}})$$

$$$f_w(\cdot, \cdot)$, $$$\odot$— ( ).

, . $$$\xi '$, .

, . reconstruction loss, . - VGG-19. reconstruction loss :

$$

$$L_{rec} (\hat{D}, D)= \sum_{i = 1}^I |N_i(\hat{D}) - N_i(D)|$$

$$$\hat{D}$— , $$$D$— , $$$N_i(\cdot)$— i- , VGG-19, $$$I$— .

- . . , . , . , , , .

, $$$X$$$$\mathcal{T}_{\mathrm{X \leftarrow Y}}$, , thin plane spline. $$$Y$. , $$$\mathcal{T}_{\mathrm{X \leftarrow R}}$
$$$\mathcal{T}_{\mathrm{Y \leftarrow R}}$. C :

$$

$$\mathcal{T}_{\mathrm{X \leftarrow R}} \equiv \mathcal{T}_{\mathrm{X \leftarrow Y}} \circ \mathcal{T}_{\mathrm{Y \leftarrow R}}$$

( $$$\mathbb{1}$— ):

$$$L_1$. , reconstruction loss 2 .

$$$S_1$$$$D_1, . . . D_T$$$$D_t$, $$$S_t$. $$$S_1$$$$D_1$$$$D_t$. , $$$\mathcal{T}_{\mathrm{D_t \leftarrow D_1}}(p)$$$$p_k$:

, — $$$S_1$$$$D_1$.

!

4 :

1. VoxCeleb — 22496 , YouTube;
2. UvA-Nemo — , 1240 ;
3. BAIR robot pushing — , , , . 42880 128 .
4. 280 TaiChi YouTube.

X2Face Monkey-Net, .

Wie aus der Tabelle hervorgeht, ist das Bewegungsmodell erster Ordnung anderen Ansätzen in jeder Hinsicht überlegen.

Die lang erwarteten Beispiele

Mgif

Mode

Jetzt probieren Sie es selbst! Es ist sehr einfach, alles vorbereitet ist hier .