👩‍🎓 😘 👐🏾 डुबकी वीडियो एक फ्रेम 🙇🏾 👨🏿‍🤝‍👨🏻 ✌🏻

पहला ऑर्डर मोशन मॉडल काम करने का उदाहरण

क्या एक तस्वीर से पूरी फिल्म बनाना संभव है? और एक व्यक्ति के आंदोलनों को रिकॉर्ड करने के बाद, उसे वीडियो में दूसरे के साथ बदल दें? बेशक, इन सवालों का जवाब सिनेमा, फोटोग्राफी और कंप्यूटर गेम के विकास जैसे क्षेत्रों के लिए बेहद महत्वपूर्ण है। विशेष सॉफ्टवेयर का उपयोग करके समाधान डिजिटल फोटो प्रसंस्करण हो सकता है। इस क्षेत्र के विशेषज्ञों के बीच प्रश्न में समस्या को वीडियो या छवि एनीमेशन के स्वचालित संश्लेषण का कार्य कहा जाता है।

अपेक्षित परिणाम प्राप्त करने के लिए, मौजूदा दृष्टिकोण मूल छवि और आंदोलनों से निकाली गई वस्तुओं को जोड़ते हैं जिन्हें एक अलग वीडियो के रूप में वितरित किया जा सकता है - "दाता"।

अब, अधिकांश क्षेत्रों में, कंप्यूटर ग्राफिक्स टूल्स का उपयोग करके छवि एनीमेशन किया जाता है। इस दृष्टिकोण को उस वस्तु के बारे में अतिरिक्त ज्ञान की आवश्यकता है जिसे हम चेतन करना चाहते हैं - इसका 3 डी मॉडल आमतौर पर आवश्यक है (यह फिल्म उद्योग में अब कैसे काम करता है ) यहां पाया जा सकता है । इस समस्या के अधिकांश नवीनतम समाधान मॉडलों के गहन प्रशिक्षण पर आधारित हैं, जो कि जनरेटिव-प्रतिस्पर्धी तंत्रिका नेटवर्क (जीएएन) और परिवर्तनशील ऑटोकेनोडर्स (वीएई) पर आधारित हैं। ये मॉडल आमतौर पर छवि में वस्तुओं के प्रमुख बिंदुओं की खोज के लिए पूर्व-प्रशिक्षित मॉड्यूल का उपयोग करते हैं। इस दृष्टिकोण के साथ मुख्य समस्या यह है कि ये मॉड्यूल केवल उन वस्तुओं को पहचान सकते हैं जिन पर उन्हें प्रशिक्षित किया गया था।

, ? «First Order Motion Model for Image Animation». — First Order Motion Model, . , (, , ), , .

…

, .

, , (occlusion map). . , , .

: .
$D \in \mathbb{R} ^{3×H×W}$ $S ∈ \mathbb{R} ^{3×H×W}$ . $S$ $D$ .

$S$ $D$ . , ( ) $R$ . $\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$ $D$ $S$ $\hat{\mathcal{O}}_{\mathrm{S \leftarrow D}}$ . .

$\mathcal{T}_{\mathrm{S \leftarrow D}}$ $D$ $S$ . $\mathcal{T}_{\mathrm{S \leftarrow D}}$ . , $R$ ( ), $\mathcal{T}_{\mathrm{S \leftarrow D}}$ $\mathcal{T}_{\mathrm{S \leftarrow R}}$ $\mathcal{T}_{\mathrm{R \leftarrow D}}$ . , $X$ , $\mathcal{T}_{\mathrm{X \leftarrow R}}$ . $K$ $p_1,..., p_K$ , $p_1,..., p_K$ $R$ .

$\mathcal{T}_{\mathrm{R \leftarrow X}} = \mathcal{T}_{\mathrm{X \leftarrow R}}^{-1}$ , , $\mathcal{T}_{\mathrm{X \leftarrow R}}$ .

T_{S \leftarrow D} = T_{S \leftarrow R} \circ T_{R \leftarrow D} = T_{S \leftarrow R} \circ T_{D \leftarrow R}^{- 1}

$\mathcal{T}_{\mathrm{S \leftarrow D}} = \mathcal{T}_{\mathrm{S \leftarrow R}} \circ \mathcal{T}_{\mathrm{R \leftarrow D}} = \mathcal{T}_{\mathrm{S \leftarrow R}} \circ \mathcal{T}_{\mathrm{D \leftarrow R}}^{-1}$

$\mathcal{T}_{\mathrm{S \leftarrow R}}(p_k)$ $\mathcal{T}_{\mathrm{D \leftarrow R}}(p_k)$ . U-Net, $K$ , .
softmax , .

$P$ $\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$ $\mathcal{T}_{\mathrm{S \leftarrow D}}(z)$ ( $z$ ), $S$ . , $\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$ , , $D$ , $S$ . $\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$ , $K$ $S^0,...,S^k$ ( $S^0 = S$ ), $\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$ . $S^1,...,S^k$ U-Net.
$\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}(z)$ :

$M_k$ — ( $M_0$ — ) $J_k$ :

, $S$ $\hat{D}$ . , . down-sampling $\xi \in \mathbb{R}^{H' \times W'}$ . $\xi$ c $\hat{\mathcal{T}}_{\mathrm{S \leftarrow D}}$ . $S$ , $\hat{D}$ . — $\hat{\mathcal{O}}_{\mathrm{S \leftarrow D}} \in [0, 1]^{H' \times W'}$ , , , $S$ . :

ξ^{'} = {\hat{O}}_{S \leftarrow D} ⊙ f_{w} (ξ, {\hat{T}}_{S \leftarrow D})

$\xi ' = \hat{\mathcal{O}}_{\mathrm{S \leftarrow D}} \odot f_w(\xi, \hat{\mathcal{T}}_{\mathrm{S \leftarrow D}})$

$f_w(\cdot, \cdot)$ , $\odot$ — ( ).

, . $\xi '$ , .

, . reconstruction loss, . - VGG-19. reconstruction loss :

L_{r e c} (\hat{D}, D) = \sum_{i = 1}^{I} | N_{i} (\hat{D}) - N_{i} (D) |

$L_{rec} (\hat{D}, D)= \sum_{i = 1}^I |N_i(\hat{D}) - N_i(D)|$

$\hat{D}$ — , $D$ — , $N_i(\cdot)$ — i- , VGG-19, $I$ — .

- . . , . , . , , , .

, $X$ $\mathcal{T}_{\mathrm{X \leftarrow Y}}$ , , thin plane spline. $Y$ . , $\mathcal{T}_{\mathrm{X \leftarrow R}}$
$\mathcal{T}_{\mathrm{Y \leftarrow R}}$ . C :