📹 😪 🐽 Cabine d'essayage virtuelle en OpenCV ♈️ 👩🏾‍⚖️ 🧟

Avez-vous eu une telle chose que vous avez aimé une chose dans la boutique en ligne, mais ne voulez pas l'acheter sans l'essayer? Bien sûr, dans certains magasins, il est possible d'essayer des vêtements après la commande avant le paiement. Cependant, selon les statistiques, la part des commandes en ligne dans les magasins en ligne de vêtements et de chaussures augmente chaque année, mais la part des retours augmente également, elle s'élève à 50-70% - ce sont des coûts logistiques énormes qui peuvent être considérablement réduits en utilisant la cabine d'essayage en ligne. Imaginez que vous téléchargez votre photo, choisissez des vêtements et elle est transférée sur votre image. Des cabines d'essayage virtuelles pour chaussures existent déjà, elles fonctionnent assez bien. Il y a quelque temps, ce sujet nous intéressait, qu'en est-il des vêtements? De telles œuvres existent aussi, mais beaucoup moins réussies; dans beaucoup d’entre elles, en plus de l’article, rien ne se trouve,On ne peut que rêver d'un exemple de travail. Nous avons décidé de résoudre ce problème et de prendre en charge l'un des réseaux de la bibliothèque OpenCV. Ce qui est arrivé de cela peut être vu dansexemple virtual_try_on.py .

Le résultat n'est pas parfait, mais dans ce domaine est considéré comme assez bon.

Si vous voulez savoir comment fonctionne la cabine d'essayage virtuelle et quelles difficultés nous avons rencontrées lors de l'intégration du modèle dans OpenCV - bienvenue au chat!

2019 CP-VTON . CP-VTON , , (, ). 3D , 3D-. . github. CP-VTON , , .

CP-VTON : GMM (Geometric Matching Module) — TOM (Try-On Module) — .

GMM $(I, c, c_t )$ , TOM — $(I, \hat{c}, I_t)$ , $I$ — , $c$ — , $\hat{c}$ — GMM, $I_t$ — ground truth ( $c$ ), $c_t$ — ground truth ( , $I_t$ ). , $I_t$ $c$ . VITON, $I$ $p$ . $p$ , , , , (, , ). . , GMM $(p, c)$ $\hat{c}$ , $c_t$ . TOM $(p, \hat{c})$ , $I_o$ $I_t$ .

$p$ . , . OpenPose. . LIP_JPPNet. OpenCV () sample human_parsing.py.

, — , : , , . , .

prétraitement

GMM . , , $L_2-$ . . . , . $\hat{c}$ $c_t$ $L_1-loss$ .

gmm

TOM . Unet. , . Unet , . , Unet . , . Upsample . (encoder) VGG-19. . Unet $I_r$ $M$ . $c$ $I_r$ , $(1 - M)$ $I_o$ .

I_{o} = M ⊙ c + (1 - M) ⊙ I_{r}

$I_o=M\odot c + (1 - M)\odot I_r$

$\odot$ — .

à M

Try-On — $I_o$ $I_t$ . . , , . $L_1- loss$ perceptual loss. VGG , . VGG — , .

OpenCV

. json , OpenPose Caffe, LIP.

, , .

python3 virtual_try_on.py -i person_img.jpg -c cloth.jpg

OpenCV PIL. . LIP , . CP-VTON . , :

shape = (segm > 0).astype(np.float32)
head  = (segm == 1).astype(np.float32) + \
        (segm == 2).astype(np.float32) + \
        (segm == 4).astype(np.float32) + \
        (segm == 13).astype(np.float32)
cloth = (segm == 5).astype(np.float32) + \
        (segm == 6).astype(np.float32) + \
        (segm == 7).astype(np.float32)

, PIL , . human_colormap.mat. ? Matlab . , scipy . () .

– . 16 , .

mask = mask.resize((width // 16, height // 16), Image.BILINEAR)
mask = mask.resize((width, height), Image.BILINEAR)

. . , OpenCV. PIL resize cv.resize .

, PIL resize, — cv.resize.

, ? .

mask_pil mask_ocv

, PIL resize, — cv.resize.

, . ? , . , – . , bilinear resize bilinear, area. scale factor, 33 = 16 * 2 + 1, OpenCV – 3. , , . . . , . . :

PIL

class BilinearFilter(object):
    """
    PIL bilinear resize implementation
    image = image.resize((image_width // 16, image_height // 16), Image.BILINEAR)
    """
    def _precompute_coeffs(self, inSize, outSize):
        filterscale = max(1.0, inSize / outSize)
        ksize = int(np.ceil(filterscale)) * 2 + 1

        kk = np.zeros(shape=(outSize * ksize, ), dtype=np.float32)
        bounds = np.empty(shape=(outSize * 2, ), dtype=np.int32)

        centers = (np.arange(outSize) + 0.5) * filterscale + 0.5
        bounds[::2] = np.where(centers - filterscale < 0, 0, centers - filterscale)
        bounds[1::2] = np.where(centers + filterscale > inSize, inSize, centers + filterscale) - bounds[::2]
        xmins = bounds[::2] - centers + 1

        points = np.array([np.arange(row) + xmins[i] for i, row in enumerate(bounds[1::2])]) / filterscale
        for xx in range(0, outSize):
            point = points[xx]
            bilinear = np.where(point < 1.0, 1.0 - abs(point), 0.0)
            ww = np.sum(bilinear)
            kk[xx * ksize : xx * ksize + bilinear.size] = np.where(ww == 0.0, bilinear, bilinear / ww)
        return bounds, kk, ksize

    def _resample_horizontal(self, out, img, ksize, bounds, kk):
        for yy in range(0, out.shape[0]):
            for xx in range(0, out.shape[1]):
                xmin = bounds[xx * 2 + 0]
                xmax = bounds[xx * 2 + 1]
                k = kk[xx * ksize : xx * ksize + xmax]
                out[yy, xx] = np.round(np.sum(img[yy, xmin : xmin + xmax] * k))

    def _resample_vertical(self, out, img, ksize, bounds, kk):
        for yy in range(0, out.shape[0]):
            ymin = bounds[yy * 2 + 0]
            ymax = bounds[yy * 2 + 1]
            k = kk[yy * ksize: yy * ksize + ymax]
            out[yy] = np.round(np.sum(img[ymin : ymin + ymax, 0:out.shape[1]] * k[:, np.newaxis], axis=0))

    def imaging_resample(self, img, xsize, ysize):
        height, width, *args = img.shape
        bounds_horiz, kk_horiz, ksize_horiz = self._precompute_coeffs(width, xsize)
        bounds_vert, kk_vert, ksize_vert    = self._precompute_coeffs(height, ysize)

        out_hor = np.empty((img.shape[0], xsize), dtype=np.uint8)
        self._resample_horizontal(out_hor, img, ksize_horiz, bounds_horiz, kk_horiz)
        out = np.empty((ysize, xsize), dtype=np.uint8)
        self._resample_vertical(out, out_hor, ksize_vert, bounds_vert, kk_vert)
        return out

4 , , OpenCV. . , . , . 256 192, . sample . , - , .

P.S. 2020 OpenCV 20-. . !

Cabine d'essayage virtuelle en OpenCV

OpenCV

More articles: