Google a développé un algorithme pour recadrer automatiquement la vidéo sur des objets importants dans le cadre

Une équipe de chercheurs de Google a présenté un nouveau développement - un algorithme pour le recadrage automatique des vidéos. Le matériau source est édité par la machine, l'utilisateur n'a qu'à définir les paramètres de base, tels que le rapport d'aspect dans le cadre.

Eh bien, le logiciel fait tout seul, suit les objets importants sur la vidéo et recadre les images de telle manière que tout ce qui est important reste dans la version finale de la vidéo.

L'équipe a publié les résultats de son travail sur GitHub, c'est un framework open source appelé AutoFlip . GitHub a également publié du code et des instructions pour démarrer le programme.

Les développeurs ont commencé le projet car la plupart des vidéos sont tournées au format horizontal. Ce fut le cas au départ - la grande majorité des équipements vidéo est conçue pour que la largeur de trame soit supérieure à la hauteur. Mais maintenant que les smartphones sont omniprésents, la vidéo horizontale n'est pas toujours pratique. Parfois, vous devez adapter la vidéo pour plusieurs plates-formes à la fois.



Si vous recadrez une vidéo horizontale en la recadrant, de nombreux points importants en dehors de l'image finale disparaissent simplement. Afin d'éviter cela, les développeurs ont décidé d'enseigner l'algorithme pour suivre les objets importants et recadrer le cadre sur eux. En conséquence, tout ce qui est nécessaire reste dans le cadre et rien n'est perdu.

Soit dit en passant, les représentants de Google ne sont pas les premiers à résoudre ce problème. Il n'y a pas si longtemps, des représentants de la société Adobe ont travaillé sur une idée similaire. Ils ont créé un produit qui fonctionne également très bien, mais il a toutes sortes de limitations, et tous les utilisateurs ne peuvent pas y accéder. Google a résolu le problème à sa manière, en fournissant les meilleures pratiques à tout le monde.



Pour commencer, vous devez, comme mentionné ci-dessus, définir les paramètres de recadrage initiaux - rapport d'aspect, ainsi que le nombre d'objets qui doivent rester dans le cadre. Une fois les paramètres initiaux définis, l'algorithme commence à fonctionner, marquant le fichier source. L'histogramme de saturation est l'un des critères les plus importants pour évaluer un changement de scène. S'il change, alors la scène a changé.

Selon les développeurs, chaque scène est traitée séparément. Cela est dû au fait que dans différentes scènes, les objets dans le cadre sont situés différemment, parfois certains objets disparaissent, d'autres apparaissent. Pour que la version finale de la vidéo ne perde rien d'important, l'algorithme marque les objets dans le cadre, en les découpant pour qu'ils restent en vue.



Il existe plusieurs options de recadrage - du recadrage statique avec le mouvement de la zone de recadrage d'un côté à l'autre, au recadrage dynamique en fonction des mouvements des objets dans le cadre. Si, dans le problème d'origine, il est indiqué que tous les objets du cadre doivent être enregistrés, l'algorithme est en mesure d'agrandir la zone de cadrage, en ajoutant de l'espace sur les côtés du cadre pour combler les vides qui se produisent.

Selon l'explication des développeurs, l'algorithme est disponible sur GitHub, il est implémenté comme un pipeline MediaPipe. Soit dit en passant, ce dernier peut fonctionner dans un navigateur Web, de sorte que si vous le souhaitez, les algorithmes de vision par ordinateur peuvent être exécutés dans un navigateur sur un ordinateur ou un smartphone. Les développeurs ont déjà dit qu'ils ne vont pas s'arrêter là, ils vont l'améliorer. Des développeurs individuels et des entreprises entières peuvent rejoindre le projet.

Les domaines d'application de l'algorithme sont le suivi du visage d'un locuteur dans un cadre ou, par exemple, d'un héros dans un dessin animé.



À l'avenir, l'algorithme ajoutera la fonction de dessin des zones de bordure du cadre, ainsi que de suppression de texte ou d'images. Les deux options existent déjà en tant qu'algorithmes indépendants, donc leur intégration dans une solution de recadrage n'est pas un problème.