Google ha desarrollado un algoritmo para recortar video automáticamente en objetos importantes en el marco

Un equipo de investigadores de Google presentó un nuevo desarrollo : un algoritmo para el recorte automático de video. El material fuente es editado por la máquina, el usuario solo necesita establecer los parámetros básicos, como la relación de aspecto en el cuadro.

Bueno, el software hace todo por sí mismo, rastreando objetos importantes en el video y recortando cuadros de tal manera que todo lo importante permaneció en la versión final del video.

El equipo publicó los resultados de su trabajo en GitHub, es un marco de código abierto llamado AutoFlip . GitHub también publicó código e instrucciones para iniciar el programa.

Los desarrolladores comenzaron el proyecto porque la mayoría de los videos se graban en formato horizontal. Este fue el caso inicialmente: la gran mayoría de los equipos de video están diseñados para que el ancho del marco sea mayor que la altura. Pero ahora que los teléfonos inteligentes son ubicuos, el video horizontal no siempre es conveniente. A veces tienes que adaptar el video para varias plataformas a la vez.



Si recorta un video horizontal, recortándolo, entonces muchos puntos importantes fuera del cuadro final simplemente desaparecen. Para evitar esto, los desarrolladores decidieron enseñar el algoritmo para rastrear objetos importantes y recortar el marco en ellos. Como resultado, todo lo que se necesita permanece en el marco y no se pierde nada.

Por cierto, los representantes de Google no son los primeros en tratar este problema. No hace mucho tiempo, los representantes de la compañía Adobe trabajaron en una idea similar. Crearon un producto que también funciona muy bien, pero tiene todo tipo de limitaciones, y no todos los usuarios pueden acceder a él. Google resolvió el problema a su manera, proporcionando las mejores prácticas para todos.



Para comenzar, necesita, como se mencionó anteriormente, establecer los parámetros de recorte iniciales: relación de aspecto, así como la cantidad de objetos que deben permanecer en el marco. Después de realizar la configuración inicial, el algoritmo comienza a funcionar, marcando el archivo fuente. Uno de los criterios más importantes para evaluar un cambio de escena es el histograma de saturación. Si cambia, entonces la escena ha cambiado.

Según los desarrolladores, cada escena se procesa por separado. Esto se hace porque en diferentes escenas los objetos en el marco se ubican de manera diferente, a veces algunos objetos desaparecen, otros aparecen. Para que la versión final del video no pierda nada importante, el algoritmo marca los objetos en el marco, recortándolo para que permanezcan a la vista.



Hay varias opciones de recorte: desde el recorte estático con el movimiento de la zona de recorte de un lado al otro, hasta el recorte dinámico de acuerdo con los movimientos de los objetos en el marco. Si, en el problema original, se indica que todos los objetos en el marco deben guardarse, entonces el algoritmo puede expandir la zona de encuadre, agregando espacio en los lados del marco para llenar los vacíos que surjan.

Según la explicación de los desarrolladores, el algoritmo está disponible en GitHub, se implementa como una tubería de MediaPipe. Por cierto, este último puede funcionar en un navegador web, por lo que, si lo desea, los algoritmos de visión por computadora se pueden ejecutar en un navegador en una computadora o teléfono inteligente. Los desarrolladores ya han dicho que no van a detenerse allí, lo mejorarán. Tanto desarrolladores individuales como compañías enteras pueden unirse al proyecto.

Las áreas de aplicación del algoritmo son rastrear la cara de un orador en un marco o, por ejemplo, un héroe en una caricatura.



En el futuro, el algoritmo agregará la función de dibujar áreas de borde del marco, así como eliminar texto o imágenes. Ambas opciones ya existen como algoritmos independientes, por lo que integrarlas en una solución de recorte no es un problema.