O Google desenvolveu um algoritmo para cortar automaticamente vídeos em objetos importantes no quadro

Uma equipe de pesquisadores do Google apresentou um novo desenvolvimento - um algoritmo para o corte automático de vídeo. O material de origem é editado pela máquina, o usuário precisa apenas definir os parâmetros básicos, como a proporção da imagem no quadro.

Bem, o software faz tudo por conta própria, rastreando objetos importantes no vídeo e cortando quadros de maneira que tudo o que resta permaneça na versão final do vídeo.

A equipe publicou os resultados de seu trabalho no GitHub, é um framework de código aberto chamado AutoFlip . O GitHub também publicou código e instruções para iniciar o programa.

Os desenvolvedores começaram o projeto porque a maioria dos vídeos é filmada em formato horizontal. Esse foi o caso inicialmente - a grande maioria dos equipamentos de vídeo é projetada para que a largura do quadro seja maior que a altura. Mas agora que os smartphones são onipresentes, o vídeo horizontal nem sempre é conveniente. Às vezes, você precisa adaptar o vídeo para várias plataformas ao mesmo tempo.



Se você cortar um vídeo horizontal, cortando-o, muitos pontos importantes fora do quadro final simplesmente desaparecem. Para evitar isso, os desenvolvedores decidiram ensinar o algoritmo a rastrear objetos importantes e cortar o quadro neles. Como resultado, tudo o que é necessário permanece no quadro e nada é perdido.

A propósito, os representantes do Google não são os primeiros a lidar com esse problema. Há não muito tempo, representantes da empresa Adobe trabalharam em uma idéia semelhante. Eles criaram um produto que também funciona muito bem, mas tem todo tipo de limitações, e nem todo usuário pode acessá-lo. O Google resolveu o problema à sua maneira, fornecendo as melhores práticas para todos.



Para começar, você precisa, como mencionado acima, definir os parâmetros de corte inicial - proporção, bem como o número de objetos que devem permanecer no quadro. Depois que as configurações iniciais são feitas, o algoritmo começa a funcionar, marcando o arquivo de origem. Um dos critérios mais importantes para avaliar uma mudança de cena é o histograma de saturação. Se mudar, então a cena mudou.

Segundo os desenvolvedores, cada cena é processada separadamente. Isso é feito porque em cenas diferentes os objetos no quadro estão localizados de maneira diferente, algumas vezes alguns objetos desaparecem, outros aparecem. Para que a versão final do vídeo não perca nada de importante, o algoritmo marca os objetos no quadro, aparando-os para que fiquem à vista.



Existem várias opções de corte - desde corte estático, com o movimento da zona de corte de um lado para o outro, até corte dinâmico, de acordo com os movimentos dos objetos no quadro. Se, no problema original, for indicado que todos os objetos no quadro devem ser salvos, o algoritmo poderá expandir a zona de enquadramento, adicionando espaço nas laterais do quadro para preencher os espaços vazios.

De acordo com a explicação dos desenvolvedores, o algoritmo está disponível no GitHub, é implementado como um pipeline do MediaPipe. A propósito, o último pode funcionar em um navegador da Web, de modo que, se desejado, os algoritmos de visão por computador podem ser executados em um navegador em um computador ou smartphone. Os desenvolvedores já disseram que não vão parar por aí, vão melhorar. Desenvolvedores individuais e empresas inteiras podem participar do projeto.

As áreas de aplicação do algoritmo estão rastreando a face de um falante em um quadro ou, por exemplo, um herói em um desenho animado.



No futuro, o algoritmo adicionará a função de desenhar áreas de borda do quadro, além de excluir texto ou figuras. As duas opções já existem como algoritmos independentes, portanto, integrá-las a uma solução de cultivo não é um problema.