Google telah mengembangkan algoritme untuk memotong video secara otomatis pada objek-objek penting dalam bingkai

Sebuah tim peneliti dari Google memperkenalkan pengembangan baru - sebuah algoritma untuk memotong video otomatis. Bahan sumber diedit oleh mesin, pengguna hanya perlu mengatur parameter dasar, seperti rasio aspek dalam bingkai.

Ya, perangkat lunak melakukan semuanya sendiri, melacak objek-objek penting di video dan memotong bingkai sedemikian rupa sehingga semua yang penting tetap dalam versi final video.

Tim memposting hasil pekerjaan mereka di GitHub, ini adalah kerangka kerja open source yang disebut AutoFlip . GitHub juga menerbitkan kode dan instruksi untuk memulai program.

Pengembang memulai proyek karena sebagian besar video diambil dalam format horizontal. Ini adalah kasus awalnya - sebagian besar peralatan video dirancang sehingga lebar bingkai lebih besar dari ketinggian. Tetapi sekarang karena smartphone ada di mana-mana, video horizontal tidak selalu nyaman. Terkadang Anda harus menyesuaikan video untuk beberapa platform sekaligus.



Jika Anda memotong video horizontal, memotongnya, maka banyak poin penting di luar bingkai akhir menghilang begitu saja. Untuk menghindari ini, para pengembang memutuskan untuk mengajarkan algoritma untuk melacak objek-objek penting dan memotong bingkai pada mereka. Akibatnya, semua yang dibutuhkan tetap ada dalam bingkai dan tidak ada yang hilang.

Omong-omong, perwakilan Google bukanlah yang pertama menangani masalah ini. Belum lama ini, perwakilan dari perusahaan Adobe bekerja pada ide yang sama. Mereka menciptakan produk yang juga berfungsi dengan baik, tetapi memiliki segala macam keterbatasan, dan tidak setiap pengguna dapat mengaksesnya. Google memecahkan masalah dengan caranya sendiri, memberikan praktik terbaik untuk semua orang.



Untuk memulai, Anda perlu, seperti yang disebutkan di atas, mengatur parameter pemangkasan awal - rasio aspek, serta jumlah objek yang harus tetap dalam bingkai. Setelah pengaturan awal dibuat, algoritma mulai bekerja, menandai file sumber. Salah satu kriteria paling penting untuk mengevaluasi perubahan adegan adalah histogram saturasi. Jika itu berubah, maka adegan telah berubah.

Menurut pengembang, setiap adegan diproses secara terpisah. Ini dilakukan karena dalam adegan yang berbeda objek dalam bingkai terletak berbeda, kadang-kadang beberapa objek menghilang, yang lain muncul. Agar versi final video tidak kehilangan sesuatu yang penting, algoritma menandai objek dalam bingkai, memotongnya sehingga mereka tetap terlihat.



Ada beberapa opsi pemangkasan - dari pemangkasan statis dengan pergerakan zona pemangkasan dari satu sisi ke sisi lain, hingga pemangkasan dinamis sesuai dengan pergerakan objek dalam bingkai. Jika, dalam masalah awal, diindikasikan bahwa semua objek dalam bingkai harus disimpan, maka algoritme dapat memperluas zona pembingkaian, menambahkan ruang di sisi bingkai untuk mengisi kekosongan yang dihasilkan.

Menurut penjelasan pengembang, algoritme tersedia di GitHub, diimplementasikan sebagai pipa MediaPipe. Omong-omong, yang terakhir dapat bekerja di browser web, sehingga jika diinginkan, algoritma visi komputer dapat dijalankan di browser di komputer atau smartphone. Para pengembang telah mengatakan bahwa mereka tidak akan berhenti di situ, mereka akan memperbaikinya. Baik pengembang individu dan seluruh perusahaan dapat bergabung dengan proyek ini.

Area penerapan algoritme ini melacak wajah pembicara dalam bingkai atau, misalnya, pahlawan dalam kartun.



Di masa depan, algoritme akan menambahkan fungsi menggambar area perbatasan bingkai, serta menghapus teks atau gambar. Kedua opsi sudah ada sebagai algoritme independen, jadi mengintegrasikannya ke dalam solusi pemotongan bukanlah masalah.