طورت Google خوارزمية لقص الفيديو تلقائيًا على الكائنات المهمة في الإطار

قدم فريق من الباحثين من Google تطورًا جديدًا - خوارزمية لقص الفيديو تلقائيًا. يتم تحرير مادة المصدر بواسطة الجهاز ، يحتاج المستخدم فقط إلى تعيين المعلمات الأساسية ، مثل نسبة العرض إلى الارتفاع في الإطار.

حسنًا ، يقوم البرنامج بكل شيء بمفرده ، ويتتبع الكائنات المهمة على الفيديو وإطارات الاقتصاص بطريقة تبقى كل شيء مهم في الإصدار النهائي من الفيديو.

نشر الفريق نتائج عملهم على GitHub ، وهو إطار عمل مفتوح المصدر يسمى AutoFlip . قام GitHub أيضًا بنشر كود وتعليمات لبدء البرنامج.

بدأ المطورون المشروع لأن معظم مقاطع الفيديو يتم تصويرها بتنسيق أفقي. كان هذا هو الحال في البداية - تم تصميم الغالبية العظمى من معدات الفيديو بحيث يكون عرض الإطار أكبر من الارتفاع. ولكن الآن بعد أن أصبحت الهواتف الذكية في كل مكان ، فإن الفيديو الأفقي ليس مناسبًا دائمًا. في بعض الأحيان ، يتعين عليك تعديل الفيديو لعدة منصات في وقت واحد.



إذا قمت بقص مقطع فيديو أفقي ، قم بقصه ، فستختفي ببساطة العديد من النقاط المهمة خارج الإطار النهائي. من أجل تجنب ذلك ، قرر المطورون تعليم الخوارزمية لتتبع الأشياء المهمة واقتصاص الإطار عليها. ونتيجة لذلك ، يبقى كل ما هو مطلوب في الإطار ولا يضيع أي شيء.

بالمناسبة ، ممثلو Google ليسوا أول من يتعامل مع هذه المشكلة. منذ وقت ليس ببعيد ، عمل ممثلو شركة Adobe على فكرة مماثلة. لقد أنشأوا منتجًا يعمل أيضًا بشكل رائع ، ولكنه يحتوي على جميع أنواع القيود ، ولا يمكن لكل مستخدم الوصول إليه. قامت Google بحل المشكلة بطريقتها الخاصة ، وتوفير أفضل الممارسات للجميع.



للبدء ، تحتاج ، كما ذكر أعلاه ، إلى تعيين معلمات الاقتصاص الأولية - نسبة العرض إلى الارتفاع ، بالإضافة إلى عدد الكائنات التي يجب أن تبقى في الإطار. بعد إجراء الإعدادات الأولية ، تبدأ الخوارزمية في العمل ، مع وضع علامة على الملف المصدر. أحد أهم المعايير لتقييم تغيير المشهد هو الرسم البياني للتشبع. إذا تغير ، فقد تغير المشهد.

وفقا للمطورين ، يتم معالجة كل مشهد على حدة. يتم ذلك لأنه في المشاهد المختلفة ، توجد الكائنات في الإطار بشكل مختلف ، وفي بعض الأحيان تختفي بعض الكائنات ، وتظهر أخرى. حتى لا تفقد النسخة النهائية من الفيديو أي شيء مهم ، تحدد الخوارزمية الكائنات الموجودة في الإطار ، وتقليمها بحيث تظل في الأفق.



هناك العديد من خيارات الاقتصاص - من الاقتصاص الثابت مع حركة منطقة الاقتصاص من جانب إلى آخر ، إلى الاقتصاص الديناميكي وفقًا لحركات الكائنات في الإطار. إذا تم ، في المشكلة الأصلية ، الإشارة إلى أنه يجب حفظ جميع الكائنات في الإطار ، فإن الخوارزمية قادرة على توسيع منطقة الإطار ، وإضافة مساحة على جانبي الإطار لملء الفراغات التي تنشأ.

وفقًا لشرح المطورين ، تتوفر الخوارزمية على GitHub ، ويتم تنفيذها كخط أنابيب MediaPipe. بالمناسبة ، يمكن أن يعمل الأخير في متصفح ويب ، بحيث يمكن تشغيل خوارزميات رؤية الكمبيوتر في متصفح على جهاز كمبيوتر أو هاتف ذكي إذا رغبت في ذلك. لقد قال المطورون بالفعل أنهم لن يتوقفوا عند هذا الحد ، وسوف يحسنونه. يمكن لكل من المطورين الأفراد والشركات بأكملها الانضمام إلى المشروع.

تتتبع مناطق تطبيق الخوارزمية وجه المتحدث في إطار أو ، على سبيل المثال ، بطل في رسم كاريكاتوري.



في المستقبل ، ستضيف الخوارزمية وظيفة رسم مناطق حدود الإطار ، بالإضافة إلى حذف النص أو الصور. كلا الخيارين موجودان بالفعل كخوارزميات مستقلة ، لذا فإن دمجهما في حل الاقتصاص لا يمثل مشكلة.