Google hat einen Algorithmus zum automatischen Zuschneiden von Videos auf wichtige Objekte im Frame entwickelt

Ein Forscherteam von Google stellte eine neue Entwicklung vor - einen Algorithmus zum automatischen Zuschneiden von Videos. Das Quellmaterial wird von der Maschine bearbeitet, der Benutzer muss nur die grundlegenden Parameter wie das Seitenverhältnis im Rahmen einstellen.

Nun, die Software erledigt alles selbstständig, verfolgt wichtige Objekte im Video und schneidet Frames so ab, dass alles Wichtige in der endgültigen Version des Videos erhalten bleibt.

Das Team hat die Ergebnisse seiner Arbeit auf GitHub veröffentlicht, einem Open-Source-Framework namens AutoFlip . GitHub veröffentlichte auch Code und Anweisungen zum Starten des Programms.

Die Entwickler haben das Projekt gestartet, da die meisten Videos im Querformat aufgenommen wurden. Dies war anfangs der Fall - die überwiegende Mehrheit der Videogeräte ist so konzipiert, dass die Rahmenbreite größer als die Höhe ist. Aber jetzt, da Smartphones allgegenwärtig sind, ist horizontales Video nicht immer bequem. Manchmal müssen Sie das Video für mehrere Plattformen gleichzeitig anpassen.



Wenn Sie ein horizontales Video zuschneiden und zuschneiden, verschwinden viele wichtige Punkte außerhalb des endgültigen Frames einfach. Um dies zu vermeiden, beschlossen die Entwickler, dem Algorithmus beizubringen, wichtige Objekte zu verfolgen und den Rahmen darauf zuzuschneiden. Dadurch bleibt alles, was benötigt wird, im Rahmen und nichts geht verloren.

Google-Vertreter sind übrigens nicht die ersten, die sich mit diesem Problem befassen. Vor nicht allzu langer Zeit haben Vertreter des Unternehmens Adobe an einer ähnlichen Idee gearbeitet. Sie haben ein Produkt entwickelt, das ebenfalls hervorragend funktioniert, jedoch alle möglichen Einschränkungen aufweist und nicht jeder Benutzer darauf zugreifen kann. Google hat das Problem auf seine eigene Weise gelöst und allen die Best Practices zur Verfügung gestellt.



Um zu beginnen, müssen Sie, wie oben erwähnt, die anfänglichen Zuschneideparameter - das Seitenverhältnis sowie die Anzahl der Objekte festlegen, die im Rahmen verbleiben müssen. Nachdem die anfänglichen Einstellungen vorgenommen wurden, beginnt der Algorithmus zu arbeiten und markiert die Quelldatei. Eines der wichtigsten Kriterien für die Bewertung einer Szenenänderung ist das Sättigungshistogramm. Wenn es sich ändert, hat sich die Szene geändert.

Laut den Entwicklern wird jede Szene separat verarbeitet. Dies geschieht, weil sich die Objekte im Rahmen in verschiedenen Szenen unterschiedlich befinden, manchmal verschwinden einige Objekte, andere erscheinen. Damit die endgültige Version des Videos nichts Wichtiges verliert, markiert der Algorithmus die Objekte im Frame und schneidet sie so ab, dass sie in Sicht bleiben.



Es gibt verschiedene Zuschneideoptionen - vom statischen Zuschneiden mit der Bewegung der Zuschneidezone von einer Seite zur anderen bis zum dynamischen Zuschneiden entsprechend den Bewegungen von Objekten im Rahmen. Wenn im ursprünglichen Problem angegeben wird, dass alle Objekte im Rahmen gespeichert werden sollen, kann der Algorithmus die Rahmenzone erweitern und an den Seiten des Rahmens Platz hinzufügen, um die resultierenden Hohlräume zu füllen.

Laut der Erklärung der Entwickler ist der Algorithmus auf GitHub verfügbar und als MediaPipe-Pipeline implementiert. Letzteres kann übrigens in einem Webbrowser funktionieren, so dass auf Wunsch Computer-Vision-Algorithmen in einem Browser auf einem Computer oder Smartphone ausgeführt werden können. Die Entwickler haben bereits gesagt, dass sie hier nicht aufhören werden, sie werden es verbessern. Sowohl einzelne Entwickler als auch ganze Unternehmen können dem Projekt beitreten.

Die Anwendungsbereiche des Algorithmus sind das Verfolgen des Gesichts eines Sprechers in einem Rahmen oder beispielsweise eines Helden in einem Cartoon.



In Zukunft wird der Algorithmus die Funktion zum Zeichnen von Randbereichen des Rahmens sowie zum Löschen von Text oder Bildern hinzufügen. Beide Optionen existieren bereits als unabhängige Algorithmen, sodass die Integration in eine Beschneidungslösung kein Problem darstellt.