😺 👨‍🎤 🧓🏽 Comment nous avons accéléré l'encodage vidéo huit fois 🗺️ 🌓 🦅

Chaque jour, des millions de téléspectateurs regardent des vidéos sur Internet. Mais pour que la vidéo soit disponible, elle doit non seulement être téléchargée sur le serveur, mais également traitée. Plus cela se produit rapidement, meilleurs sont le service et ses utilisateurs.

Je m'appelle Askar Kamalov, il y a un an, j'ai rejoint l'équipe de technologie vidéo Yandex. Aujourd'hui, je vais expliquer brièvement aux lecteurs de Habr comment, en utilisant la parallélisation du processus de codage, nous avons réussi à accélérer la livraison de vidéos à l'utilisateur à plusieurs reprises.

Ce message intéressera principalement ceux qui n'ont pas pensé à ce qui se passe sous le capot des services vidéo. Dans les commentaires, vous pouvez poser des questions et suggérer des sujets pour de futurs articles.

Quelques mots sur la tâche elle-même. Yandex aide non seulement à rechercher des vidéos sur d'autres sites, mais stocke également des vidéos pour ses propres services. Qu'il s'agisse d'un programme d'auteur ou d'un match de sport dans Ether, d'un film sur KinoPoisk ou de vidéos dans Zen et News - tout cela est téléchargé sur nos serveurs. Pour que les utilisateurs regardent une vidéo, elle doit être préparée: la convertir au format requis, créer un aperçu ou même la piloter via la technologie DeepHD . Un fichier non préparé prend juste de la place. Et nous parlons non seulement de l'utilisation optimale du fer, mais aussi de la vitesse de livraison du contenu aux utilisateurs. Exemple: un record avec le moment décisif d'un match de hockey peut être recherché dans la recherche dans la minute qui suit l'événement lui-même.

Codage séquentiel

Ainsi, le bonheur de l'utilisateur dépend en grande partie de la rapidité avec laquelle la vidéo devient disponible. Et cela est principalement déterminé par la vitesse de transcodage. Lorsqu'il n'y a pas d'exigences strictes pour la vitesse de téléchargement vidéo, il n'y a pas de problème. Prenez un fichier unique et indivisible, convertissez-le, téléchargez. Au début de notre voyage, nous avons travaillé comme ceci:

Le client télécharge la vidéo dans le référentiel, le composant Analyzer collecte des méta-informations et transfère la vidéo pour la conversion vers le composant Worker. Toutes les étapes sont exécutées séquentiellement. Dans le même temps, il peut y avoir de nombreux serveurs pour l'encodage, mais un seul est occupé à traiter une vidéo spécifique. Disposition simple et transparente. C'est là que ses mérites s'arrêtent. Un tel schéma évolue uniquement verticalement (en raison de l'achat de serveurs plus puissants).

Codage séquentiel avec résultat intermédiaire

Afin d'atténuer en quelque sorte les attentes douloureuses, l'industrie a proposé une option de codage rapide. C'est un nom trompeur, car en fait, le codage à part entière a lieu séquentiellement et aussi longtemps. Mais avec un résultat intermédiaire. L'idée est la suivante: préparer et télécharger la version basse résolution de la vidéo dès que possible, et seulement plus tard - des versions haute résolution.

D'une part, la vidéo devient plus rapide. Et il est utile pour les événements importants. Mais de l'autre - l'image est floue, et cela agace le public.

Il s'avère que vous devez non seulement traiter rapidement la vidéo, mais également préserver sa qualité. C'est ce que les utilisateurs attendent désormais d'un service vidéo. Il peut sembler suffisant d'acheter les serveurs les plus productifs (et de les mettre à niveau régulièrement tous en même temps). Mais c'est une voie vers une impasse, car il y a toujours une vidéo qui ralentira même le matériel le plus puissant.

Codage parallèle

Il est beaucoup plus efficace de diviser une tâche difficile en plusieurs tâches moins complexes et de les résoudre simultanément sur différents serveurs. Tel est MapReduce pour la vidéo. Dans ce cas, nous ne nous reposons pas sur les performances d'un seul serveur et pouvons évoluer horizontalement (en ajoutant de nouvelles machines).

Soit dit en passant, l'idée de diviser une vidéo en petits morceaux, de les traiter et de les coller simultanément n'est pas un secret. Vous pouvez trouver de nombreuses références à cette approche (par exemple, sur Habré je recommande un article sur le projet DistVIDc ). Mais cela ne facilite généralement pas la tâche, car vous ne pouvez pas simplement prendre une solution toute faite et l'intégrer à vous-même. Nous devons nous adapter à notre infrastructure, à notre vidéo et même à notre charge de travail. En général, il est plus facile d'écrire le vôtre.

Ainsi, dans la nouvelle architecture, nous avons divisé le bloc Worker monolithique avec codage séquentiel en microservices Segmenter, Tcoder, Combiner.

Segmenter divise la vidéo en fragments en environ 10 secondes. Les fragments sont constitués d'un ou plusieurs GOP ( groupe d'images ). Chaque GOP est indépendant et codé séparément, de sorte qu'il peut être décodé sans référence aux trames des autres GOP. Autrement dit, les fragments peuvent être reproduits indépendamment les uns des autres. Cette segmentation réduit la latence, vous permettant de commencer le traitement plus tôt.
Tcoder . , , (, , ), . , Tcoder .
ombiner : , Tcoder, .

Quelques mots sur le son. Le codec audio AAC le plus populaire a une fonction désagréable. Si vous codez les fragments séparément, les coller ensemble de manière transparente ne fonctionnera tout simplement pas. Les transitions seront perceptibles. Les codecs vidéo n'ont pas un tel problème. Théoriquement, vous pouvez rechercher une solution technique difficile, mais ce jeu ne vaut tout simplement pas la chandelle (l'audio pèse beaucoup moins que la vidéo). Par conséquent, seule la vidéo est codée en parallèle avec nous et la piste audio est traitée dans son ensemble.

résultats

Grâce au traitement vidéo parallèle, nous avons considérablement réduit le délai entre le téléchargement d'une vidéo pour nous et sa disponibilité pour les utilisateurs. Par exemple, auparavant, il pouvait prendre deux heures pour créer plusieurs versions complètes de qualité différente pour un film FullHD d'une durée d'une heure et demie. Maintenant, tout cela prend 15 minutes. De plus, en traitement parallèle, nous créons une version haute résolution encore plus rapide qu'une version basse résolution avec l'ancienne approche avec un résultat intermédiaire.

Et quelque chose d'autre. Avec l'ancienne approche, les serveurs pouvaient être manquants ou ils étaient inactifs sans tâches. Le codage parallèle peut augmenter la part d'utilisation du fer. Maintenant, notre cluster de plus d'un millier de serveurs est toujours occupé par quelque chose.

En fait, il y a encore place à amélioration. Par exemple, nous pouvons gagner beaucoup de temps si nous commençons à traiter des fragments d'une vidéo avant même qu'elle ne soit arrivée en entier. Comme ils disent, plus loin - plus.

Écrivez dans les commentaires sur les tâches dans le domaine du travail avec la vidéo que vous souhaitez lire.

Comment nous avons accéléré l'encodage vidéo huit fois

Codage séquentiel

Codage séquentiel avec résultat intermédiaire

Codage parallèle

résultats

Liens utiles avec les pairs de l'industrie

More articles: