🙇🏼 ⬛️ 🐜 हमने आठ बार वीडियो एन्कोडिंग कैसे त्वरित की 👸🏼 😬 😤

हर दिन, लाखों दर्शक इंटरनेट पर वीडियो देखते हैं। लेकिन वीडियो उपलब्ध होने के लिए, इसे न केवल सर्वर पर अपलोड किया जाना चाहिए, बल्कि संसाधित भी किया जाना चाहिए। यह जितनी तेजी से होता है, सेवा और उसके उपयोगकर्ताओं के लिए बेहतर होता है।

मेरा नाम आस्कर कमालोव है, एक साल पहले मैं यैंडेक्स वीडियो प्रौद्योगिकी टीम में शामिल हुआ था। आज मैं संक्षेप में हैबर के पाठकों को बताऊंगा कि कैसे, कोडिंग प्रक्रिया के समानांतरण का उपयोग करते हुए, हमने कई बार उपयोगकर्ता को वीडियो की डिलीवरी को गति देने में कामयाबी हासिल की।

यह पोस्ट उन लोगों के लिए मुख्य रूप से दिलचस्पी का होगा, जिन्होंने वीडियो सेवाओं के हुड के तहत क्या हो रहा है, इसके बारे में पहले नहीं सोचा था। टिप्पणियों में, आप प्रश्न पूछ सकते हैं और भविष्य के पदों के लिए विषय सुझा सकते हैं।

कार्य के बारे में कुछ शब्द। यैंडेक्स न केवल अन्य साइटों पर वीडियो खोजने में मदद करता है, बल्कि अपनी सेवाओं के लिए वीडियो भी संग्रहीत करता है। चाहे वह एक लेखक का कार्यक्रम हो या ईथर में एक खेल मैच हो, किन्नोपिस्क पर एक फिल्म हो या ज़ेन और समाचार में वीडियो - यह सब हमारे सर्वर पर अपलोड किया जाता है। उपयोगकर्ताओं को वीडियो देखने के लिए, इसे तैयार करने की आवश्यकता है: इसे आवश्यक प्रारूप में परिवर्तित करें, पूर्वावलोकन बनाएं, या यहां तक कि इसे डीआईएचडी तकनीक के माध्यम से चलाएं । एक बिना तैयारी के फाइल बस जगह लेता है। और हम न केवल लोहे के इष्टतम उपयोग के बारे में बात कर रहे हैं, बल्कि उपयोगकर्ताओं को सामग्री वितरण की गति के बारे में भी बता रहे हैं। उदाहरण: एक हॉकी मैच के निर्णायक क्षण के साथ एक रिकॉर्ड घटना के बाद एक मिनट के भीतर खोज में खोजा जा सकता है।

अनुक्रमिक कोडिंग

तो, उपयोगकर्ता की खुशी काफी हद तक इस बात पर निर्भर करती है कि वीडियो कितनी जल्दी उपलब्ध हो जाता है। और यह मुख्य रूप से ट्रांसकोडिंग की गति से निर्धारित होता है। जब वीडियो अपलोड गति के लिए कोई सख्त आवश्यकताएं नहीं हैं, तो कोई समस्या नहीं है। एकल, अविभाज्य फ़ाइल लें, इसे रूपांतरित करें, अपलोड करें। हमारी यात्रा की शुरुआत में, हमने इस तरह से काम किया:

ग्राहक वीडियो को रिपॉजिटरी में अपलोड करता है, विश्लेषक घटक मेटा जानकारी एकत्र करता है और कार्यकर्ता घटक में रूपांतरण के लिए वीडियो स्थानांतरित करता है। सभी चरणों को क्रमिक रूप से किया जाता है। उसी समय, एन्कोडिंग के लिए कई सर्वर हो सकते हैं, लेकिन केवल एक विशिष्ट वीडियो प्रसंस्करण में व्यस्त है। सरल, पारदर्शी लेआउट। यह वह जगह है जहाँ इसका गुण समाप्त होता है। ऐसी योजना को केवल लंबवत रूप से बढ़ाया जाता है (अधिक शक्तिशाली सर्वरों की खरीद के कारण)।

मध्यवर्ती परिणाम के साथ अनुक्रमिक कोडिंग

किसी तरह दर्दनाक उम्मीद को सुचारू करने के लिए, उद्योग एक त्वरित कोडिंग विकल्प के साथ आया। यह एक भ्रामक नाम है, क्योंकि वास्तव में, पूर्ण-कोडिंग क्रमिक रूप से और लंबे समय तक होती है। लेकिन एक मध्यवर्ती परिणाम के साथ। विचार यह है: जितनी जल्दी हो सके वीडियो के कम-रिज़ॉल्यूशन संस्करण को तैयार करें और अपलोड करें, और केवल बाद में - उच्च-रिज़ॉल्यूशन संस्करण।

एक ओर, वीडियो तेजी से बन रहा है। और यह महत्वपूर्ण घटनाओं के लिए उपयोगी है। लेकिन दूसरे पर - तस्वीर धुंधली है, और यह दर्शकों को परेशान करती है।

यह पता चला है कि आपको न केवल वीडियो को जल्दी से संसाधित करने की आवश्यकता है, बल्कि इसकी गुणवत्ता को संरक्षित करने की भी आवश्यकता है। यह वही है जो अब उपयोगकर्ता वीडियो सेवा से उम्मीद करते हैं। ऐसा लग सकता है कि यह सबसे अधिक उत्पादक सर्वर खरीदने के लिए पर्याप्त है (और नियमित रूप से उन सभी को एक ही बार में अपग्रेड करें)। लेकिन यह एक मृत अंत का एक तरीका है, क्योंकि हमेशा एक वीडियो होता है जो सबसे शक्तिशाली हार्डवेयर को भी धीमा कर देगा।

समानांतर कोडिंग

एक कठिन कार्य को कई कम जटिल लोगों में विभाजित करना और एक साथ विभिन्न सर्वरों पर उन्हें हल करना बहुत अधिक कुशल है। ऐसा वीडियो के लिए MapReduce है। इस मामले में, हम किसी एकल सर्वर के प्रदर्शन पर आराम नहीं करते हैं और क्षैतिज रूप से (नई मशीनों को जोड़कर) स्केल कर सकते हैं।

वैसे, एक वीडियो को छोटे टुकड़ों में विभाजित करने, एक साथ प्रसंस्करण करने और उन्हें एक साथ जोड़ने का विचार एक रहस्य नहीं है। आप इस दृष्टिकोण के कई संदर्भ पा सकते हैं (उदाहरण के लिए, हेबेरा मैं डिस्टविड प्रोजेक्ट के बारे में एक पोस्ट की सिफारिश करता हूं )। लेकिन यह आम तौर पर आसान नहीं होता है, क्योंकि आप केवल एक तैयार समाधान नहीं ले सकते हैं और इसे अपने आप में निर्मित कर सकते हैं। हमें अपने इंफ्रास्ट्रक्चर, अपने वीडियो और यहां तक कि अपने कार्यभार के अनुकूल होना चाहिए। सामान्य तौर पर, अपना खुद का लिखना आसान होता है।

इसलिए, नए आर्किटेक्चर में, हमने मोनोलिथिक वर्कर ब्लॉक को अनुक्रमिक कोडिंग के साथ माइक्रोसर्विस सेगेटर, टैकोडर, कॉम्बिनर में विभाजित किया।

सेगमेंटर वीडियो को लगभग 10 सेकंड में टुकड़ों में विभाजित करता है। टुकड़े में एक या अधिक GOP ( चित्रों का समूह ) होता है। प्रत्येक GOP स्वतंत्र और अलग-अलग एन्कोडेड है, ताकि इसे अन्य GOP से फ़्रेम के संदर्भ के बिना डिकोड किया जा सके। यही है, टुकड़ों को एक दूसरे से स्वतंत्र रूप से पुन: पेश किया जा सकता है। यह विभाजन विलंबता को कम करता है, जिससे आप पहले प्रसंस्करण शुरू कर सकते हैं।
Tcoder . , , (, , ), . , Tcoder .
ombiner : , Tcoder, .

ध्वनि के बारे में कुछ शब्द। सबसे लोकप्रिय AAC ऑडियो कोडेक में एक गंदा विशेषता है। यदि आप टुकड़ों को अलग-अलग कोड करते हैं, तो उन्हें मूल रूप से एक साथ गोंद करना बस काम नहीं करेगा। परिवर्तन ध्यान देने योग्य होंगे। वीडियो कोडेक्स में ऐसी कोई समस्या नहीं है। सैद्धांतिक रूप से, आप एक कठिन तकनीकी समाधान की तलाश कर सकते हैं, लेकिन यह गेम सिर्फ मोमबत्ती के लायक नहीं है (ऑडियो का वजन वीडियो की तुलना में काफी कम है)। इसलिए, केवल वीडियो हमारे साथ समानांतर में एन्कोडेड है, और ऑडियो ट्रैक एक पूरे के रूप में संसाधित होता है।

परिणाम

समानांतर वीडियो प्रसंस्करण के लिए धन्यवाद, हमने वीडियो डाउनलोड करने और उपयोगकर्ताओं के लिए इसकी उपलब्धता के बीच देरी को काफी कम कर दिया। उदाहरण के लिए, पहले एक FullHD मूवी के लिए अलग-अलग गुणवत्ता के कई पूर्ण संस्करण बनाने में दो घंटे लग सकते थे, जो एक घंटे और आधे समय तक चलता था। अब यह सब 15 मिनट लगते हैं। इसके अलावा, समानांतर प्रसंस्करण में, हम एक उच्च-रिज़ॉल्यूशन संस्करण बनाते हैं जो एक कम रिज़ॉल्यूशन वाले संस्करण की तुलना में अधिक तेज़ी से एक पुराने परिणाम के साथ एक मध्यवर्ती परिणाम के साथ होता है।

बाकी और कुछ। पुराने दृष्टिकोण के साथ, या तो सर्वर गायब हो सकते हैं या वे कार्यों के बिना निष्क्रिय थे। समानांतर कोडिंग लोहे के उपयोग की हिस्सेदारी बढ़ा सकती है। अब एक हजार से अधिक सर्वरों का हमारा क्लस्टर हमेशा किसी न किसी चीज में व्यस्त रहता है।

वास्तव में, अभी भी सुधार की गुंजाइश है। उदाहरण के लिए, हम बहुत से समय बचा सकते हैं यदि हम किसी वीडियो के टुकड़े को संसाधित करना शुरू करते हैं, इससे पहले कि वह पूर्ण में आ गया है। जैसा कि वे कहते हैं, आगे - और।

टिप्पणियों में लिखें कि वीडियो के साथ काम करने के क्षेत्र में आप क्या कार्य करना चाहते हैं।

हमने आठ बार वीडियो एन्कोडिंग कैसे त्वरित की

अनुक्रमिक कोडिंग

मध्यवर्ती परिणाम के साथ अनुक्रमिक कोडिंग

समानांतर कोडिंग

परिणाम

उद्योग के साथियों के लिए उपयोगी लिंक

More articles: