🤜🏿 🗝️ 🏁 डेल्टा: डेटा सिंक्रोनाइज़ेशन और संवर्धन प्लेटफ़ॉर्म 💃🏽 👊🏻 🗿

डेटा इंजीनियर पाठ्यक्रम में एक नई धारा के शुभारंभ की प्रत्याशा में , हमने दिलचस्प सामग्री का अनुवाद तैयार किया।

अवलोकन

हम एक काफी लोकप्रिय पैटर्न के बारे में बात करते हैं जिसके द्वारा एप्लिकेशन कई डेटा स्टोर का उपयोग करते हैं, जहां प्रत्येक स्टोर अपने स्वयं के उद्देश्यों के लिए उपयोग किया जाता है, उदाहरण के लिए, डेटा (MySQL, आदि) के कैनोनिकल फॉर्म को स्टोर करने के लिए, उन्नत खोज क्षमताएं (ElasticSearch, आदि) प्रदान करते हैं। ।), कैशिंग (मेम्केड, आदि) और अन्य। आमतौर पर, कई डेटा स्टोरेज का उपयोग करते समय, उनमें से एक मुख्य भंडारण के रूप में काम करता है, और दूसरा व्युत्पन्न भंडारण के रूप में। एकमात्र समस्या यह है कि इन डेटा स्टोर को कैसे सिंक्रनाइज़ किया जाए।

हमने कई अलग-अलग पैटर्नों को देखा, जिन्होंने कई रिपॉजिटरी को सिंक्रनाइज़ करने की समस्या को हल करने की कोशिश की, जैसे कि डबल-एंट्री, वितरित लेनदेन, आदि। हालाँकि, वास्तविक जीवन के उपयोग, विश्वसनीयता और रखरखाव के संदर्भ में इन दृष्टिकोणों की महत्वपूर्ण सीमाएँ हैं। डेटा सिंक्रोनाइज़ेशन के अलावा, कुछ एप्लिकेशन को बाहरी सेवाओं को लागू करके डेटा को समृद्ध करने की भी आवश्यकता होती है।

इन समस्याओं को हल करने के लिए, डेल्टा विकसित किया गया था। डेल्टा अंततः डेटा को सिंक्रनाइज़ और समृद्ध करने के लिए एक सुसंगत, घटना-संचालित मंच है।

मौजूदा समाधान

दोहरी प्रविष्टि

दो डेटा स्टोर सिंक्रनाइज़ करने के लिए, आप डबल रिकॉर्डिंग, जो तुरंत एक दुकान में लिखते हैं, और फिर एक और करने के लिए लिखते हैं उपयोग कर सकते हैं। पहला रिकॉर्ड दोहराया जा सकता है, और दूसरा प्रयास की संख्या को समाप्त करने के बाद पहला विफल होने पर बाधित हो सकता है। हालाँकि, दो डेटा स्टोर सिंक्रनाइज़ करना बंद कर सकते हैं यदि दूसरा स्टोर लिखने में विफल रहता है। यह समस्या आमतौर पर एक पुनर्प्राप्ति प्रक्रिया बनाकर हल की जाती है जो समय-समय पर पहले भंडारण से दूसरे में डेटा को फिर से स्थानांतरित कर सकती है या ऐसा केवल तभी कर सकती है जब डेटा में अंतर पाए जाते हैं।

समस्या:

पुनर्प्राप्ति प्रक्रिया निष्पादित करना एक विशिष्ट कार्य है जिसका पुन: उपयोग नहीं किया जा सकता है। इसके अलावा, रिकवरी प्रक्रिया पूरी होने तक स्टोरेज के बीच डेटा सिंक से बाहर रहता है। यदि दो से अधिक डेटा स्टोर का उपयोग किया जाता है तो समाधान जटिल है। अंत में, पुनर्प्राप्ति प्रक्रिया मूल डेटा स्रोत में तनाव जोड़ सकती है।

लॉग टेबल बदलें

जब तालिकाओं के एक सेट में परिवर्तन होते हैं (उदाहरण के लिए, रिकॉर्ड सम्मिलित करना, अपडेट करना और हटाना), तो उसी तालिका के भाग के रूप में लॉग टेबल में परिवर्तन रिकॉर्ड जोड़े जाते हैं। एक अन्य थ्रेड या प्रक्रिया लॉग टेबल से लगातार घटनाओं का अनुरोध करती है और उन्हें एक या एक से अधिक डेटा स्टोरेज के लिए लिखती है, जब सभी स्टोरेज द्वारा रिकॉर्ड की पुष्टि करने के बाद लॉग टेबल से घटनाओं को हटाना आवश्यक हो जाता है।

समस्याएं:

इस पैटर्न को एक पुस्तकालय के रूप में लागू किया जाना चाहिए और, आदर्श रूप से, इसका उपयोग किए गए एप्लिकेशन कोड को बदलने के बिना। बहुभाषाविद परिवेश में, इस तरह के पुस्तकालय के कार्यान्वयन के लिए किसी भी आवश्यक भाषा में मौजूद होना चाहिए, लेकिन भाषाओं के बीच कार्यों और व्यवहार के समन्वय को सुनिश्चित करना बहुत मुश्किल है।

एक अन्य समस्या सिस्टम में स्कीमा परिवर्तन प्राप्त करने में निहित है जो ट्रांसेक्शनल स्कीमा परिवर्तन [1] [2] का समर्थन नहीं करते हैं, जैसे कि MySQL। इसलिए, परिवर्तन करने के लिए एक टेम्पलेट (उदाहरण के लिए, किसी योजना को बदलना) और परिवर्तन लॉग टेबल पर इसे लिखना हमेशा काम नहीं करेगा।

वितरित लेन-देन

वितरित लेनदेन का उपयोग कई विषम डेटा स्टोरेज के बीच लेनदेन को विभाजित करने के लिए किया जा सकता है ताकि ऑपरेशन या तो उपयोग किए गए सभी स्टोरों में प्रतिबद्ध हो या उनमें से किसी में भी प्रतिबद्ध न हो।

समस्या:

विषम डेटा वेयरहाउस के लिए वितरित लेनदेन एक बहुत बड़ी समस्या है। अपनी प्रकृति से, वे केवल शामिल प्रणालियों के सबसे छोटे सामान्य भाजक पर भरोसा कर सकते हैं। उदाहरण के लिए, तैयारी प्रक्रिया के दौरान विफलता होने पर एक्सए लेनदेन को ब्लॉक कर देता है। इसके अलावा, XA गतिरोध का पता नहीं लगाता है और आशावादी संगामिति प्रबंधन योजनाओं का समर्थन नहीं करता है। इसके अलावा, ElasticSearch जैसे कुछ सिस्टम XA या किसी अन्य विषम लेनदेन मॉडल का समर्थन नहीं करते हैं। इस प्रकार, विभिन्न डेटा स्टोरेज प्रौद्योगिकियों में रिकॉर्डिंग की परमाणुता सुनिश्चित करना अनुप्रयोगों के लिए एक बहुत ही मुश्किल काम है [3]।

डेल्टा

डेल्टा को मौजूदा डेटा सिंक्रनाइज़ेशन समाधानों की सीमाओं को संबोधित करने के लिए डिज़ाइन किया गया था, और यह मक्खी पर डेटा को भी समृद्ध करता है। हमारा लक्ष्य इन सभी जटिल बिंदुओं को एप्लिकेशन डेवलपर्स से अलग करना था ताकि वे पूरी तरह से व्यावसायिक कार्यक्षमता के कार्यान्वयन पर ध्यान केंद्रित कर सकें। इसके बाद, हम "मूवी सर्च" का वर्णन करेंगे, जो नेटफ्लिक्स के डेल्टा के लिए वास्तविक उपयोग का मामला है।

नेटफ्लिक्स माइक्रोसॉर्फ़ आर्किटेक्चर का व्यापक उपयोग करता है और प्रत्येक माइक्रोसेवक आमतौर पर एक प्रकार का डेटा प्रस्तुत करता है। फिल्म के बारे में मुख्य जानकारी एक माइक्रो सर्विस में ली गई है, जिसे मूवी सर्विस कहा जाता है, साथ ही संबंधित डेटा, जैसे कि उत्पादकों, अभिनेताओं, विक्रेताओं और अन्य के बारे में जानकारी, कई अन्य माइक्रोसर्विसेस (जैसे, डील सर्विस, टैलेंट सर्विस और वेंडर सर्विस) द्वारा प्रबंधित की जाती है।
नेटफ्लिक्स स्टूडियोज के बिजनेस यूजर्स को अक्सर फिल्मों के लिए कई मापदंड तलाशने पड़ते हैं, यही वजह है कि फिल्मों से जुड़े सभी डेटा को सर्च करने में सक्षम होना उनके लिए बहुत जरूरी है।

डेल्टा से पहले, मूवी सर्च टीम को फिल्म डेटा को इंडेक्स करने से पहले कई माइक्रोसिस्टर्स से डेटा पुनर्प्राप्त करने की आवश्यकता होती है। इसके अलावा, टीम को एक ऐसी प्रणाली विकसित करनी थी जो समय-समय पर खोज सूचकांक को अपडेट करती रहे, अन्य माइक्रोसर्विसेज से बदलावों का अनुरोध करती, भले ही उनमें कोई बदलाव न हो। यह प्रणाली जल्दी ही जटिलता से ग्रस्त हो गई और इसे बनाए रखना मुश्किल हो गया।

चित्रा 1. डेल्टा से पहले मतदान प्रणाली
डेल्टा का उपयोग करने के बाद, सिस्टम को एक इवेंट-संचालित सिस्टम में सरल किया गया था, जैसा कि निम्नलिखित आंकड़े में दिखाया गया है। सीडीसी (चेंज-डेटा-कैप्चर) की घटनाओं को डेल्टा-कनेक्टर का उपयोग करके कीस्टोन कफका विषयों में भेजा जाता है। डेल्टा स्ट्रीम प्रोसेसिंग फ्रेमवर्क (फ़्लंक पर आधारित) का उपयोग करके बनाया गया एक डेल्टा एप्लिकेशन विषय से सीडीसी इवेंट्स प्राप्त करता है, उन्हें समृद्ध करता है, अन्य माइक्रोसर्विस को इनवॉइस करता है, और अंत में समृद्ध डेटा को एलिटिक्स खोज में खोज इंडेक्स में पास करता है। पूरी प्रक्रिया लगभग वास्तविक समय में होती है, अर्थात्, जैसे ही परिवर्तन डेटा वेयरहाउस में दर्ज किए जाते हैं, खोज सूचकांक अपडेट किए जाते हैं।

चित्रा 2. डेल्टा का उपयोग कर डेटा पाइपलाइन
निम्नलिखित अनुभागों में, हम डेल्टा-कनेक्टर के काम का वर्णन करते हैं, जो रिपॉजिटरी से जुड़ता है और परिवहन स्तर पर सीडीसी घटनाओं को प्रकाशित करता है, जो एक वास्तविक समय डेटा ट्रांसमिशन इंफ्रास्ट्रक्चर है जो सीडीसी घटनाओं को काफ्का विषयों तक निर्देशित करता है। और सबसे अंत में, हम डेल्टा स्ट्रीम प्रोसेसिंग फ्रेमवर्क के बारे में बात करेंगे जो अनुप्रयोग डेवलपर्स प्रसंस्करण और संवर्धन तर्क के लिए उपयोग कर सकते हैं।

सीडीसी (परिवर्तन-डेटा-कैप्चर)

हमने डेल्टा-कनेक्टर नामक एक सीडीसी सेवा विकसित की है, जो वास्तविक समय में डेटा स्टोर से प्रतिबद्ध परिवर्तनों को पकड़ सकती है और उन्हें स्ट्रीम में लिख सकती है। ट्रांजेक्शन लॉग और स्टोरेज डंप से रियल-टाइम बदलाव किए जाते हैं। डंप का उपयोग किया जाता है क्योंकि लेनदेन लॉग आमतौर पर पूरे परिवर्तन इतिहास को संग्रहीत नहीं करते हैं। परिवर्तन आमतौर पर डेल्टा घटनाओं के रूप में क्रमबद्ध होते हैं, इसलिए प्राप्तकर्ता को इस बारे में चिंता करने की ज़रूरत नहीं है कि परिवर्तन कहाँ से आता है।

डेल्टा-कनेक्टर कई अतिरिक्त सुविधाओं का समर्थन करता है, जैसे:

कफ़्का अतीत कस्टम उत्पादन लिखने की क्षमता।
सभी टेबल, एक विशिष्ट तालिका या कुछ प्राथमिक कुंजी के लिए किसी भी समय मैनुअल डंप को सक्रिय करने की क्षमता।
डंप को चंक्स द्वारा लिया जा सकता है, इसलिए विफलता की स्थिति में फिर से शुरू करने की कोई आवश्यकता नहीं है।
तालिकाओं पर ताले लगाने की कोई आवश्यकता नहीं है, जो बहुत महत्वपूर्ण है ताकि डेटाबेस पर लिखने का ट्रैफ़िक हमारी सेवा द्वारा कभी अवरुद्ध न हो।
AWS उपलब्धता क्षेत्रों में बैकअप के कारण उच्च उपलब्धता।

वर्तमान में हम MySQL और Postgres का समर्थन करते हैं, जिसमें AWS RDS और अरोरा को तैनाती शामिल है। हम कैसेंड्रा (मल्टी-मास्टर) का भी समर्थन करते हैं। आप इस ब्लॉग पर डेल्टा-कनेक्टर के बारे में अधिक जान सकते हैं ।

कफका और परिवहन स्तर

डेल्टा इवेंट ट्रांसपोर्ट की परत कीस्टोन प्लेटफॉर्म मैसेजिंग सेवा पर बनाई गई है ।

इसलिए ऐतिहासिक रूप से, नेटफ्लिक्स पर पोस्टिंग को दीर्घायु की बजाय बढ़ी हुई उपलब्धता के लिए अनुकूलित किया गया है ( पिछले लेख देखें )। एक समझौता विभिन्न सीमा परिदृश्यों में ब्रोकर डेटा की संभावित असंगति था। उदाहरण के लिए, अशुद्ध नेता चुनाव यह सुनिश्चित करने के लिए जिम्मेदार है कि प्राप्तकर्ता संभावित रूप से घटनाओं को दोहराता है या खो देता है।

डेल्टा के साथ, हम व्युत्पन्न भंडारण के लिए सीडीसी की घटनाओं के वितरण को सुनिश्चित करने के लिए स्थायित्व की मजबूत गारंटी प्राप्त करना चाहते थे। ऐसा करने के लिए, हमने प्रथम श्रेणी के ऑब्जेक्ट के रूप में एक विशेष रूप से डिज़ाइन किया गया काफ्का क्लस्टर प्रस्तावित किया। आप नीचे दी गई तालिका में कुछ ब्रोकर सेटिंग्स देख सकते हैं:

कीस्टोन कफका समूहों में, अशुद्ध नेता चुनाव आमतौर पर प्रकाशक की उपलब्धता सुनिश्चित करने के लिए सक्षम होता है। इसका परिणाम संदेश हानि के रूप में हो सकता है यदि एक असंबद्ध प्रतिकृति को नेता के रूप में चुना जाता है। नए अत्यधिक विश्वसनीय कफका क्लस्टर के लिए, अशुद्ध नेता चुनाव विकल्प संदेश हानि को रोकने के लिए अक्षम है।

हमने प्रतिकृति कारक को 2 से 3 और न्यूनतम इंसुलेटर प्रतिकृतियों में भी वृद्धि की है1 से 2 तक। इस क्लस्टर में लिखने वाले प्रकाशकों को अन्य सभी से ऐक्स की आवश्यकता होती है, यह सुनिश्चित करते हुए कि 3 में से 2 प्रतिकृतियों में प्रकाशक द्वारा भेजे गए नवीनतम संदेश होंगे।

जब दलाल उदाहरण से बाहर निकलता है, तो नया उदाहरण पुराने को बदल देता है। हालांकि, नए ब्रोकर को असंबद्ध प्रतिकृतियों के साथ पकड़ने की आवश्यकता होगी, जिसमें कई घंटे लग सकते हैं। इस परिदृश्य के लिए पुनर्प्राप्ति समय को कम करने के लिए, हमने स्थानीय दलालों डिस्क के बजाय अमेज़ॅन इलास्टिक ब्लॉक स्टोर का उपयोग करना शुरू कर दिया। जब एक नया उदाहरण एक पूर्ण ब्रोकर उदाहरण को प्रतिस्थापित करता है, तो यह ईबीएस वॉल्यूम को पूरा करता है जो पूरा हो चुका है और नए संदेशों के साथ पकड़ना शुरू करता है। यह प्रक्रिया कई घंटों से लेकर कई मिनटों तक बैकलॉग को खत्म करने के समय को कम कर देती है, क्योंकि नए उदाहरण के लिए अब किसी खाली स्थिति से दोहराए जाने की आवश्यकता नहीं है। सामान्य तौर पर, अलग भंडारण और ब्रोकर जीवन चक्र, ब्रोकर परिवर्तन के प्रभाव को काफी कम करते हैं।

डेटा डिलीवरी की गारंटी को और बढ़ाने के लिए, हमने चरम स्थितियों में संदेशों के किसी भी नुकसान का पता लगाने के लिए एक संदेश ट्रैकिंग प्रणाली का उपयोग किया (उदाहरण के लिए, अनुभाग नेता में घड़ी तुल्यकालन)।

स्ट्रीम प्रसंस्करण रूपरेखा

डेल्टा में प्रसंस्करण स्तर नेटफ्लिक्स एसपीएएस प्लेटफॉर्म पर आधारित है, जो नेटफ्लिक्स पारिस्थितिकी तंत्र के साथ अपाचे फ्लिंक के एकीकरण को सक्षम करता है। प्लेटफ़ॉर्म एक उपयोगकर्ता इंटरफ़ेस प्रदान करता है जो फ्लिंक नौकरियों की तैनाती और हमारे टाइटस कंटेनर प्रबंधन मंच के शीर्ष पर फ्लिंक समूहों की परिक्रमा को नियंत्रित करता है। इंटरफ़ेस जॉब कॉन्फ़िगरेशन का प्रबंधन भी करता है और उपयोगकर्ताओं को फ़िंक नौकरियों को फिर से शुरू किए बिना गतिशील रूप से कॉन्फ़िगरेशन परिवर्तन करने की अनुमति देता है।

डेल्टा फ्लिंक और SPaaS- आधारित डेटा के लिए एक स्ट्रीम प्रोसेसिंग फ्रेमवर्क प्रदान करता है जो एनोटेशन-आधारित का उपयोग करता हैतकनीकी विवरणों को डीएसएल (डोमेन विशिष्ट भाषा)। उदाहरण के लिए, उस चरण को निर्धारित करने के लिए जिसके द्वारा बाहरी सेवाओं को कॉल करके घटनाओं को समृद्ध किया जाएगा, उपयोगकर्ताओं को अगला डीएसएल लिखने की आवश्यकता है, और फ्रेमवर्क इसके आधार पर एक मॉडल बनाएगा जो फ्लिंक निष्पादित करेगा।

चित्रा 3. डेल्टा में डीएसएल संवर्धन उदाहरण

प्रसंस्करण ढांचा न केवल सीखने की अवस्था को छोटा करता है, बल्कि सामान्य प्रवाह प्रसंस्करण कार्य भी प्रदान करता है, जैसे कि समर्पण, योजनाबद्धता, साथ ही साथ काम में सामान्य समस्याओं को हल करने के लिए लचीलापन और दोष सहिष्णुता।

डेल्टा स्ट्रीम प्रोसेसिंग फ्रेमवर्क में दो प्रमुख मॉड्यूल, डीएसएल और एपीआई मॉड्यूल और रनटाइम मॉड्यूल शामिल हैं। डीएसएल और एपीआई मॉड्यूल डीएसएल और यूडीएफ (यूजर-डिफाइंड-फंक्शन) एपीआई प्रदान करता है ताकि उपयोगकर्ता अपने स्वयं के प्रसंस्करण तर्क (जैसे फ़िल्टरिंग या परिवर्तन) लिख सकें। रनटाइम मॉड्यूल डीएसएल पार्सर का कार्यान्वयन प्रदान करता है, जो डीएजी मॉडलों में प्रसंस्करण चरणों का आंतरिक प्रतिनिधित्व करता है। निष्पादन घटक वास्तविक फ़्लैंक कथनों को आरंभ करने के लिए डीएजी मॉडल की व्याख्या करता है और अंततः फ्लिंक एप्लिकेशन को लॉन्च करता है। रूपरेखा की वास्तुकला निम्नलिखित चित्र में चित्रित की गई है।

चित्रा 4. डेल्टा स्ट्रीम प्रसंस्करण फ्रेमवर्क वास्तुकला

इस दृष्टिकोण के कई फायदे हैं:

- Flink SPaaS.
, - (UDF).
Delta , , .

डेल्टा एक वर्ष से अधिक समय से उत्पादन में है और कई नेटफ्लिक्स स्टूडियो अनुप्रयोगों में महत्वपूर्ण भूमिका निभाता है। इसने टीमों को खोज अनुक्रमण, डेटा संग्रहण और इवेंट-संचालित वर्कफ़्लोज़ जैसे मामलों को लागू करने में मदद की। निम्नलिखित डेल्टा प्लेटफ़ॉर्म के उच्च-स्तरीय वास्तुकला का अवलोकन है।

चित्रा 5. डेल्टा का उच्च-स्तरीय वास्तुकला।

स्वीकृतियाँ

हम नेटफ्लिक्स में डेल्टा के निर्माण और विकास में योगदान करने वाले निम्नलिखित लोगों को धन्यवाद देना चाहते हैं: एलन वैंग, चार्ल्स झाओ, जोबिन यूं, जोश स्नाइडर, कस्तूरी चटर्जी, मार्क चो, ओलोफ जोहानसन, पीयूष गोयल, प्रशांत रामदास, रघुराम ओन्ती श्रीनिवासन, संदीप गुप्ता , स्टीवन वू, थरंगा गामेथिग, यूं वांग और झेंझोंग जू।

सूत्रों का कहना है

dev.mysql.com/doc/refman/5.7/en/implicit-commit.html
dev.mysql.com/doc/refman/5.7/en/cannot-roll-back.html
Martin Kleppmann, Alastair R. Beresford, Boerge Svingen: Online event processing. Commun. ACM 62(5): 43–49 (2019). DOI: doi.org/10.1145/3312527

: «Data Build Tool Amazon Redshift».

डेल्टा: डेटा सिंक्रोनाइज़ेशन और संवर्धन प्लेटफ़ॉर्म