DBLog - चेंज डेटा कैप्चर के लिए एक सामान्य ढांचा

परिचय

• लॉग ईवेंट को उनके द्वारा होने वाले क्रम में संसाधित किया जाता है।
• सभी तालिकाओं के लिए , किसी एक तालिका के लिए या किसी तालिका की विशिष्ट प्राथमिक कुंजी के लिए किसी भी समय डंप बनाया जा सकता है ।
• डंप प्रसंस्करण के साथ लॉग प्रसंस्करण विकल्प ब्लॉक में डंप को विभाजित करते हुए। इस प्रकार, लॉग प्रसंस्करण डंप प्रसंस्करण के साथ समानांतर में जगह ले सकता है। यदि प्रक्रिया समाप्त हो जाती है तो इसे फिर से शुरू करने के बिना अंतिम पूर्ण ब्लॉक के बाद फिर से शुरू किया जा सकता है। यह आपको डंप बनाते समय थ्रूपुट को समायोजित करने की भी अनुमति देता है और यदि आवश्यक हो, तो इसके निर्माण को रोकें।
• , .
• : , API.
• . , .

• पूर्ण राज्य प्राप्त करना । व्युत्पन्न भंडार (जैसे कि इलास्टिक खोज) को अंततः स्रोत की पूर्ण स्थिति को संग्रहीत करना चाहिए। हम इसे मूल डेटाबेस के डंप के माध्यम से लागू करते हैं।
• किसी भी समय राज्य वसूली शुरू करें। केवल प्राथमिक आरंभीकरण के लिए डंप को एक बार के ऑपरेशन के रूप में मानने के बजाय, हम इसे किसी भी समय कर सकते हैं: सभी तालिकाओं के लिए, एक तालिका के लिए या विशिष्ट प्राथमिक कुंजी के लिए। डेटा के नुकसान या क्षति के मामलों में उपभोक्ताओं की वसूली के लिए यह बहुत महत्वपूर्ण है।
• - . . , (, ). - . , - .
• . . API, , , . , , , .
• . Netflix , Kafka, SQS, Kinesis, Netflix, Keystone. , (, ), (, ). . API.
• . Netflix , (MySQL, PostgreSQL) AWS RDS. .

• डंप बनाते समय लॉग ईवेंट को रोकना । नतीजतन, यदि डंप बड़ा है, तो लॉग इवेंट की प्रक्रिया लंबी अवधि के लिए बंद हो जाती है। यह एक समस्या होगी यदि उपभोक्ता परिवर्तनों के प्रचार में छोटी देरी पर भरोसा करते हैं।
• . . (, ElasticSearch) .
• . . [5]. . , . . , PostgreSQL RDS .
• विशिष्ट डेटाबेस फ़ंक्शंस का उपयोग करना । हमने पाया कि कुछ समाधान अतिरिक्त डेटाबेस सुविधाओं का उपयोग करते हैं जो सभी प्रणालियों पर मौजूद नहीं हैं। उदाहरण के लिए, MySQL में ब्लैकहोल इंजन का उपयोग करना या PostgreSQL में प्रतिकृति स्लॉट्स के माध्यम से डंप का लगातार स्नैपशॉट प्राप्त करना। यह विभिन्न डेटाबेस के बीच कोड का पुन: उपयोग करता है।

• वैकल्पिक लॉग और डंप घटनाओं ताकि उन्हें एक साथ निष्पादित किया जा सके;
• किसी भी समय एक डंप शुरू करें;
• टेबल लॉक का उपयोग न करें
• विशिष्ट डेटाबेस सुविधाओं का उपयोग न करें।

DBLog फ्रेमवर्क

लॉग्स

उदासीनता

1. हम लॉग इवेंट्स की प्रोसेसिंग को अस्थायी रूप से निलंबित कर देते हैं।
2. वॉटरमार्क तालिका को अपडेट करके "कम" वॉटरमार्क उत्पन्न करें।
3. हम अगले ब्लॉक के लिए चयन शुरू करते हैं और प्राथमिक कुंजी द्वारा अनुक्रमित परिणाम को स्मृति में सहेजते हैं।
4. “” (high) , .
5. . .
6. , .
7. , , .
8. , 1.

समर्थित डेटाबेस

उच्च उपलब्धता

उत्पादन पर उपयोग करें

हमारे साथ रहें

• ताले का उपयोग किए बिना तालिका स्कीमा प्राप्त करने की क्षमता।
• स्कीमा भंडारण के साथ एकीकरण। प्रत्येक ईवेंट के लिए, स्कीम को स्टोरेज में रखा जाता है, जिस लिंक को इवेंट पेलोड में इंगित किया जाता है।
• मोनोटोनिक विधा लिखता है। यह सुनिश्चित करना कि किसी विशेष पंक्ति की स्थिति को बचाने के बाद, इसकी पिछली स्थिति को अधिलेखित नहीं किया जा सकता है। इस प्रकार, उपभोक्ताओं को समय-समय पर आगे पीछे किए बिना, केवल आगे की दिशा में राज्य परिवर्तन प्राप्त होता है।

स्वीकृतियाँ

संदर्भ