👨🏽 ⛔️ 🌨️ कुबेरनेट्स संग्रहण पैटर्न 👨🏻‍🔬 🏘️ 🏡

हेलो, हेब्र!

हम आपको याद दिलाते हैं कि हमने कुबेरनेट्स पैटर्न पर एक और बेहद दिलचस्प और उपयोगी पुस्तक जारी की है । यह सब ब्रेंडन बर्न्स के " पैटर्न " के साथ शुरू हुआ और, वैसे, इस सेगमेंट में काम जोरों पर है । आज हम आपको मिनियो ब्लॉग के एक लेख को पढ़ने के लिए आमंत्रित करते हैं जो कुबेरनेट्स में डेटा स्टोरेज पैटर्न के रुझानों और बारीकियों को संक्षेप में प्रस्तुत करता है।

कुबेरनेट्स ने मौलिक रूप से अनुप्रयोग विकास और परिनियोजन के पारंपरिक पैटर्न को बदल दिया। अब टीम को एप्लिकेशन विकसित करने, परीक्षण करने और तैनात करने में दिन लग सकते हैं - विभिन्न वातावरणों में, और यह सब कुबेरनेट्स समूहों के भीतर। पिछली पीढ़ियों से प्रौद्योगिकी के साथ इस तरह के काम में आमतौर पर सप्ताह लगते थे, अगर महीनों नहीं।

कुबेरनेट्स द्वारा प्रदान किए गए अमूर्त के लिए इस तरह के त्वरण को संभव बनाया गया था - अर्थात्, इस तथ्य के कारण कि कुबेरनेट्स स्वयं भौतिक या आभासी मशीनों के निम्न-स्तरीय विवरणों के साथ बातचीत करते हैं, जिससे उपयोगकर्ताओं को अन्य मापदंडों, वांछित प्रोसेसर, आवश्यक मेमोरी, कंटेनर इंस्टेंस की संख्या के बीच घोषित करने की अनुमति मिलती है। जैसा कि कुबेरनेट्स एक विशाल समुदाय द्वारा समर्थित है, और कुबेरनेट्स का दायरा लगातार बढ़ रहा है, यह सभी कंटेनर ऑर्केस्ट्रेशन प्लेटफार्मों के बीच एक व्यापक अंतर से आगे बढ़ता है।

जैसे कुबेरनेट्स का उपयोग फैलता है, वैसे ही इसमें उपयोग किए जाने वाले स्टोरेज पैटर्न के बारे में भ्रम पैदा होता है ।

कुबेरनेट्स पाई (जो डेटा भंडारण के लिए) के एक टुकड़े के लिए सामान्य प्रतिस्पर्धा के साथ, जब डेटा भंडारण के बारे में बात आती है, तो संकेत जोर शोर में डूब रहा है।
Kubernetes अनुप्रयोगों के विकास, तैनाती और प्रबंधन के लिए एक आधुनिक मॉडल का प्रतीक है। ऐसा एक आधुनिक मॉडल कंप्यूटिंग से डेटा स्टोरेज का पता लगाता है। कुबेरनेट्स के संदर्भ में इस टुकड़ी को पूरी तरह से समझने के लिए, आपको यह भी समझने की आवश्यकता है कि स्टेटफुल और स्टेटलेस एप्लिकेशन क्या हैं और इसके साथ डेटा संग्रहण कैसे किया जाता है। यह वह जगह है जहां S3 द्वारा उपयोग किए गए REST API दृष्टिकोण में POSIX / CSI दृष्टिकोण पर स्पष्ट लाभ हैं जो अन्य समाधानों के लिए विशिष्ट है।

इस लेख में हम कुबेरनेट्स में भंडारण पैटर्न के बारे में बात करेंगे और हम अलग-अलग राज्य-सुरक्षित और स्टेटलेस अनुप्रयोगों के बारे में बहस पर चर्चा करेंगे, ताकि हम उनके बीच अंतर को स्पष्ट रूप से समझ सकें और यह महत्वपूर्ण क्यों है। पाठ में आगे, हम कंटेनरों और कुबेरनेट्स के साथ काम करने के लिए सर्वोत्तम प्रथाओं के प्रकाश में अनुप्रयोगों और उनमें उपयोग किए जाने वाले डेटा स्टोरेज के पैटर्न पर विचार करेंगे।

स्टेटलेस कंटेनर

कंटेनर स्वाभाविक रूप से हल्के और अल्पकालिक होते हैं। उन्हें दूसरे नोड पर आसानी से रोका, हटाया या तैनात किया जा सकता है - यह सब कुछ सेकंड में होता है। एक बड़े कंटेनर ऑर्केस्ट्रेशन सिस्टम में, इस तरह के ऑपरेशन लगातार होते हैं, और उपयोगकर्ताओं को इस तरह के बदलावों की सूचना भी नहीं होती है। हालांकि, मूवमेंट तभी संभव है जब कंटेनर की नोड पर कोई निर्भरता न हो, जिस पर वह स्थित है। कहा जाता है कि ये कंटेनर राज्य संरक्षण के बिना काम करते हैं ।

स्टेटफुल कंटेनर

यदि कंटेनर स्थानीय रूप से जुड़े उपकरणों (या ब्लॉक डिवाइस पर) पर डेटा संग्रहीत करता है, तो डेटा वेयरहाउस जिस पर स्थित है, उसे कंटेनर के साथ ही एक नए नोड में ले जाना होगा - विफलता के मामले में। यह महत्वपूर्ण है, क्योंकि अन्यथा कंटेनर में चल रहा एप्लिकेशन सही ढंग से कार्य नहीं कर पाएगा, क्योंकि उसे स्थानीय मीडिया पर संग्रहीत डेटा तक पहुंचने की आवश्यकता होती है। इन कंटेनरों को स्टेटफुल कहा जाता है ।

विशुद्ध रूप से तकनीकी दृष्टिकोण से, स्टेटफुल कंटेनर को अन्य नोड्स में भी ले जाया जा सकता है। आमतौर पर, यह वितरित फ़ाइल सिस्टम या ब्लॉक नोड्स से जुड़े सभी नेटवर्क नोड्स का उपयोग करके प्राप्त किया जाता है जिस पर कंटेनर काम करते हैं। इस प्रकार, कंटेनर लगातार डेटा भंडारण के लिए वॉल्यूम तक पहुंच प्राप्त करते हैं, और जानकारी पूरे नेटवर्क में स्थित डिस्क पर संग्रहीत होती है। मैं इस तरह के एक विधि को " राज्य-संरक्षण कंटेनर दृष्टिकोण " कहूंगा , और बाकी लेख में मैं इसे एकरूपता के लिए कहूंगा।

एक विशिष्ट स्टेटफुल कंटेनर दृष्टिकोण में, सभी एप्लिकेशन पॉड्स एक वितरित फ़ाइल सिस्टम से जुड़े होते हैं - एक तरह का साझा भंडारण प्राप्त किया जाता है, जहां सभी एप्लिकेशन डेटा अधिग्रहित किए जाते हैं। हालांकि कुछ बदलाव संभव हैं, यह एक उच्च-स्तरीय दृष्टिकोण है।

अब देखते हैं कि क्लाउड-आधारित दुनिया में स्टेटफुल कंटेनर का दृष्टिकोण एंटीपैटर्न क्यों है।

क्लाउड-आधारित अनुप्रयोग डिज़ाइन

परंपरागत रूप से, एप्लिकेशन ने जानकारी और स्थानीय डिस्क के संरचित भंडारण या वितरित सिस्टम के लिए डेटाबेस का उपयोग किया, जहां सभी असंरचित या यहां तक कि अर्ध-संरचित डेटा को डंप किया गया था। जैसे ही असंरचित डेटा की मात्रा बढ़ी, डेवलपर्स ने महसूस किया कि POSIX बहुत बातूनी था, महत्वपूर्ण लागतों से जुड़ा हुआ था और अंततः, जब वास्तव में बड़े पैमाने पर चलती है, तो आवेदन में हस्तक्षेप करता है।

यह मुख्य रूप से डेटा भंडारण के लिए एक नए मानक के उद्भव में योगदान देता है, अर्थात्, क्लाउड-आधारित स्टोरेज जो मुख्य रूप से REST API के आधार पर काम करते हैं और स्थानीय डेटा वेयरहाउस के बोझिल रखरखाव से एप्लिकेशन को मुक्त करते हैं। इस मामले में, आवेदन वास्तव में राज्य को बचाने के बिना ऑपरेशन मोड में प्रवेश करता है (चूंकि राज्य रिमोट स्टोरेज में है)। इस कारक को पहले से ही ध्यान में रखते हुए खरोंच से आधुनिक अनुप्रयोगों का निर्माण किया जा रहा है। एक नियम के रूप में, किसी भी आधुनिक अनुप्रयोग जो एक तरह के या किसी अन्य (लॉग, मेटाडेटा, ब्लॉब्स, आदि) के डेटा को संसाधित करता है, एक क्लाउड-ओरिएंटेड प्रतिमान पर बनाया गया है, जहां राज्य विशेष रूप से इसके भंडारण के लिए आवंटित एक सॉफ्टवेयर सिस्टम में स्थानांतरित किया जाता है।

एक स्टेटफुल कंटेनर एप्रोच इस पूरे प्रतिमान को वापस उसी जगह पर ले जाता है जहाँ से यह शुरू हुआ था!

डेटा संग्रहीत करने के लिए POSIX इंटरफेस का उपयोग करते समय, अनुप्रयोग उसी तरह काम करते हैं जैसे कि वे राज्य बनाए रखते हैं, और इस वजह से, क्लाउड-आधारित डिज़ाइन के सबसे महत्वपूर्ण पोस्ट-आउट से प्रस्थान करते हैं, जो कि आने वाले के आधार पर अनुप्रयोग वर्कफ़्लो के आकार को अलग करने की क्षमता से होता है। लोड करें, जैसे ही वर्तमान नोड विफल होता है, और इसी तरह एक नए नोड पर जाएं।

इस स्थिति पर नज़दीकी नज़र डालने से पता चलता है कि डेटा वेयरहाउस चुनते समय, हम बार-बार दुविधा का सामना करते हैं "POSIX बनाम REST API", लेकिन KUTernes के वातावरण की वितरित प्रकृति के कारण POSIX समस्याओं के अतिरिक्त बढ़ने के साथ। विशेष रूप से,

POSIX : POSIX , . , . API , , S3 API, , , «» . , . .
: , , . , , ( ), , . - POSIX . , S3 API , , , .
: POSIX : . - . , API, , , ..
: , . , , , . , , , .

जबकि कंटेनर डेटा स्टोरेज इंटरफेस (CSI) ने कुबेरनेट्स वॉल्यूम स्तर के वितरण के साथ बहुत मदद की, आंशिक रूप से इसे तीसरे पक्ष के डेटा वेयरहाउस विक्रेताओं को स्थानांतरित कर दिया, लेकिन गलती से यह विश्वास दिलाने में भी योगदान दिया कि स्टेटफुल कंटेनर दृष्टिकोण कुबेरनेट्स में डेटा भंडारण की अनुशंसित विधि थी।

सीएसआई को कुबेरनेट्स के साथ काम करते समय विरासत अनुप्रयोगों के लिए मनमाने ढंग से ब्लॉक और फाइल स्टोरेज सिस्टम प्रदान करने के लिए एक मानक के रूप में विकसित किया गया था। और, जैसा कि इस लेख में दिखाया गया है, एकमात्र स्थिति जहां एक स्टेटफुल कंटेनर दृष्टिकोण (और सीएसआई अपने वर्तमान रूप में) उपयुक्त है, जब एप्लिकेशन स्वयं एक विरासत प्रणाली है जिसमें ऑब्जेक्ट डेटा स्टोरेज एपीआई के लिए समर्थन जोड़ना असंभव है।

यह समझना महत्वपूर्ण है कि अपने वर्तमान रूप में CSI का उपयोग करते हुए, अर्थात्, जब आधुनिक अनुप्रयोगों के साथ काम करते समय वॉल्यूम बढ़ रहा है, तो हम लगभग वही समस्याओं का सामना करेंगे, जो उन प्रणालियों में सामना किए गए जहां डेटा भंडारण POSIX शैली में आयोजित किया जाता है।

बेहतर दृष्टिकोण

इस मामले में, यह समझना महत्वपूर्ण है कि ज्यादातर अनुप्रयोगों को विशेष रूप से राज्य संरक्षण के साथ या बिना काम के लिए तेज नहीं किया जाता है। यह व्यवहार सिस्टम की समग्र वास्तुकला और डिजाइन के दौरान चुने गए विशिष्ट विकल्पों पर निर्भर करता है। स्टेटफुल एप्लिकेशन के बारे में थोड़ा बात करते हैं।

सिद्धांत रूप में, सभी एप्लिकेशन डेटा को कई व्यापक प्रकारों में विभाजित किया जा सकता है:

लॉग डेटा
समय टिकट डेटा
लेन - देन के डेटा
मेटाडाटा
कंटेनर छवियों
बूँद डेटा (बूँद)

ये सभी डेटा प्रकार आधुनिक डेटा स्टोरेज प्लेटफॉर्म पर बहुत अच्छी तरह से समर्थित हैं, और इनमें से प्रत्येक विशिष्ट प्रारूप में डेटा देने के लिए अनुकूलित कई क्लाउड-आधारित प्लेटफ़ॉर्म हैं। उदाहरण के लिए, लेनदेन डेटा और मेटाडेटा एक आधुनिक क्लाउड-आधारित डेटाबेस जैसे कॉकरोचडीबी, युगाबाइट, आदि में निवास कर सकते हैं। कंटेनर छवियों या ब्लॉब डेटा को मिनिओ पर आधारित डॉकटर रजिस्ट्री में संग्रहीत किया जा सकता है। टाइम स्टैम्प डेटा को टाइम सीरीज़ डेटाबेस में संग्रहीत किया जा सकता है, जैसे कि इन्फ्लक्सडीबी, आदि। हम प्रत्येक प्रकार के डेटा और संबंधित अनुप्रयोगों के विवरण में नहीं जाएंगे, लेकिन सामान्य विचार यह है कि स्थानीय डिस्क माउंटिंग के आधार पर लगातार डेटा स्टोरेज से बचा जाए।

इसके अलावा, अस्थायी कैशिंग परत प्रदान करना अक्सर प्रभावी होता है, जो अनुप्रयोगों के लिए एक प्रकार की अस्थायी फ़ाइल भंडारण के रूप में कार्य करता है, लेकिन अनुप्रयोगों को इस स्तर पर सत्य के स्रोत के रूप में निर्भर नहीं होना चाहिए।

स्टेटफुल एप्लीकेशन स्टोरेज

जबकि अधिकांश मामलों में अनुप्रयोगों को स्टेटलेस रखना उपयोगी होता है, वे एप्लिकेशन जो डेटा को स्टोर करने के लिए डिज़ाइन किए जाते हैं - उदाहरण के लिए, डेटाबेस, ऑब्जेक्ट स्टोर, कुंजी और वैल्यू स्टोर - जिन्हें राज्य रखना चाहिए। आइए देखें कि इन अनुप्रयोगों को कुबेरनेट्स पर क्यों तैनात किया गया है। एक उदाहरण के रूप में मिनियो को लें, लेकिन इसी तरह के सिद्धांत किसी भी अन्य बड़े क्लाउड-आधारित स्टोरेज सिस्टम पर लागू होते हैं।

क्लाउड-केंद्रित अनुप्रयोगों को कंटेनर में निहित लचीलेपन के उपयोग को अधिकतम करने के लिए डिज़ाइन किया गया है। इसका मतलब है कि वे उस वातावरण के बारे में कोई धारणा नहीं बनाते हैं जिसमें वे तैनात किए जाएंगे। उदाहरण के लिए, मिनियो एक आंतरिक इरेज़िंग कोडिंग तंत्र का उपयोग करता है, जो सिस्टम को पर्याप्त स्थिरता प्रदान करता है ताकि यह ड्राइव के आधे भाग में विफल होने पर भी चालू रहे। मिनियो अपने स्वयं के सर्वर-साइड हैशिंग और एन्क्रिप्शन का उपयोग करके डेटा अखंडता और सुरक्षा का प्रबंधन भी करता है।

ऐसे क्लाउड-आधारित अनुप्रयोगों के लिए, स्थानीय निरंतर वॉल्यूम (पीवी) बैकअप भंडारण के रूप में सबसे सुविधाजनक हैं। स्थानीय पीवी कच्चे डेटा को स्टोर करने की क्षमता प्रदान करता है, जबकि इन पीवी के शीर्ष पर चल रहे एप्लिकेशन स्वतंत्र रूप से डेटा स्केल करने और बढ़ती डेटा आवश्यकताओं का प्रबंधन करने के लिए जानकारी एकत्र करते हैं।

यह दृष्टिकोण सीएसआई-आधारित पीवी की तुलना में बहुत सरल और बेहतर रूप से बेहतर स्केलेबल है, जो सिस्टम में डेटा प्रबंधन और अतिरेक के अपने स्तर लाता है; तथ्य यह है कि ये स्तर आमतौर पर राज्य संरक्षण के सिद्धांत के अनुसार डिज़ाइन किए गए अनुप्रयोगों के साथ संघर्ष करते हैं।

कम्प्यूटिंग से डेटा को अनपिन करने के लिए आत्मविश्वासपूर्ण आंदोलन

इस लेख में, हमने इस बारे में बात की कि कैसे एप्लिकेशन को राज्य को बचाने के बिना काम करने के लिए फिर से तैयार किया जाता है, या, दूसरे शब्दों में, डेटा स्टोरेज को उन पर कंप्यूटिंग से सीमांकित किया जाता है। निष्कर्ष में, हम ऐसी प्रवृत्ति के कुछ वास्तविक दुनिया उदाहरणों पर विचार करते हैं।

स्पार्क , प्रसिद्ध डेटा विश्लेषण मंच, पारंपरिक रूप से एचडीएफएस फाइल सिस्टम में राज्य की तैनाती और तैनाती के साथ उपयोग किया गया है। हालांकि, स्पार्क एक क्लाउड-आधारित दुनिया में संक्रमण के रूप में, इस प्लेटफॉर्म को `s3a` का उपयोग करके राज्य संरक्षण के बिना तेजी से उपयोग किया जा रहा है। स्पार्क अन्य प्रणालियों में राज्य को स्थानांतरित करने के लिए s3a का उपयोग करता है, जबकि स्पार्क कंटेनर स्वयं पूरी तरह से राज्य संरक्षण के बिना काम करते हैं। बड़े डेटा एनालिटिक्स के क्षेत्र में अन्य बड़े उद्यम खिलाड़ी, विशेष रूप से, वर्टिका , टेराडाटा, ग्रीनप्लम भी डेटा भंडारण और उन पर कंप्यूटिंग के विभाजन के साथ काम करने के लिए जाते हैं।

इसी तरह के पैटर्न अन्य बड़े विश्लेषणात्मक प्लेटफार्मों पर भी देखे जा सकते हैं, जिनमें प्रेस्टो, टेन्सरफ्लो टू आर, जुपीटर शामिल हैं। राज्य को दूरस्थ क्लाउड स्टोरेज सिस्टम पर अपलोड करने से आपके एप्लिकेशन को प्रबंधित और स्केल करना बहुत आसान हो जाता है। इसके अलावा, यह विभिन्न प्रकार के वातावरण में एप्लिकेशन की पोर्टेबिलिटी में मदद करता है।