👚 🧔🏾 🤱🏼 अपाचे इग्नाइट में डेटा वितरण 👨🏽‍🔬 👨🏽‍💼 ☃️

नमस्कार! यह पोस्ट अपाचे इग्नाइट समुदाय की बैठक में मेरे नामांकित व्याख्यान का थोड़ा संक्षिप्त संस्करण है । आप यहां प्रश्न और उत्तर के साथ पूर्ण वीडियो संस्करण देख सकते हैं , और यहां स्लाइड डाउनलोड कर सकते हैं । रिपोर्ट में, मैंने उदाहरणों से यह दिखाने की कोशिश की कि अपाचे इग्नाइट में डेटा कैसे वितरित किया जाता है।

आपको कुछ भी वितरित करने की आवश्यकता क्यों है

डेटा भंडारण और प्रसंस्करण की आवश्यकता वाले किसी भी सिस्टम के विकास का एक काफी मानक इतिहास एक निश्चित छत की उपलब्धि है। या तो बहुत अधिक डेटा है और उन्हें भौतिक रूप से स्टोरेज डिवाइस पर नहीं रखा गया है, या लोड इतनी दर से बढ़ रहा है कि एक सर्वर अब इस तरह के कई अनुरोधों को संसाधित करने में सक्षम नहीं है। जब दोनों होते हैं तो अक्सर मामले होते हैं।

एक नियम के रूप में, वे दो समाधानों में से एक में आते हैं: या तो मौजूदा भंडारण को तेज करना, या वितरित डेटाबेस पर स्विच करना। दोनों समाधानों में कई सामान्य विशेषताएं हैं, जिनमें से सबसे स्पष्ट डेटा के साथ काम करने के लिए एक से अधिक नोड का उपयोग है। इसके अलावा, कई नोड्स मैं टोपोलॉजी कहूंगा।

टोपोलॉजी नोड्स के बीच डेटा वितरण की समस्या को आवश्यकताओं के एक सेट के रूप में तैयार किया जा सकता है, जिसे हमारे वितरण को संतुष्ट करना चाहिए:

एक एल्गोरिथ्म की आवश्यकता है जो टोपोलॉजी और क्लाइंट अनुप्रयोगों के सभी नोड्स को एक ही निष्कर्ष पर आने की अनुमति देगा जिसके बारे में नोड या निश्चित वस्तु (या कुंजी) नोड है।
वितरण की एकरूपता। जितना अधिक डेटा नोड्स के बीच वितरित किया जाता है, उतना ही समान रूप से इन नोड्स पर लोड वितरित किया जाएगा। यहां मैं यह धारणा बनाता हूं कि हमारे नोड्स में लगभग समान संसाधन हैं।
. , , . , , , .

पहले दो आवश्यकताओं को प्राप्त करना काफी आसान है।

एक परिचित दृष्टिकोण, जिसका उपयोग अक्सर कार्यात्मक समकक्ष सर्वरों के बीच लोड को संतुलित करते समय, मोडुलो एन को विभाजित करते हुए किया जाता है, जहां एन टोपोलॉजी में नोड्स की संख्या होती है और हमारे पास नोड नंबर और पहचानकर्ता के बीच एक-से-एक पत्राचार होता है। फिर हमें बस इतना करना है कि हैश फ़ंक्शन का उपयोग करके संख्यात्मक मान के रूप में ऑब्जेक्ट की कुंजी का प्रतिनिधित्व करना है और प्राप्त मान से एन द्वारा विभाजित करने के शेष को लेना है।

आरेख 3 नोड्स पर 16 कुंजी का वितरण दिखाता है। यह देखा जा सकता है कि यह वितरण एक समान है, और ऑब्जेक्ट के लिए नोड प्राप्त करने के लिए एल्गोरिथ्म सरल है और गारंटी देता है कि यदि टोपोलॉजी के सभी नोड इस एल्गोरिथ्म का उपयोग करते हैं, तो उसी कुंजी के लिए एक ही परिणाम प्राप्त होगा और वही एन।

लेकिन क्या होता है अगर हम टोपोलॉजी में 4th नोड का परिचय देते हैं?

हमारा कार्य बदल गया है, अब हम 3 से शेष भाग को लेते हैं, 3 से नहीं। और यदि फ़ंक्शन बदल गया है, तो वितरण बदल गया है, और बहुत कुछ।

यहां, तीन नोड्स के टोपोलॉजी के पिछले संस्करण के लिए वस्तुओं का पिछला स्थान लाल रंग में दिखाया गया है, और चार नोड्स के टोपोलॉजी के नए संस्करण के लिए वस्तुओं की स्थिति क्रमशः हरी है। यह सामान्य रूप से भिन्न फ़ाइलों के समान है, लेकिन फाइलों के बजाय हमारे पास नोड्स हैं।

यह देखना आसान है कि डेटा न केवल नए नोड में चला गया है, बल्कि नोड्स के बीच डेटा का आदान-प्रदान भी था जो पहले से ही टोपोलॉजी में थे। उन। हम नोड्स और वितरण में एक न्यूनतम परिवर्तन की आवश्यकता के बीच सहज यातायात का पालन नहीं करते हैं।

सूचीबद्ध आवश्यकताओं को ध्यान में रखते हुए, डेटा वितरण की समस्या को हल करने के दो लोकप्रिय तरीके इस प्रकार हैं:

लगातार हैशिंग
सबसे बड़ा रैंडम वज़न एलगोरिदम (HRW), जिसे रेंडीज़वस हैशिंग भी कहा जाता है।

ये दोनों एल्गोरिदम बहुत सरल हैं। विकिपीडिया पर उनका वर्णन कई वाक्यों में फिट बैठता है। हालांकि उन्हें स्पष्ट रूप से कहना कठिन है। रुचि रखने वालों के लिए, मैं मूल लेखों को पढ़ने की सलाह देता हूं जिनमें कंसिस्टेंट हैशिंग और रैंडम ट्रीज़: वर्ल्ड वाइड वेब पर हॉट स्पॉट्स से राहत के लिए डिस्ट्रीब्यूटेड कैशिंग प्रोटोकॉल और रेंडेवस के लिए एक नाम-आधारित मानचित्रण योजना है । सबसे अधिक, मेरी राय में, स्टैनफोर्ड पाठ्यक्रम में सुसंगत हैशिंग एल्गोरिथ्म का विचार व्यक्त किया गया है ।

आइए इन एल्गोरिदम को अधिक विस्तार से देखें।

लगातार हास करना

सुसंगत हैशिंग एल्गोरिथ्म अंतर्निहित चाल दोनों नोड्स और संग्रहीत वस्तुओं को एक ही पहचानकर्ता स्थान पर मैप करना है। यह हमारे प्रतीत होता है अलग संस्थाओं, वस्तुओं और नोड्स तुलनीय है।

इस तरह की मैपिंग प्राप्त करने के लिए, हम बस उसी हैश फ़ंक्शन को ऑब्जेक्ट्स की कुंजी और नोड्स के पहचानकर्ताओं पर लागू करते हैं। नोड के लिए हैश फ़ंक्शन के परिणाम को टोकन कहा जाएगा, यह बाद में हमारे लिए उपयोगी होगा।

हम एक सर्कल के रूप में हमारे पहचानकर्ता स्थान का प्रतिनिधित्व करते हैं, अर्थात हम बस मान लेते हैं कि अधिकतम पहचानकर्ता मूल्य न्यूनतम पहचानकर्ता मूल्य का तुरंत अनुसरण करता है।

अब, यह निर्धारित करने के लिए कि ऑब्जेक्ट किस नोड पर रहता है, आपको इसकी कुंजी से हैश फ़ंक्शन का मूल्य प्राप्त करने की आवश्यकता है, और फिर सर्कल के चारों ओर घड़ी की दिशा में कदम रखें जब तक कि हम रास्ते में एक नोड के टोकन का सामना न करें। आंदोलन की दिशा महत्वहीन है, लेकिन इसे ठीक किया जाना चाहिए।

काल्पनिक दक्षिणावर्त आंदोलन कार्यात्मक रूप से नोड टोकन के सॉर्ट किए गए सरणी में एक बाइनरी खोज के बराबर है।

आरेख में, एक विशेष रंग का प्रत्येक क्षेत्र पहचानकर्ता स्थान को दर्शाता है जिसके लिए एक विशेष नोड जिम्मेदार है।

यदि हम एक नया नोड जोड़ते हैं, तो ...

यह एक सेक्टर को दो भागों में विभाजित करेगा और पूरी तरह से संबंधित कुंजियों को लेगा।

इस उदाहरण में, नोड 3 ने नोड 1 की कुंजी का हिस्सा लिया।

जैसा कि आप देख सकते हैं, यह दृष्टिकोण नोड्स में वस्तुओं के बजाय असमान वितरण देता है, क्योंकि यह स्वयं नोड्स के पहचानकर्ताओं पर अत्यधिक निर्भर है। इस दृष्टिकोण को कैसे बेहतर बनाया जा सकता है?

आप एक से अधिक टोकन नोड्स (आमतौर पर सैकड़ों) को असाइन कर सकते हैं। यह प्राप्त किया जा सकता है, उदाहरण के लिए, नोड (एक प्रति टोकन) के लिए कई हैश फ़ंक्शन शुरू करने या पिछले चरण में प्राप्त टोकन के लिए एक ही हैश फ़ंक्शन को लागू करने से। लेकिन हमें टक्करों के बारे में नहीं भूलना चाहिए। एक ही टोकन के साथ दो नोड नहीं होना चाहिए।

इस उदाहरण में, प्रत्येक नोड में 4 टोकन हैं।

उल्लेख करने के लिए और क्या महत्वपूर्ण है: यदि हम टोपोलॉजी छोड़ने वाले नोड की स्थिति में डेटा की सुरक्षा सुनिश्चित करना चाहते हैं, तो हमें कई नोड्स (तथाकथित प्रतिकृतियां या बैकअप) पर कुंजियों को संग्रहीत करने की आवश्यकता है। सुसंगत हैशिंग एल्गोरिथ्म के मामले में, प्रतिकृतियां सर्कल पर निम्नलिखित एन -1 नोड्स होंगी, जहां एन प्रतिकृति कारक है। बेशक, नोड्स का क्रम एक विशिष्ट टोकन (उदाहरण के लिए, पहले से) द्वारा निर्धारित किया जाना चाहिए, क्योंकि उनमें से प्रत्येक के लिए कई टोकन का उपयोग करते समय, नोड्स की व्यवस्था भिन्न हो सकती है। योजना पर ध्यान दें: इसमें नोड्स के दोहराव का स्पष्ट पैटर्न नहीं है।

टोपोलॉजी को बदलते समय वितरण में न्यूनतम परिवर्तन की आवश्यकता के लिए, यह संतुष्ट है क्योंकि सर्कल पर नोड्स का पारस्परिक क्रम अपरिवर्तित है। उन। टोपोलॉजी से नोड हटाने से शेष नोड्स के बीच क्रम संबंध नहीं बदलेगा।

रेंडेज़वस हैशिंग

Rendezvous हैशिंग एल्गोरिथ्म सुसंगत हैशिंग की तुलना में और भी सरल लगता है। एल्गोरिथ्म ऑर्डर संबंधों के आक्रमण के एक ही सिद्धांत पर आधारित है। लेकिन नोड्स और ऑब्जेक्ट्स को तुलनीय बनाने के बजाय, हम एक विशिष्ट ऑब्जेक्ट के लिए केवल नोड्स को तुलनीय बनाते हैं। उन। हम प्रत्येक वस्तु के लिए स्वतंत्र रूप से नोड्स के बीच क्रम संबंध निर्धारित करते हैं।

फिर हैशिंग ने इसमें हमारी मदद की। लेकिन अब, किसी दिए गए ऑब्जेक्ट O के लिए नोड N के वजन को निर्धारित करने के लिए, हम ऑब्जेक्ट के पहचानकर्ता को नोड के पहचानकर्ता के साथ मिलाते हैं और इस मिश्रण से हैश लेते हैं। प्रत्येक नोड के लिए यह ऑपरेशन करने के बाद, हमें वज़न का एक सेट मिलता है जिसके द्वारा हम नोड्स को सॉर्ट करते हैं।

वह नोड जो पहले निकला और वह वस्तु के भंडारण के लिए जिम्मेदार होगा।

चूंकि टोपोलॉजी के सभी नोड्स एक ही इनपुट डेटा का उपयोग करते हैं, इसलिए उनके लिए परिणाम समान होगा। जो पहली आवश्यकता को पूरा करता है।

एक उदाहरण पर विचार करें। यहां हमारे पास चार अलग-अलग कुंजी के लिए तीन नोड्स के बीच एक ऑर्डर संबंध है। पीला सबसे अधिक वजन के साथ नोड को इंगित करता है, अर्थात। नोड जो अंततः एक विशेष कुंजी के लिए जिम्मेदार होगा।

टोपोलॉजी में एक और नोड जोड़ें।

मैंने जानबूझकर इसे सभी संभावित विकल्पों को ध्यान में रखने के लिए विकर्ण पर रखा था। यहां, नोड 3, हरे रंग में दिखाया गया है, टोपोलॉजी में प्रवेश किया है। इसलिए, प्रत्येक कुंजी के लिए नोड्स का वजन वितरण बदल गया है। रेड एक विशेष कुंजी के लिए सूची में अपना स्थान बदलने वाले नोड्स को इंगित करता है, क्योंकि इन नोड्स का वजन अतिरिक्त नोड के वजन से कम था। हालाँकि, इस परिवर्तन ने केवल K3 में से एक को प्रभावित किया।

चलो विश्वासघाती एक टोपोलॉजी से एक नोड प्राप्त करते हैं।

एक बार फिर, परिवर्तनों ने केवल एक कुंजी को प्रभावित किया, इस बार K1। शेष वस्तुएं प्रभावित नहीं हुईं। कारण, जैसा कि सुसंगत हैशिंग के मामले में, नोड्स के किसी भी जोड़े के बीच आदेश संबंध की अपरिहार्यता है। उन। वितरण में न्यूनतम परिवर्तन की आवश्यकता को पूरा किया जाता है और नोड्स के बीच कोई स्पुरियस ट्रैफ़िक नहीं होता है।

मुलाकात के लिए वितरण बहुत अच्छा लग रहा है और टोकन की तरह सुसंगत हैशिंग की तुलना में अतिरिक्त चाल की आवश्यकता नहीं है।

यदि हम प्रतिकृति का समर्थन करना चाहते हैं, तो सूची में अगला नोड ऑब्जेक्ट के लिए पहली प्रतिकृति होगा, अगला नोड दूसरा प्रतिकृति होगा, आदि।

अपाचे इग्नाइट में कैसे-कैसे हैज़वेवस हैशिंग का उपयोग किया जाता है

तथाकथित आत्मीयता समारोह अपाचे इग्नाइट में डेटा के वितरण के लिए जिम्मेदार है ( AffinityFunction इंटरफ़ेस देखें )। डिफ़ॉल्ट कार्यान्वयन हैज़ेज़वस हैशिंग ( रेंडेज़वसएफ़िनिटीफ़ंक्शन क्लास देखें )।

पहली बात जिस पर आपको ध्यान देने की आवश्यकता है, वह यह है कि अपाचे इग्नाइट स्टोर की गई वस्तुओं को सीधे टोपोलॉजी नोड्स में मैप नहीं करता है। इसके बजाय, एक अतिरिक्त अवधारणा पेश की गई है - विभाजन।

एक विभाजन वस्तुओं और एक प्रतिकृति इकाई के लिए एक कंटेनर है। इसके अलावा, किसी विशेष कैश के लिए विभाजन की संख्या (यह परिचित डेटाबेस में तालिका का एक एनालॉग है) कॉन्फ़िगरेशन चरण पर सेट की गई है और कैश जीवन चक्र के दौरान परिवर्तित नहीं होती है।

इस प्रकार, हम प्रभावी मॉडुलो डिवीजन का उपयोग करके विभाजनों पर वस्तुओं को प्रदर्शित कर सकते हैं, और नोड्स पर विभाजन प्रदर्शित करने के लिए मिलने योग्य हैशिंग का उपयोग कर सकते हैं।

चूंकि चूंकि कैश के लिए विभाजन की संख्या एक स्थिर है, इसलिए हम एक बार नोड्स द्वारा विभाजन के वितरण की गणना कर सकते हैं और परिणाम बदल सकते हैं जब तक कि टोपोलॉजी को बदल नहीं दिया जाता है।

प्रत्येक नोड इस वितरण की स्वतंत्र रूप से गणना करता है, लेकिन एक ही इनपुट डेटा वाले सभी नोड्स पर यह वितरण समान होगा।

विभाजन की कई प्रतियां हो सकती हैं, हम उन्हें बैकअप कहते हैं। प्राथमिक विभाजन को प्राथमिक विभाजन कहा जाता है।

नोड्स द्वारा विभाजन और विभाजन के बीच कुंजियों के सर्वोत्तम वितरण के लिए, निम्नलिखित नियम को पूरा किया जाना चाहिए: विभाजन की संख्या नोड्स की संख्या से काफी अधिक होनी चाहिए, बदले में, विभाजनों की संख्या की तुलना में चाबियों की संख्या काफी अधिक होनी चाहिए।

इग्नाइट में कैश विभाजन और दोहराया जाता है।

एक विभाजित कैश में, बैकअप की संख्या कैश क्रिएशन स्टेज पर सेट की जाती है। विभाजन - प्राइमरी और बैकअप - समान रूप से नोड्स के बीच वितरित किए जाते हैं। इस तरह के कैश परिचालन डेटा के साथ काम करने के लिए सबसे उपयुक्त है, जैसे सबसे अच्छा लेखन प्रदर्शन प्रदान करता है, जो सीधे बैकअप की संख्या पर निर्भर करता है। सामान्य तौर पर, अधिक बैकअप, अधिक नोड्स को कुंजी रिकॉर्ड की पुष्टि करनी चाहिए।

इस उदाहरण में, कैश में एक बैकअप है। उन। हम एक नोड खो सकते हैं और डेटा नहीं खो सकते, क्योंकि विभाजन बैकअप को प्राथमिक विभाजन या उसके अन्य बैकअप के समान नोड पर संग्रहीत नहीं किया जाता है।

प्रतिकृति कैश में, बैकअप की संख्या हमेशा टोपोलॉजी नोड्स माइनस 1 की संख्या के बराबर होती है। अर्थात, प्रत्येक नोड में हमेशा सभी विभाजन की प्रतियां होती हैं।

इस तरह का कैश शायद ही कभी बदले गए डेटा (उदाहरण के लिए, निर्देशिका) के साथ काम करने के लिए सबसे उपयुक्त है और सबसे बड़ी उपलब्धता प्रदान करता है, जैसा कि हम बिना डेटा खोए एन -1 नोड्स खो सकते हैं (इस मामले में 3)। इस विकल्प में भी, यदि हम प्राथमिक विभाजन और बैकअप दोनों से डेटा पढ़ने की अनुमति देते हैं, तो हमें अधिकतम रीड प्रदर्शन मिलेगा।

अपाचे इग्नाइट में डेटा कॉलोकेशन

सबसे अच्छा प्रदर्शन के लिए ध्यान में रखने के लिए एक महत्वपूर्ण अवधारणा है। एक ही स्थान पर किसी भी ऑब्जेक्ट का प्लेसमेंट है। हमारे मामले में, ऑब्जेक्ट कैश में संग्रहीत इकाइयां हैं, और एक जगह एक नोड है।

यदि वस्तुओं को एक ही आत्मीयता समारोह के विभाजनों में वितरित किया जाता है, तो यह तर्कसंगत है कि एक ही आत्मीयता कुंजी के साथ ऑब्जेक्ट एक ही विभाजन में गिरेंगे, और इसलिए, एक ही नोड में। इग्नाइट में, इसे आत्मीयता उपनिवेशण कहा जाता है।

डिफ़ॉल्ट रूप से, एक आत्मीयता कुंजी किसी वस्तु की प्राथमिक कुंजी है। लेकिन इग्नाइट में, आप ऑब्जेक्ट के किसी अन्य क्षेत्र को आत्मीयता कुंजी के रूप में उपयोग कर सकते हैं।

Collocation, गणना या SQL क्वेरी करने के लिए नोड्स के बीच भेजे गए डेटा की मात्रा को काफी कम कर देता है, जो स्वाभाविक रूप से इन कार्यों के लिए खर्च किए गए समय में कमी की ओर जाता है। उदाहरण के लिए इस अवधारणा पर विचार करें।

हमारे डेटा मॉडल को दो संस्थाओं से मिलकर बनाते हैं: ऑर्डर (ऑर्डर) और ऑर्डर की स्थिति (ऑर्डरइटेम)। एक आदेश कई मदों के अनुरूप हो सकता है। ऑर्डर और लाइन आइटम पहचानकर्ता स्वतंत्र हैं, लेकिन लाइन आइटम में एक विदेशी कुंजी है जो संबंधित ऑर्डर को संदर्भित करता है।

मान लीजिए हमें कुछ कार्य करने की आवश्यकता है, जो प्रत्येक आदेश के लिए इस क्रम के पदों के लिए गणना करना होगा।

डिफ़ॉल्ट रूप से, एक आत्मीयता कुंजी एक प्राथमिक कुंजी है। इसलिए, आदेशों और पदों को उनकी प्राथमिक कुंजी के अनुसार नोड्स के बीच वितरित किया जाएगा, जो मुझे याद है, स्वतंत्र हैं।

आरेख पर, वर्गों द्वारा आदेशों का प्रतिनिधित्व किया जाता है, और मंडलियों में स्थान। रंग इंगित करता है कि आइटम ऑर्डर से संबंधित है।

डेटा के इस वितरण के साथ, हमारा काल्पनिक कार्य नोड को भेजा जाएगा जहां वांछित आदेश स्थित है, और फिर उसे अन्य सभी नोड्स से पदों को पढ़ने की आवश्यकता होगी, या इन नोड्स के लिए एक उपकथा भेजें और गणना परिणाम प्राप्त करें। यह एक अनावश्यक नेटवर्क इंटरैक्शन है जिसे टाला जा सकता है और इससे बचना चाहिए।

क्या होगा अगर हम इग्नाइट को बताते हैं कि ऑर्डर आइटम को स्वयं के आदेशों के समान नोड्स पर रखा जाना चाहिए, अर्थात। डेटा इकट्ठा करना?

स्थिति के लिए आत्मीयता कुंजी के रूप में, हम ऑर्डरआईड विदेशी कुंजी लेंगे और इस क्षेत्र का उपयोग उस विभाजन की गणना करते समय किया जाएगा, जिसका रिकॉर्ड है। इसके अलावा, विभाजन के अंदर, हम हमेशा प्राथमिक कुंजी द्वारा अपनी वस्तु पा सकते हैं।

अब, यदि दोनों कैश (ऑर्डर और ऑर्डर इटेम) समान मापदंडों के साथ समान संबंध फ़ंक्शन का उपयोग करते हैं, तो हमारा डेटा पास होगा और हमें ऑर्डर आइटम के लिए नेटवर्क के चारों ओर जाने की आवश्यकता नहीं होगी।

अपाचे इग्नाइट में एफिनिटी कॉन्फ़िगरेशन

वर्तमान कार्यान्वयन में, एक आत्मीयता फ़ंक्शन ऑब्जेक्ट कैश कॉन्फ़िगरेशन पैरामीटर है।

बनाते समय आत्मीयता समारोह स्वयं निम्नलिखित तर्क देता है:

विभाजन की संख्या;
बैकअप की संख्या (वास्तव में, यह भी कैश का कॉन्फ़िगरेशन पैरामीटर है);
बैकअप फ़िल्टर;
झंडा बहिष्कृत करें।

इन सेटिंग्स को बदला नहीं जा सकता।

विभाजन और बैकअप की संख्या के साथ, सब कुछ स्पष्ट प्रतीत होता है। मैं बैकअप फ़िल्टर के बारे में बात करूंगा और कुछ समय बाद ही बहिष्कर्ष ध्वज को हटा दूंगा।

रन टाइम के दौरान, इनपुट आत्मीयता फ़ंक्शन वर्तमान क्लस्टर टोपोलॉजी प्राप्त करता है - अनिवार्य रूप से क्लस्टर नोड्स की एक सूची - और नोड्स द्वारा विभाजन वितरण की गणना करता है, जो मैंने दिखाए गए उदाहरणों के अनुसार जब मैंने रेज़िस्टवस हैशिंग एल्गोरिथ्म के बारे में बात की थी।

बैकअप फ़िल्टर के रूप में, यह एक विधेय है जो आपको बैकअप विभाजन को नोड में असाइन करने से आत्मीयता कार्यों को प्रतिबंधित करने की अनुमति देता है जिसके लिए विधेय गलत वापस आ गया।

एक उदाहरण के रूप में, मान लीजिए कि हमारे भौतिक नोड्स - सर्वर - अलग-अलग रैक में डेटा सेंटर में स्थित हैं। आमतौर पर, प्रत्येक रैक की अपनी स्वतंत्र शक्ति होती है ...

... और अगर हम रैक खो देते हैं, तो हम डेटा खो देते हैं।

इस उदाहरण में, हमने आधे विभाजन खो दिए।

लेकिन अगर हम सही बैकअप फ़िल्टर सेट करते हैं, तो वितरण इस तरह से बदल जाएगा ...

... कि अगर रैक खो जाता है, तो कोई डेटा हानि नहीं होगी और वे अभी भी उपलब्ध रहेंगे।

बहिष्कृत निगहबान ध्वज एक समान कार्य करता है, और वास्तव में यह एक विशिष्ट मामले के लिए एक संक्षिप्त नाम है।

अक्सर कई इग्नाइट नोड्स एक ही भौतिक मेजबान पर चलते हैं। यह मामला डेटा सेंटर में रैक के उदाहरण के समान है, केवल अब हम मेजबान के नुकसान के साथ डेटा हानि से लड़ रहे हैं, रैक से नहीं।

बाकी वही है। आप बैकअप फ़िल्टर का उपयोग करके इस व्यवहार को कार्यान्वित कर सकते हैं। यह ध्वज एक ऐतिहासिक विरासत है और इसे इग्नाइट की अगली प्रमुख रिलीज में हटाया जा सकता है।

ऐसा लगता है कि मैंने आत्मीयता समारोह और डेटा वितरण के बारे में बात की थी जो कि अपाचे इग्नाइट का उपयोग करने वाले एक डेवलपर को जानने की जरूरत है।

अंत में, चलो 3 नोड्स की टोपोलॉजी के अनुसार 16 विभाजन के वितरण का एक उदाहरण देखें। सरलता और स्पष्टता के लिए, हम मानते हैं कि विभाजन में बैकअप नहीं है।

मैंने सिर्फ एक छोटा परीक्षण लिया और लिखा, जो मुझे वास्तविक वितरण लाया:

जैसा कि आप देख सकते हैं, वितरण की एकरूपता आदर्श नहीं है। लेकिन नोड्स और विभाजन की संख्या में वृद्धि के साथ त्रुटि काफी कम होगी। मुख्य नियम जिसे देखा जाना चाहिए वह यह है कि विभाजन की संख्या नोड्स की संख्या से काफी अधिक है। अब, इग्नाइट में, एक विभाजित कैश के लिए विभाजन की डिफ़ॉल्ट संख्या 1024 है।

अब टोपोलॉजी में एक नया नोड जोड़ें।

पार्टियों का एक हिस्सा उसके पास चला गया। उसी समय, वितरण में एक न्यूनतम बदलाव की आवश्यकता देखी गई: नए नोड को विभाजन का हिस्सा मिला, जबकि अन्य नोड्स ने विभाजन का आदान-प्रदान नहीं किया।

हम उस टोपोलॉजी को नोड से हटाते हैं जो प्रारंभिक चरण में इसमें मौजूद था:

अब सभी विभाजन जो शून्य नोड से जुड़े थे, को टोपोलॉजी के अन्य नोड्स के बीच पुनर्वितरित किया गया था, हमारी वितरण आवश्यकताओं का उल्लंघन किए बिना।

जैसा कि आप देख सकते हैं, जटिल समस्याओं का समाधान अक्सर काफी तुच्छ पर आधारित होता है, हालांकि पूरी तरह से स्पष्ट नहीं, विचार। वर्णित समाधान अधिकांश वितरित डेटाबेस में उपयोग किए जाते हैं और एक अच्छा काम करते हैं। लेकिन ये निर्णय यादृच्छिक हैं और इसलिए वितरण की एकरूपता आदर्श से बहुत दूर है। क्या प्रदर्शन और अन्य वितरण आवश्यकताओं के त्याग के बिना एकरूपता में सुधार किया जा सकता है? सवाल खुला रहता है।