Infinidat Storage Architecture तकनीकी अवलोकन

InfiniBox एक आधुनिक भंडारण प्रणाली है जो तुरंत जादू वर्ग के दाईं ओर गिर गई। इसकी विशिष्टता क्या है?

एक संक्षिप्त पृष्ठभूमि

InfiniBox क्या है? यह एक Infinidat स्टोरेज सिस्टम है। Infinidat क्या है? यह मोशे यानय (सिमिट्रिक्स और XIV के निर्माता) द्वारा बनाई गई एक कंपनी है जो एक आदर्श एंटरप्राइज-स्तरीय भंडारण परियोजना को लागू करने के लिए है।

कंपनी एक सॉफ्टवेयर डेवलपर के रूप में बनाई गई थी, जिसे सिद्ध उपकरणों पर रखा गया है, यानी यह एसडीएस है, लेकिन एकल अखंड सेट के रूप में आता है।

परिचय

इस लेख में हम InfiniBox भंडारण प्रणाली, इसकी वास्तुकला, यह कैसे काम करता है और उच्च विश्वसनीयता (99.99999%) कैसे हासिल की जाती है, प्रदर्शन, क्षमता अपेक्षाकृत कम कीमत पर देखेंगे। चूंकि भंडारण प्रणाली का आधार इसका सॉफ्टवेयर है, और विशेष रूप से इस प्रणाली के लिए, मुख्य जोर सॉफ्टवेयर पर होगा, कोई सुंदर फोटो ग्रंथियां नहीं होंगी।

आपको बाजार पर एक और भंडारण प्रणाली की आवश्यकता क्यों है?

ऐसे कई कार्य हैं जिनके लिए एक बहुत बड़ी क्षमता की आवश्यकता है, जबकि विश्वसनीयता और प्रदर्शन भी महत्वपूर्ण हैं। उदाहरण के लिए, क्लाउड सिस्टम, बड़ी कंपनियों के मानक कार्य, इंटरनेट ऑफ़ थिंग्स, जीन अनुसंधान, बड़ी संरचनाओं के लिए सुरक्षा प्रणाली। ऐसे कार्यों के लिए इष्टतम भंडारण प्रणाली ढूंढना काफी मुश्किल है, खासकर अगर आप कीमत को देखते हैं। ऐसे कार्यों पर नजर रखने के साथ, InfiniBox का सॉफ्टवेयर आर्किटेक्चर बनाया गया था।

को संबोधित करते

मैं डेटा की असीमित मात्रा कैसे स्टोर कर सकते हैं? असीमित पता स्थान प्रदान करके। ऐसा करने के लिए, InfiniBox VUA - वर्चुअल उपयोगकर्ता पता स्थान का उपयोग करता है। InfiniBox पर बनाए गए सभी ऑब्जेक्ट जो उपयोगकर्ता (वॉल्यूम, स्नैपशॉट, फ़ाइल सिस्टम) तक पहुंच योग्य हैं, इस VUA में शामिल हैं, और इन ऑब्जेक्ट्स का कुल आकार VUA का वर्तमान आकार है। संबोधित करना पतला है और डिस्क से जुड़ा नहीं है: अर्थात, VUA आकार उपलब्ध डिस्क क्षमता से बहुत बड़ा हो सकता है और वास्तव में असीमित है।



अगला, हमें इस स्थान को उन भागों में विभाजित करना होगा जिन्हें हम सेवा देंगे, इसलिए उनके साथ काम करना आसान है।



पूरे एड्रेस स्पेस को 6 भागों में विभाजित किया गया है - VU (वर्चुअल यूनिट - वर्चुअल पीस)। प्रत्येक वस्तु का पता स्थान, जैसे कि एक वॉल्यूम, समान रूप से इन भागों के बीच वितरित किया जाता है। रिकॉर्डिंग 64kB के ब्लॉक में जाती है, और इस प्रक्रिया में, आप अविश्वसनीय रूप से बस और जल्दी से समझ सकते हैं कि कौन सा VU यह वॉल्यूम पता है (LBA / 64kB डिवीजन के शेष, modulo फ़ंक्शन, सीपीयू चक्रों की न्यूनतम संख्या के लिए बहुत तेज़ी से किया जाता है)।

छोटे स्थानों के साथ काम को सरल बनाने के अलावा, VU भौतिक डिस्क से अमूर्तता का पहला स्तर है और नियंत्रक स्तर पर सिस्टम गलती सहिष्णुता का आधार है। उदाहरण के लिए, 3 नियंत्रक (भौतिक सर्वर) हैं, जिनमें से प्रत्येक ऑपरेशन के लिए जिम्मेदार है और दो VU के लिए मुख्य है, साथ ही दो अन्य VU के लिए बैकअप भी है। नियंत्रक VU की सेवा नहीं करता है जिसके लिए यह एक आरक्षित है, लेकिन एक ही समय में मेटाडेटा प्राप्त करता है और इस VU के लिए अन्य नियंत्रक से संचालन लिखता है, ताकि मुख्य नियंत्रक की विफलता के मामले में, यह तुरंत इस VU के लिए सभी काम उठाता है।



एक नियंत्रक के विफल होने की स्थिति में, अन्य दो अपने कार्य को संभालते हैं - अपने VU के साथ काम करते हैं।



पता, स्नैपशॉट, कैशिंग



VUA उपयोगकर्ता के लिए उपलब्ध एक आभासी पता स्थान है और लगभग असीमित है। VDA (वर्चुअल डिस्क एड्रेस) एक वर्चुअल इंटरनल स्टोरेज स्पेस है। हार्ड ड्राइव की संख्या और क्षमता (शून्य ड्राइव, मेटाडाटा और असफल ड्राइव को बदलने के लिए स्थान) द्वारा अग्रिम में इसका आकार सख्ती से निर्धारित किया जाता है। Vừa और वीडीए के बीच संबंध एक के माध्यम से आयोजित किया जाता है trie (उपसर्ग पेड़)। पेड़ में प्रत्येक प्रविष्टि उपयोगकर्ता अंतरिक्ष (VUA) से आंतरिक स्थान (VDA) तक का सूचक है। उपसर्ग वृक्ष के रूप में संबोधित करना आपको किसी भी आकार के ब्लॉक को संबोधित करने की अनुमति देता है। यही है, जब डिस्क में किसी भी आकार (फ़ाइल, सीरियल डेटा स्ट्रीम, ऑब्जेक्ट) का एक तत्व जोड़ा जाता है, तो इसे पेड़ में एक रिकॉर्ड के साथ संबोधित किया जा सकता है और पेड़ कॉम्पैक्ट रहता है।

हालांकि, पेड़ की सबसे महत्वपूर्ण विशेषता इसकी उच्च प्रदर्शन है जब पेड़ की खोज और विस्तार किया जाता है। खोज को रीड ऑपरेशन के दौरान किया जाता है, जब डिस्क पर दिए गए पते के साथ ब्लॉक को खोजना आवश्यक होता है। पेड़ का विस्तार एक लेखन ऑपरेशन के दौरान होता है, जब हम डिस्क में नया डेटा जोड़ते हैं और उस पेड़ के लिए एक पता जोड़ना चाहिए जहां यह पाया जा सकता है। बड़े संरचनाओं के साथ काम करते समय प्रदर्शन बेहद महत्वपूर्ण है, और उपसर्ग वृक्ष आपको इसे भविष्य के लिए एक बड़े मार्जिन के साथ प्राप्त करने की अनुमति देता है, उदाहरण के लिए, डिस्क की मात्रा में वृद्धि के मामले में।

VUA और VDA के बीच के संबंध के बारे में क्या कहा जा सकता है:

1. VUA का आकार VDA के आकार से कहीं अधिक हो सकता है
2. जब तक पतली प्रोविजनिंग नहीं लिखी जाती तब तक VUA का VDA से कोई लेना-देना नहीं है
3. एक से अधिक VUA एक VDA (स्नैपशॉट / क्लोन) को संदर्भित कर सकते हैं

इस प्रकार, VUA और VDA के संगठन, उनके बीच के कनेक्शन और इन कनेक्शनों को संबोधित करने के लिए बहुत तेज़ स्नैपशॉट और पतले प्रावधान की अनुमति है। चूंकि स्नैपशॉट बनाना स्मृति में सिर्फ मेटाडेटा को अपडेट कर रहा है और काम करते समय लगातार होने वाला ऑपरेशन है, वास्तव में इस ऑपरेशन में कोई समय नहीं लगता है। आमतौर पर, स्नैपशॉट बनाते समय, क्लासिक स्टोरेज सिस्टम लेनदेन की अखंडता की गारंटी देने के लिए मेटाडेटा और / या I / O को अपडेट करना बंद कर देते हैं। यह असमान I / O विलंबता की ओर जाता है। विचाराधीन प्रणाली अलग तरीके से काम करती है: कुछ भी नहीं रुकता है, और ब्लॉक मेटाडेटा (64 + 4KB) से टाइमस्टैम्प का उपयोग यह निर्धारित करने के लिए किया जाता है कि क्या ऑपरेशन स्नैपशॉट में है। इस प्रकार, सिस्टम काम को धीमा किए बिना सैकड़ों हजारों शॉट ले सकता है,और स्नैपशॉट के सैकड़ों के साथ एक वॉल्यूम का प्रदर्शन और स्नैपशॉट के बिना एक वॉल्यूम अलग नहीं है। चूंकि सब कुछ स्मृति में किया जाता है और ये नियमित प्रक्रियाएं हैं, वॉल्यूम के समूहों पर प्रति सेकंड दर्जनों स्नैपशॉट लिए जा सकते हैं। यह आपको स्नैपशॉट पर एसिंक्रोनस प्रतिकृति को सेकंड या उससे कम और प्रदर्शन को प्रभावित किए बिना एक अंतर के साथ लागू करने की अनुमति देता है, जो महत्वपूर्ण भी है।

आइए सिस्टम को समग्र रूप से देखें, डेटा कैसे जाता है। सभी तीन नियंत्रक (सर्वर) के बंदरगाहों के माध्यम से संचालन प्राप्त किया जाता है। पोर्ट ड्राइवर उपयोगकर्ता स्थान में काम करते हैं, जो आपको बस उन्हें पुनः आरंभ करने की अनुमति देता है यदि पोर्ट पर घटनाओं का कोई संयोजन ड्राइवर को निलंबित करता है। शास्त्रीय कार्यान्वयन में, यह कर्नेल में किया जाता है और पूरे नियंत्रक को पुनरारंभ करके समस्या को हल किया जाता है।

इसके बाद, धारा 64KB + 4KB के वर्गों में विभाजित है। ये अतिरिक्त 4KB क्या हैं? यह मूक त्रुटियों के खिलाफ एक सुरक्षा है, और इसमें चेकसम, समय और ऑपरेशन के बारे में अतिरिक्त जानकारी शामिल है, जिसका उपयोग इस ऑपरेशन को वर्गीकृत करने के लिए किया जाता है और इसका उपयोग कैशिंग को अनुकूलित करने और आगे पढ़ने के लिए किया जाता है।



रिकॉर्डिंग कैशिंग एक बहुत ही सरल बात है जिसे पढ़ने के लिए नहीं कहा जा सकता है। यदि हम जानते हैं कि पढ़ने के लिए कैशिंग काम अच्छी तरह से पढ़ें। शास्त्रीय प्रणालियां अनुक्रमिक पहुंच रीड-फॉरवर्ड एल्गोरिदम का उपयोग करती हैं। लेकिन मनमानी से क्या लेना-देना? वास्तविक अनुप्रयोगों के काम में पूरी तरह से यादृच्छिक पहुंच अत्यंत दुर्लभ है, यहां तक ​​कि इसे सही ढंग से अनुकरण करना काफी मुश्किल है, वास्तविक यादृच्छिक संख्याओं के जनरेटर को लिखना एक दिलचस्प काम है। लेकिन अगर हम प्रत्येक I / O ऑपरेशन को अलग से मानते हैं, जैसा कि शास्त्रीय प्रणालियों में किया जाता है, तो वे सभी पूरी तरह से अनुक्रमिक को छोड़कर, मनमाने और अप्रत्याशित होते हैं। हालाँकि, यदि आप कुछ समय के लिए संपूर्ण I / O स्ट्रीम को देखते हैं, तो आप विभिन्न परिचालनों को संयोजित करने वाले पैटर्न देख सकते हैं।

सिस्टम कैश मूल रूप से वॉल्यूम, फ़ाइलों, VUA पर निर्मित किसी भी तार्किक संरचना के बारे में कुछ भी नहीं जानता है। कैश केवल अनुभागों और उनके मेटाडेटा को देखता है, उनके व्यवहार और विशेषताओं के आधार पर कैशिंग, जो आपको विभिन्न अनुप्रयोगों के बीच निर्भरता खोजने की अनुमति देता है जो वास्तव में जुड़े हुए हैं। इनपुट-आउटपुट संचालन के लिए, गतिविधि वैक्टर का निर्माण किया जाता है।



सिस्टम आंकड़े जमा करता है, इन गतिविधि वैक्टर का निर्माण करता है, फिर वर्तमान I / O की पहचान करने की कोशिश करता है और इसे ज्ञात वैक्टरों में बांधता है या एक नया निर्माण करता है। पहचान के बाद, वेक्टर के अनुसार भविष्य कहनेवाला रीडिंग होता है, अर्थात, अनुप्रयोगों के व्यवहार की भविष्यवाणी की जाती है, और अनुमानित रीडिंग प्रतीत होता है कि मनमाना लोड के लिए किया जाता है।

डिस्क को जलाएं

14 अनुभागों को डिस्किंग के लिए पट्टी में इकट्ठा किया जाता है। यह एक विशेष प्रक्रिया द्वारा किया जाता है जो इस तरह की पट्टी के लिए वर्गों का चयन करता है।



अगला, दो समता वर्गों को माना जाता है - डिस्क को लिखने के लिए पट्टी तैयार है। समानता को XOR पर आधारित कई ऑपरेशनों के माध्यम से गिना जाता है, जो रीड-सोलोमन कोड के आधार पर दो गुना तेज है। आगे की पट्टी (14 + 2 अनुभाग) को एक RAID समूह (RG) को सौंपा गया है। एक RAID समूह कई स्ट्रिप्स के भंडारण के लिए सिर्फ एक वस्तु है, इससे ज्यादा कुछ नहीं। स्ट्रिप्स को नीचे दिखाए गए के रूप में वर्गीकृत किया गया है, एक के ऊपर एक, और ऊर्ध्वाधर कॉलम को RAID समूह का सदस्य कहा जाता है। VDS (वर्चुअल डिस्क स्पेस) उपयोगकर्ता डेटा के लिए उपलब्ध डिस्क स्थान है, और वीडीए इसमें पता है।



एक RAID समूह का एक स्तंभ या सदस्य एक शेल्फ (डिस्क यूनिट) में एक डिस्क (पीडी - फिजिकल ड्राइव) को लिखा जाता है। जिस स्थान पर RAID समूह का सदस्य लिखा जाता है उसे डिस्क विभाजन (डीपी - ड्राइव विभाजन) कहा जाता है। डिस्क पर डीपी की संख्या निरंतर और 264 के बराबर होती है, आकार डिस्क के आकार पर निर्भर करता है। यह डिज़ाइन आपको सभी डिस्क को समान रूप से लोड करने की अनुमति देता है। इसी समय, एल्गोरिथ्म एक RAID समूह से स्तंभों को एक दूसरे से यथासंभव अलग-अलग डिस्क और अलमारियों पर वितरित करता है। यह इस तथ्य की ओर जाता है कि जब दो डिस्क विफल हो जाते हैं, तो उन पर आम स्ट्रिप्स की संख्या एक ही समय में न्यूनतम होती है, और सिस्टम सुरक्षा स्थिति एन से एन + 1 तक मिनटों में स्विच करता है, उन स्ट्रिप्स का पुनर्निर्माण करता है जहां दो कॉलम तुरंत गायब हैं (विश्वसनीयता सात नौ है) )



नतीजतन, एक पूरे के रूप में सिस्टम का तार्किक डिजाइन काफी सरल दिखता है और नीचे आरेख में प्रस्तुत किया गया है।



भौतिक कार्यान्वयन

यह प्रणाली इसलिए बनाई गई है ताकि इसके सभी घटक एन + 2 या 2 एन योजना के अनुसार संरक्षित हों, जिसमें सरणी के अंदर पावर और डेटा चैनल शामिल हैं। यहाँ बिजली की आपूर्ति कार्यान्वयन आरेख है

एटीएस (स्वचालित स्थानांतरण स्विच) - एटीएस, चरण स्विच
बीबीयू (बैटरी बैकअप यूनिट) - यूपीएस, निर्बाध बिजली की आपूर्ति
डायोड - नियंत्रक



यह योजना आपको जटिल घटनाओं के दौरान नियंत्रकों और स्मृति अखंडता की रक्षा करने की अनुमति देती है, उदाहरण के लिए, बिजली की आपूर्ति की विफलता और एक बिजली सर्किट के अस्थायी बंद होने की स्थिति में। UPS प्रबंधनीय हैं, जो आपको सटीक चार्ज जानकारी प्राप्त करने और लचीले ढंग से कैश आकार बदलने की अनुमति देता है ताकि नियंत्रक के पास इसे रीसेट करने के लिए हमेशा समय हो। यही है, सिस्टम शास्त्रीय योजना के विपरीत, कैश को पहले से ही सक्रिय रूप से उपयोग करना शुरू कर देगा, जब कैश पूरी तरह से चार्ज होता है, जब बैटरी पूरी तरह से चार्ज होती है।

यहां सिस्टम के भीतर डेटा चैनलों का एक आरेख है।



नियंत्रकों को Infiniband के माध्यम से परस्पर जोड़ा जाता है, और वे एसएएस के माध्यम से ड्राइव से जुड़े होते हैं। प्रत्येक नियंत्रक सिस्टम में प्रत्येक डिस्क तक पहुंच सकता है। इसके अलावा, यदि नियंत्रक और डिस्क के बीच संबंध काम नहीं करता है, तो नियंत्रक Infibiband के माध्यम से प्रॉक्सी के रूप में कार्य करने वाले किसी अन्य नियंत्रक के माध्यम से डेटा का अनुरोध कर सकता है। अलमारियों में डिस्क के साथ-साथ एक्सेस के लिए एसएएस स्विच होते हैं। प्रत्येक शेल्फ में 60 डिस्क होते हैं, अलमारियाँ दो, चार या आठ हो सकती हैं, 3, 4, 6, 8 या 12 टीबी के 480 डिस्क तक कुल। उपयोगकर्ता के लिए उपलब्ध कुल क्षमता बिना संपीड़न के 4.1PB से अधिक है। संपीड़न की बात करें, तो प्रदर्शन के नुकसान के बिना संपीड़न को लागू करने के लिए, मेमोरी को संपीड़ित नहीं किया जाता है, परिणामस्वरूप, कभी-कभी सिस्टम संपीड़न के साथ काम करता है और भी तेज़ी से चालू होता है - जब पढ़ना, आपको कम पढ़ने की आवश्यकता होती है, तो मार्जिन के साथ पर्याप्त प्रोसेसर शक्ति होती है,और जब रिकॉर्डिंग होती है, तो उत्तर सीधे मेमोरी से जाता है और कंप्रेशन सीधे रिकॉर्डिंग के दौरान डिस्क में एसिंक्रोनस रूप से किया जाता है।

नियंत्रकों में स्वयं के भीतर डिस्क के दो समूह होते हैं: एक, सिस्टम, फ्लशिंग रैम के लिए और दूसरा, एसएसडी पर, रीडिंग ऑपरेशंस (368 टीबी प्रति सिस्टम तक) के लिए। इस तरह के एक बड़े कैश में बड़ी मात्रा में भविष्यवाणियां पढ़ने की अनुमति मिलती है, और चूंकि स्ट्राइप में डेटा लगभग एक ही एक्सेस फ़्रीक्वेंसी के साथ चुना जाता है, ऐसे बड़े चंक न केवल शारीरिक डिस्क पर लोड को कम करते हैं, बल्कि निकट भविष्य में मांग में होने की बहुत संभावना है।

सारांश

तो, हमने एक बहुत ही दिलचस्प भंडारण प्रणाली के बारे में बात की, जिसमें एक आधुनिक वास्तुकला है और उच्च क्षमता, उच्च विश्वसनीयता, उत्कृष्ट प्रदर्शन और पर्याप्त लागत प्रदान करता है।



स्रोत
1 https://techfieldday.com/video/infinidat-solution-deep-dive/
2 https://support.infinidat.com/hc/en-us