🏯 💔 👩🏽 ज़ोन डेटा स्टोरेज 💃🏾 🧠 🍭

पश्चिमी डिजिटल ने हाल ही में अपने जोनल स्टोरेज पहल की घोषणा की है, जो एक ओपन डेटा इन्फ्रास्ट्रक्चर के उद्देश्य से एक पहल है जो जोनल स्टोरेज डिवाइसों का लाभ उठाने के लिए डिज़ाइन किया गया है।

ज़ोनड स्टोरेज एक नया स्टोरेज प्रतिमान है जो अविश्वसनीय डेटा ग्रोथ से प्रेरित है। हमारा समाज रोज़मर्रा के जीवन में डेटा पर निर्भर होता जा रहा है, और एक चरम पैमाने पर डेटा प्रबंधन तेजी से आवश्यक होता जा रहा है। पहले से ही आज, बड़े पैमाने पर डेटा प्रोसेसिंग इन्फ्रास्ट्रक्चर में, दसियों हजार हार्ड ड्राइव और सॉलिड स्टेट ड्राइव का उपयोग किया जाता है। लेकिन फिर भी, प्रति वर्ष बनाए जाने वाले 30 से अधिक ZB डेटा में से, 20% से कम संग्रहण में रहता है। हमारे उद्योग का लक्ष्य यह सुनिश्चित करना है कि उपभोक्ता उन आंकड़ों को न फेंक सके जो फायदेमंद हो सकते हैं।

इस लेख में हम चर्चा करेंगे:

जोनल स्टोरेज डिवाइस क्या हैं और इस तकनीक को क्यों लागू किया जा रहा है
SMR हार्ड ड्राइव और ZNS सॉलिड स्टेट ड्राइव
डेटा इन्फ्रास्ट्रक्चर - जोनल डेटा स्टोरेज को लागू करने के लिए क्या आवश्यक है

ज़ोन स्टोरेज डिवाइस क्या हैं?

अपने सरलतम रूप में, ज़ोन स्टोरेज डिवाइस ब्लॉक स्टोरेज डिवाइस होते हैं जिनके एड्रेस स्पेस को ज़ोन में विभाजित किया जाता है। ZSD अपरंपरागत रिकॉर्डिंग नियमों को लागू करता है: क्षेत्रों को क्रमिक रूप से दर्ज किया जा सकता है, केवल ज़ोन की शुरुआत से। इसके अलावा, ज़ोन के भीतर डेटा को मनमाने ढंग से अधिलेखित नहीं किया जा सकता है।

पहले से रिकॉर्ड किए गए ज़ोन को अधिलेखित करने का एकमात्र तरीका ज़ोन रिकॉर्ड पॉइंटर को रीसेट करना है, जो ज़ोन के सभी डेटा को प्रभावी रूप से हटाता है, और ज़ोन की शुरुआत से इसे अधिलेखित करता है। दूसरी ओर, डेटा पढ़ना काफी हद तक असीमित है, और इसे उसी तरह से पढ़ा जा सकता है जैसे पारंपरिक स्टोरेज डिवाइस पर।

आंचलिक भंडारण उपकरणों की अवधारणा मानकीकृत है:

एसएएस इंटरफेस वाले उपकरणों के लिए, ज़ोन के साथ काम टी 10 जेडबीसी मानक में निर्धारित है
T13 ZAC के तहत SATA को भी मानकीकृत किया गया
NVMe SSDs के लिए, एक तकनीकी प्रस्ताव ZNS नामक विकास के अधीन है

आंचलिक भंडारण क्यों?

जोनल स्टोरेज टेक्नोलॉजी को लागू करने की प्रेरणा स्टोरेज इन्फ्रास्ट्रक्चर की उच्च दक्षता है। इस तकनीक के लिए धन्यवाद, उच्च क्षमता वाले उपकरणों का उपयोग अधिक किफायती तरीके से किया जा सकता है। प्रत्येक प्रकार के जोनल उपकरणों के लिए यह आर्थिक दक्षता कैसे प्राप्त की जाती है, इस बारे में अधिक जानकारी बाद में लेख में बताई जाएगी।

यह सब एसएमआर के साथ शुरू हुआ

पिछले कुछ वर्षों में, हार्ड ड्राइव में टाइल वाले चुंबकीय रिकॉर्डिंग (एसएमआर) की तकनीक शुरू की गई है, जिससे रिकॉर्डिंग घनत्व में वृद्धि हुई है, हार्ड ड्राइव की क्षमता और लागत-प्रभावशीलता में वृद्धि हुई है। एसएमआर में, पारंपरिक रिकॉर्डिंग के विपरीत, पटरियों को एक घर की छत पर टाइल की तरह, अतिव्यापी दर्ज किया जाता है। यह आपको अधिक घनत्व वाले ट्रैक ट्रैक करने की अनुमति देता है और इसलिए, एक उच्च रिकॉर्डिंग घनत्व प्रदान करता है। वास्तव में, एसएमआर का उपयोग करने से हमें "मुफ्त" क्षमता की टेराबाइट्स मिलती हैं: आप उत्पादन की लागत को बढ़ाए बिना, नियमित 12 टीबी ड्राइव के आधार पर 14 या 15 टीबी एसएमआर ड्राइव बना सकते हैं।

इस तकनीक की मुख्य सीमा यादृच्छिक क्रम में पटरियों पर डेटा लिखने में असमर्थता है। जैसा कि हम घर की छत पर मनमाने ढंग से टाइलें नहीं लगा सकते हैं, इसलिए एसएमआर में डेटा के साथ, हम आसन्न पटरियों को हुक किए बिना कई ब्लॉकों को मनमाने ढंग से अधिलेखित नहीं कर सकते हैं। रिकॉर्डिंग को नियंत्रित करने के लिए, डिस्क सतह को उन दोनों के बीच के अंतर के साथ क्षेत्रों में विभाजित किया गया है। यह आपको एक-दूसरे से स्वतंत्र रूप से प्रत्येक क्षेत्र को रिकॉर्ड करने और मिटाने की अनुमति देता है (डिस्क की वर्तमान पीढ़ी में क्षेत्र का आकार आमतौर पर 256 एमबी है)।

रिकॉर्डिंग प्रतिबंध को नियंत्रित करने के लिए कई तरीकों का इस्तेमाल किया जा सकता है। पारंपरिक दृष्टिकोण (ड्राइव-प्रबंधित - ड्राइव द्वारा नियंत्रित) यह मानता है कि डिवाइस माइक्रोकोड और बफ़र्स में एल्गोरिदम का उपयोग करके अपने दम पर आंतरिक लेखन प्रतिबंधों को संसाधित करता है, और मेजबान को एक सामान्य इंटरफ़ेस प्रदान करता है। इस प्रकार का SMR आमतौर पर क्लाइंट डिवाइस जैसे कि लैपटॉप HDD में उपयोग किया जाता है। हालांकि, बड़े पैमाने पर कॉर्पोरेट या क्लाउड सिस्टम के लिए, जहां प्रदर्शन और स्थान का उपयोग अनुमानित होना चाहिए, अनुक्रमिक रिकॉर्डिंग को नियंत्रित करने के लिए डिस्क पर ही निर्भर होना संभव नहीं है - लोड और बफर पूर्णता की संरचना और तीव्रता के आधार पर प्रदर्शन "फ्लोट" बहुत अधिक है।

होस्ट-प्रबंधित SMR बड़े डेटा स्टोरेज सिस्टम के लिए लगभग अनिवार्य आवश्यकता है और डेटा केंद्रों के लिए पसंदीदा विकल्प है।

होस्ट एसएमआर नियंत्रण क्रमशः एसएएस और एसएटीए के लिए जोन ब्लॉक कमांड (जेडबीसी) और जोन एटीए (जेडएसी) डिवाइस मानकों के हिस्से के रूप में INCITS T10 / T13 में मानकीकृत है।

सॉलिड स्टेट ड्राइव में एनवीएमई और ज़ोन नेमस्पेस

ठोस राज्य ड्राइव (SSDs) के लिए, उन क्षेत्रों की उपस्थिति पर प्रतिबंध जो केवल क्रमिक रूप से (NAND पृष्ठ) लिखे जा सकते हैं और नए डेटा (NAND ब्लॉक) को NAND फ़्लैश मेमोरी ऑपरेशन का एक अभिन्न गुण होने से पहले हटा दिया जाना चाहिए।

जब एसएसडी को पहली बार पेश किया गया था, तो उन्होंने एक आंतरिक प्रबंधन प्रणाली शुरू की, जिसे फ्लैश ट्रांसलेशन लेयर (एफटीएल) कहा जाता था, जो कि इस रिकॉर्डिंग स्वच्छता को संभाल सकती थी। एफटीएल ने सॉफ्टवेयर स्टैक को तुरंत फिर से लिखने की आवश्यकता के बिना हार्ड ड्राइव के बजाय ठोस राज्य ड्राइव के उपयोग की अनुमति दी। अंतिम उपयोगकर्ता के लिए, SSD सूचना के लिए तीव्र यादृच्छिक अभिगम के साथ एक हार्ड ड्राइव की तरह दिखता है - और यह FTL की योग्यता है।

हालांकि, एसएसडी के भीतर स्थानीय नियंत्रण दक्षता के मामले में आदर्श से बहुत दूर है। विशेष रूप से, ऐसे कारक हैं:

प्रवर्धन लिखें: डेटा को अधिलेखित न करने की सीमाओं का सामना करने के लिए, SSD को डेटा को अपने आप में अप्रयुक्त भंडारण क्षेत्रों को साफ करना चाहिए, जिन्हें कचरा संग्रह (GC) कहा जाता है। कचरा संग्रह प्रक्रिया, जब एफटीएल डेटा ब्लॉक के साथ "टैग" खेलती है, तो एक ही जानकारी की एकाधिक रिकॉर्डिंग का कारण बनता है (इसलिए "अतिरिक्त रिकॉर्डिंग" शब्द), जो फ्लैश मेमोरी पर वृद्धि की ओर जाता है और ठोस राज्य ड्राइव के जीवन को छोटा कर देता है। WA गुणांक से पता चलता है कि होस्ट से प्राप्त एक लेखन ऑपरेशन के लिए ड्राइव के अंदर कितने लेखन संचालन करना होगा।

(overprovisioning — OP): ( 28% ) .
DRAM : FTL - DRAM. , DRAM . — 1 SSD. , SSD 15.36 — 16 «» . , !
QoS, . FTL , , , .

सॉलिड स्टेट ड्राइव की शुरूआत की पहली लहर में ये कमियां स्वीकार्य थीं, क्योंकि हार्ड ड्राइव के लिए सॉफ्टवेयर स्टैक और इंटरफेस डिजाइन किए गए थे, और एचडीडी के लिए प्रतिक्रिया समय बहुत लंबा था। अंतिम उपयोगकर्ता के लिए, एचडीडी से एसएसडी पर स्विच करना अभी भी ध्यान देने योग्य त्वरण था।

समय के साथ, हालांकि, उद्योग ने अधिक कुशल इंटरफेस और सॉफ्टवेयर स्टैक बनाने की ओर कदम बढ़ाया है जो कम विलंबता और उच्च फ्लैश बैंडविड्थ का लाभ उठा सकते हैं। विशेष रूप से, NVMe (गैर-वाष्पशील मेमोरी एक्सप्रेस) इंटरफ़ेस विनिर्देश बनाया गया था और इसी कम लागत वाले सॉफ्टवेयर स्टैक को विकसित किया गया था।

उद्योग की वर्तमान स्थिति ऐसी है कि एफटीएल एसएसडी में होने वाली स्थानीय अनुकूलन अब डेटा बुनियादी ढांचे की तैनाती के लिए हानिकारक हैं। विशेष रूप से, कई ग्राहकों को एक होस्ट-संचालित अनुक्रमिक कार्यभार बनाने की इच्छा है जो नंद फ्लैश ब्लॉकों के आकार से मेल खाती है। जवाब में, NVMe ज़ोन नेमस्पेस (ZNS) को मानकीकृत करता है, जो होस्ट को मुख्य नियंत्रण स्थानांतरित करके विलंबता, बैंडविड्थ और लागत प्रभावशीलता में सुधार करते हुए होस्ट को I / O को कार्यभार साझा करने के लिए निर्देशित करने की अनुमति देता है।

अगर हम आर्थिक दक्षता के बारे में बात करते हैं, तो ZNS SSD को संक्रमण कम मात्रा में NAND (अतिरेक की कमी) का उपयोग करके ड्राइव की लागत को कम कर देगा, सर्वर ड्राइव में QLC का उपयोग करने की संभावना, SSDDers में DRAM की मात्रा कम कर देगा।

डेटा इन्फ्रास्ट्रक्चर - एक जोनल डेटा वेयरहाउस को लागू करना

हम पहले ही पता लगा चुके हैं कि ज़ोनल ब्लॉक डिवाइसेस स्टोरेज दक्षता को बढ़ाते हैं, हालाँकि, इन नए डिवाइसों का लाभ उठाने के लिए, कुछ प्रयासों की आवश्यकता होती है, क्योंकि उनमें सामान्य ब्लॉक प्रोग्राम स्टैक के साथ पिछड़ी संगतता नहीं होती है। हालांकि पारंपरिक स्टोरेज डिवाइस में रिकॉर्डिंग प्रतिबंध नहीं हैं, ज़ोन ब्लॉक डिवाइस में रिकॉर्डिंग प्रतिबंध हैं जो ज़ोन के भीतर संगत होना चाहिए। इसका मुख्य परिणाम सॉफ्टवेयर स्टैक को अपडेट करने की आवश्यकता है।

पहले घटक को अद्यतन करने की आवश्यकता है जो ऑपरेटिंग सिस्टम है। यह मल्टी-कोर और मल्टी-सॉकेट सर्वर पर चलने वाले आधुनिक मल्टी-टास्किंग ऑपरेटिंग सिस्टम में एक तुच्छ कार्य नहीं है जो डेटा केंद्रों की विशिष्ट है। लिनक्स समुदाय ने सामान्य रूप से ज़ोन ब्लॉक उपकरणों और विशेष रूप से एसएमआर का समर्थन करने के लिए महत्वपूर्ण प्रयास किए हैं।

लिनक्स कर्नेल का समर्थन करने के अलावा, कई उपयोगिताओं और एप्लिकेशन हैं जो कि जोन ब्लॉक डिवाइसेस, जैसे कि फियो, ब्लैकटैस्ट और उपयोग-लाइनक्स का समर्थन करते हैं।

लिनक्स कर्नेल और ज़ोन ब्लॉक डिवाइसेस

लिनक्स कर्नेल में ज़ोन स्टोरेज के लिए समर्थन पर काम 2014 में 3.18 कर्नेल में निर्मित सबसे कम समर्थन के साथ वापस शुरू हुआ। ZBC / ZAC कमांड के लिए कार्यात्मक समर्थन के साथ पहली कर्नेल रिलीज़ 2017 की शुरुआत में 4.10 कर्नेल थी। समर्थन में सुधार जारी है, और नवीनतम कर्नेल में ब्लॉक / देव / एसडी के रूप में ज़ोन डिवाइस प्रदर्शित करने के लिए समर्थन है, साथ ही कुछ फ़ाइल सिस्टम (f2fs, btrfs) के लिए समर्थन भी है।

नीचे दिया गया आंकड़ा लिनक्स कर्नेल की संरचना की एक उच्च-स्तरीय छवि दिखाता है और पारंपरिक ब्लॉक डिवाइस के साथ ज़ोन डिवाइस को कैसे एकीकृत किया जा सकता है। लिनक्स कर्नेल में समर्थन कुछ मौजूदा घटकों को संशोधित करके लागू किया गया था, जैसे ब्लॉक स्तर पर ZBD इंटरफ़ेस, और डिवाइस-मैपर dm-zoned जैसे नए घटकों को पेश करते हुए।

जैसा कि आंकड़े में दिखाया गया है, ऐसे कई तरीके हैं जिनमें डेटा इन्फ्रास्ट्रक्चर की तैनाती ज़ोन ब्लॉक डिवाइस का उपयोग कर सकती है। उदाहरण के लिए (i) dm-zoned LVM वॉल्यूम के ऊपर पुरानी फ़ाइल प्रणाली का उपयोग करना, (ii) ZBC- सक्षम फ़ाइल सिस्टम का उपयोग करना, (iii) ZBD- सक्षम अनुप्रयोगों का उपयोग करना जो उपयोगकर्ता के पुस्तकालयों के माध्यम से ब्लॉक डिवाइस के साथ सीधे libzbc, और आदि।

क्षेत्र भंडारण पहल - व्यापक समर्थन को बढ़ावा देना और लागू प्रौद्योगिकियों का कार्यान्वयन

ज़ोन ब्लॉक डिवाइसेस के समर्थन में डेवलपर्स के खुले स्रोत समुदाय द्वारा की गई सफलताओं के बावजूद, सूचना प्रौद्योगिकी इंजीनियर और एप्लिकेशन डेवलपर्स अभी भी इस तकनीक का उपयोग करने के लिए प्रयास कर रहे हैं, उदाहरण के लिए, यह पता लगाना कि लिनक्स कर्नेल के प्रत्येक रिलीज में किस स्तर का समर्थन मौजूद है, किन संस्करणों के अनुप्रयोगों का आवश्यक समर्थन है और कर्नेल का कौन सा संस्करण उनके काम के लिए आवश्यक है।

इस समस्या का समाधान करने और जोनल स्टोरेज तकनीकों के लिए व्यापक अनुप्रयोग समर्थन को बढ़ावा देने के लिए ज़ोनल स्टोरेज पहल शुरू की गई थी। आप साइट ZonedStorage.io पर जा सकते हैंजोनल स्टोरेज तकनीकों और ZNS SSDs और ZBC / ZAC SMRs के उपयोग के बारे में अधिक जानने के लिए। वहां आपको निम्नलिखित मुद्दों पर जानकारी मिलेगी:

ज़ोन ब्लॉक डिवाइस
आरंभ मार्गदर्शिकाएँ
लिनक्स कर्नेल समर्थन और सुविधाएँ
अनुप्रयोग और पुस्तकालय
एक नियमित पर क्षेत्र डिवाइस अनुकरण
प्रदर्शन का परीक्षण
सिस्टम कंप्लायंस टेस्ट

इस प्लेटफॉर्म का उपयोग करते हुए, इंफ्रास्ट्रक्चर इंजीनियर और स्टोरेज एप्लिकेशन डेवलपर्स के पास अब एक केंद्रीयकृत स्थान है जो क्षेत्र भंडारण प्रौद्योगिकियों का उपयोग करने के लिए आवश्यक सभी जानकारी और संसाधन प्राप्त करने के लिए है।

आप तैयार हैं

ZonedStorage.io पर जाएं और देखें कि क्या आपके सर्वर ज़ोन ड्राइव के साथ काम करने के लिए तैयार हैं। एक नियमित डिवाइस पर सॉफ़्टवेयर इम्यूलेशन को तैनात करने का प्रयास करें, और यह पता चल सकता है कि आपके एप्लिकेशन की लोड संरचना जोनल स्टोरेज की अवधारणा के साथ अच्छी तरह से फिट बैठती है, और आपको परीक्षण वातावरण को तैनात करने पर विचार करना चाहिए।

ज़ोन डेटा स्टोरेज