🎛️ 🍺 🔄 Google क्लाउड स्पैनर: अच्छा, बुरा, बुरा 🙏🏼 🤚🏾 ✅

हाय, हब्रोस्क। परंपरागत रूप से, हम नए पाठ्यक्रमों के लॉन्च की प्रत्याशा में दिलचस्प सामग्री साझा करना जारी रखते हैं। आज, विशेष रूप से आपके लिए, हमने Google क्लाउड स्पैनर के बारे में एक लेख प्रकाशित किया है, जो डेवलपर्स के पाठ्यक्रम के लिए AWS के लॉन्च के साथ मेल खाता है ।

मूलतः Lightspeed HQ ब्लॉग पर पोस्ट किया गया ।

एक कंपनी के रूप में जो दुनिया भर के खुदरा विक्रेताओं, रेस्तरां, और ऑनलाइन खुदरा विक्रेताओं के लिए कई क्लाउड-आधारित पीओएस समाधान प्रदान करती है, लाइट्सपीड कई अलग-अलग प्रकार के डेटाबेस प्लेटफार्मों का उपयोग विभिन्न प्रकार के लेन-देन, विश्लेषणात्मक और खोज मामलों के लिए करता है। इन डेटाबेस प्लेटफार्मों में से प्रत्येक की अपनी ताकत और कमजोरियां हैं। नतीजतन, जब Google ने क्लाउड स्पैनर को बाजार में पेश किया, तो रिलेशनल डेटाबेस की दुनिया में अभूतपूर्व सुविधाओं का वादा किया, जैसे कि लगभग असीमित क्षैतिज मापनीयता और 99.999% सेवा स्तर समझौता (SLA), - हम इसे अपने हाथों में लेने का अवसर नहीं छोड़ सके!

क्लाउड स्पैनर के साथ अपने अनुभव का एक व्यापक अवलोकन देने के लिए, साथ ही साथ हमने जो मूल्यांकन मानदंड का उपयोग किया है, हम निम्नलिखित विषयों को कवर करेंगे:

हमारा मूल्यांकन मानदंड
नटशेल में क्लाउड स्पैनर
हमारी रेटिंग
हमारी खोजें

1. हमारे मूल्यांकन मानदंड

क्लाउड स्पैनर की विशेषताओं, इसकी समानता और बाजार पर अन्य समाधानों के साथ मतभेदों को उजागर करने से पहले, आइए सबसे पहले उन मुख्य उपयोगकर्ता मामलों के बारे में बात करते हैं, जिन्हें ध्यान में रखते हुए हमने अपने बुनियादी ढांचे में क्लाउड स्पैनर को तैनात करने पर विचार किया था:

(प्रचलित) पारंपरिक SQL डेटाबेस समाधान के प्रतिस्थापन के रूप में
कैसे OLAP सपोर्ट के साथ एक OLTP सॉल्यूशन

नोट: सरलता और तुलना में आसानी के लिए, यह लेख MySQL GCP क्लाउड SQL और अमेज़ॅन AWS RDS परिवार के साथ क्लाउड स्पैनर की तुलना करता है।

पारंपरिक एसक्यूएल डेटाबेस समाधान के प्रतिस्थापन के रूप में क्लाउड स्पैनर का उपयोग करना

पारंपरिक डेटाबेस वातावरण में , जब डेटाबेस क्वेरी के लिए प्रतिक्रिया समय आ जाता है या यहां तक कि पूर्वनिर्धारित एप्लिकेशन थ्रेसहोल्ड से अधिक हो जाता है (मुख्य रूप से उपयोगकर्ताओं और / या प्रश्नों की संख्या में वृद्धि के कारण), प्रतिक्रिया समय को स्वीकार्य स्तर तक कम करने के कई तरीके हैं। हालांकि, इनमें से अधिकांश समाधानों में मैनुअल हस्तक्षेप शामिल है।

उदाहरण के लिए, आपको जो पहला कदम उठाने की ज़रूरत है, वह प्रदर्शन से संबंधित विभिन्न डेटाबेस मापदंडों को देखना है और उन्हें सबसे अच्छा मैच एप्लिकेशन उपयोग पैटर्न से कॉन्फ़िगर करना है। यदि यह पर्याप्त नहीं है, तो आप डेटाबेस को लंबवत या क्षैतिज रूप से माप सकते हैं।

एप्लिकेशन को स्केल करना सर्वर आवृत्ति को अपडेट करता है, आमतौर पर अधिक प्रोसेसर / कोर, अधिक रैम, तेज भंडारण आदि को जोड़कर, अधिक हार्डवेयर संसाधनों को जोड़ने से डेटाबेस प्रदर्शन में वृद्धि होती है, मुख्य रूप से लेनदेन में मापा जाता है दूसरा, और OLTP सिस्टम के लिए लेनदेन में देरी। रिलेशनल डेटाबेस सिस्टम (जो एक बहु-थ्रेडेड दृष्टिकोण का उपयोग करते हैं), जैसे कि MySQL, बड़े पैमाने पर लंबवत।

इस दृष्टिकोण में कई कमियां हैं, लेकिन सबसे स्पष्ट बाजार पर अधिकतम सर्वर आकार है। एक बार सबसे बड़े सर्वर इंस्टेंस की सीमा पूरी हो जाने के बाद, केवल एक ही रास्ता है: क्षैतिज स्केलिंग।

क्षैतिज स्केलिंग एक दृष्टिकोण है जिसमें सर्वर की संख्या के अतिरिक्त के साथ प्रदर्शन को आदर्श रूप से बढ़ाने के लिए क्लस्टर में अधिक सर्वर जोड़े जाते हैं। अधिकांश पारंपरिक डेटाबेस सिस्टम अच्छी तरह से क्षैतिज पैमाने पर नहीं होते हैं या बिल्कुल भी पैमाने पर नहीं होते हैं। उदाहरण के लिए, MySQL गुलाम पाठकों को जोड़कर रीड ऑपरेशंस के लिए क्षैतिज रूप से स्केल कर सकता है, लेकिन लिखने के संचालन के लिए क्षैतिज रूप से स्केल नहीं कर सकता है।

दूसरी ओर, इसकी प्रकृति के कारण, क्लाउड स्पैनर आसानी से न्यूनतम हस्तक्षेप के साथ क्षैतिज रूप से स्केल कर सकता है। एक सेवा के रूप में

पूर्ण विशेषताओं वाले डीबीएमएसविभिन्न कोणों से मूल्यांकन किया जाना चाहिए। एक आधार के रूप में, हमने क्लाउड में सबसे लोकप्रिय DBMS लिया - Google, GCP क्लाउड SQL के लिए और Amazon, AWS RDS के लिए। हमारे मूल्यांकन में, हमने निम्नलिखित श्रेणियों पर ध्यान केंद्रित किया:

फ़ीचर मैपिंग: SQL हद, DDL, DML; कनेक्शन पुस्तकालयों / कनेक्टर्स, लेनदेन समर्थन, और इसी तरह।
विकास का समर्थन: विकास और परीक्षण में आसानी।
प्रशासन का समर्थन: उदाहरणों का प्रबंधन - उदाहरण के लिए, ऊपर / नीचे स्केलिंग और इंस्टेंसेस का उन्नयन; एसएलए, बैकअप और पुनर्स्थापना; सुरक्षा / अभिगम नियंत्रण।

OLAP समर्थन के साथ OLTP के रूप में Cloud Spanner का उपयोग करना

हालाँकि Google स्पष्ट रूप से दावा नहीं करता है कि क्लाउड स्पैनर विश्लेषणात्मक प्रसंस्करण के लिए है, यह अपाचे इम्पाला और कुडु और युगाबाइट जैसे अन्य तंत्रों के साथ कुछ विशेषताओं को साझा करता है, जिन्हें ओएलएपी कार्यभार के लिए डिज़ाइन किया गया है।

यहां तक कि अगर केवल एक छोटा सा मौका था कि क्लाउड स्पैनर में ओएलएपी सुविधाओं के एक (अधिक या कम) प्रयोग करने योग्य सेट के साथ एक सुसंगत क्षैतिज रूप से स्केलेबल एचटीएपी (हाइब्रिड ट्रांजैक्शनल / एनालिटिकल प्रोसेसिंग) इंजन शामिल है, तो हमें लगता है कि यह हमारा ध्यान देने योग्य है।

इसे ध्यान में रखते हुए, हमने निम्नलिखित श्रेणियों की जांच की:

डेटा लोडिंग, इंडेक्स और विभाजन समर्थन
क्वेरी प्रदर्शन और DML

2. नटशेल में क्लाउड स्पैनर

Google स्पैनर एक क्लस्टर रिलेशनल डेटाबेस मैनेजमेंट सिस्टम (RDBMS) है जिसका उपयोग Google अपनी कई सेवाओं के लिए करता है। Google ने इसे 2017 की शुरुआत में Google क्लाउड प्लेटफ़ॉर्म उपयोगकर्ताओं के लिए सार्वजनिक रूप से उपलब्ध कराया।

यहाँ क्लाउड स्पैनर के कुछ गुण दिए गए हैं:

अत्यधिक सुसंगत स्केलेबल RDBMS क्लस्टर: डेटा स्थिरता सुनिश्चित करने के लिए हार्डवेयर समय सिंक्रनाइज़ेशन का उपयोग करता है।
क्रॉस-टेबल लेन-देन का समर्थन: लेन-देन कई तालिकाओं को जोड़ सकता है - जरूरी नहीं कि एक तालिका तक सीमित हो (Apache HBase या Apache Kudu के विपरीत)।
: (), . , . , .
: . . , , , -.
: Cloud Spanner . . . . , , , . , .

«Cloud Spanner . , Cloud Spanner , - , ».

(SLA): SLA 99,99%; 99,999% SLA. , - , , Google , . ( , 99,999% 26,3 .)
: https://cloud.google.com/spanner/

: Apache Tephra Apache HBase ( Apache Phoenix -).

3.

इसलिए, हम सभी ने स्पैनर के लाभों के बारे में Google के कथनों को पढ़ा - उच्च स्थिरता और बहुत उच्च एसएलए बनाए रखते हुए लगभग असीमित क्षैतिज स्केलिंग। हालांकि ये आवश्यकताएं किसी भी दर पर, हासिल करना बेहद कठिन हैं, लेकिन हमारा लक्ष्य उनका खंडन करना नहीं था। इसके बजाय, आइए उन अन्य चीजों पर ध्यान केंद्रित करें जिनके बारे में अधिकांश डेटाबेस उपयोगकर्ता ध्यान देते हैं: समानता और उपयोगिता।

हमने Shared MySQL के प्रतिस्थापन के रूप में Cloud Spanner का मूल्यांकन किया

क्लाउड मार्केट के दो सबसे लोकप्रिय OLTP DBMS में Google क्लाउड SQL और Amazon AWS RDS का एक बहुत बड़ा फीचर सेट है। हालांकि, एकल नोड के आकार से परे इन डेटाबेस को स्केल करने के लिए, आपको एप्लिकेशन पार्टिशनिंग करने की आवश्यकता है। यह दृष्टिकोण अनुप्रयोगों और प्रशासन दोनों के लिए अतिरिक्त जटिलता पैदा करता है। हमने देखा कि स्पैनर एक उदाहरण में कई खंडों के संयोजन में कैसे फिट बैठता है और किन विशेषताओं (यदि कोई हो) का बलिदान करना पड़ सकता है।

SQL, DML और DDL, साथ ही कनेक्टर और लाइब्रेरी के लिए समर्थन?

सबसे पहले, किसी भी डेटाबेस से शुरू करते समय, आपको एक डेटा मॉडल बनाना होगा। अगर आपको लगता है कि आप JDBC Spanner को अपने पसंदीदा SQL टूल से कनेक्ट कर सकते हैं, तो आप पाएंगे कि आप इसके साथ अपने डेटा को क्वेरी कर सकते हैं, लेकिन आप इसका उपयोग तालिका या परिवर्तन (DDL) या किसी इन्सर्ट / अपडेट / डिलीट ऑपरेशंस () बनाने के लिए नहीं कर सकते हैं DML)। Google का आधिकारिक JDBC समर्थन नहीं करता है।

"ड्राइवर वर्तमान में DML या DDL का समर्थन नहीं करते हैं।"
स्पैनर प्रलेखन

जीसीपी कंसोल के साथ, स्थिति बेहतर नहीं है - आप केवल चुनिंदा प्रश्न भेज सकते हैं। सौभाग्य से, लेनदेन से gDub.com/olavloite/spanner-jdbc सहित, DML और समुदाय से DDL समर्थन वाला JDBC ड्राइवर है । हालाँकि यह ड्राइवर बेहद उपयोगी है, Google के अपने JDBC ड्राइवर की कमी आश्चर्यजनक है। सौभाग्य से, Google क्लाइंट पुस्तकालयों के लिए काफी व्यापक समर्थन प्रदान करता है (जीआरपीसी पर आधारित): सी #, गो, जावा, नोड.जेएस, पीएचपी, पायथन और रूबी।

क्लाउड स्पैनर उपयोगकर्ता इंटरफेस (जेडीबीसी में डीडीएल और डीएमएल की कमी के कारण) का लगभग अनिवार्य उपयोग कोड के संबंधित क्षेत्रों, जैसे कनेक्शन पूल या डेटाबेस बाइंडिंग फ्रेमवर्क (उदा। स्प्रिंग एमवीसी) के लिए कुछ प्रतिबंधों की ओर जाता है। एक नियम के रूप में, JDBC का उपयोग करते समय, आप अपने पसंदीदा कनेक्शन पूल (उदाहरण के लिए, HikariCP, DBCP, C3PO, आदि) का स्वतंत्र रूप से चयन कर सकते हैं, जिसका परीक्षण किया जाता है और अच्छी तरह से काम करता है। कस्टम स्पैनर एपीआई के मामले में, हमें अपने द्वारा बनाए गए चौखटे / बंधन पूल / सत्र पर भरोसा करना चाहिए।

प्राथमिक कुंजी (पीसी) डिजाइन एक पीसी के माध्यम से डेटा तक पहुंचने पर क्लाउड स्पैनर को बहुत तेज करने की अनुमति देता है, लेकिन कुछ क्वेरी समस्याओं की ओर भी जाता है।

; . ( / .)
UPDATE DELETE WHERE, , DELETE all — , : UPDATE xxx WHERE id IN (SELECT id FROM table1)
- , . , .

?

Google क्लाउड स्पैनर में माध्यमिक इंडेक्स के लिए अंतर्निहित समर्थन है। यह एक बहुत अच्छी सुविधा है जो हमेशा अन्य तकनीकों में मौजूद नहीं है। अपाचे कुडु वर्तमान में माध्यमिक इंडेक्स का समर्थन नहीं करता है, और अपाचे HBase सीधे इंडेक्स का समर्थन नहीं करता है, लेकिन अपाचे फीनिक्स के माध्यम से उन्हें जोड़ सकता है।

कुडू और HBase में अनुक्रमित को अलग-अलग तालिका के रूप में प्राथमिक कुंजियों की विभिन्न संरचना के साथ तैयार किया जा सकता है, लेकिन मूल तालिका और संबंधित सूचकांक तालिकाओं के साथ किए गए संचालन की परमाणुता को आवेदन स्तर पर किया जाना चाहिए और सही कार्यान्वयन में तुच्छ नहीं है।

जैसा कि क्लाउड स्पैनर समीक्षा में उल्लेख किया गया है, इसके सूचकांक MySQL इंडेक्स से भिन्न हो सकते हैं। इसलिए, प्रश्नों का निर्माण और प्रोफाइलिंग के दौरान यह सुनिश्चित करने के लिए विशेष ध्यान रखा जाना चाहिए कि उचित सूचकांक का उपयोग किया जाता है जहां इसकी आवश्यकता है।

प्रतिनिधित्व?

डेटाबेस में एक बहुत लोकप्रिय और उपयोगी वस्तु है। वे बड़ी संख्या में उपयोगकर्ता मामलों के लिए उपयोगी हो सकते हैं; मेरे दो पसंदीदा तार्किक अमूर्त के स्तर और सुरक्षा के स्तर हैं। दुर्भाग्य से, क्लाउड स्पैनर सबमिशन का समर्थन नहीं करता है। हालांकि, यह केवल आंशिक रूप से हमें सीमित करता है, क्योंकि एक्सेस अनुमतियों के लिए कॉलम स्तर पर कोई ग्रैन्युलैरिटी नहीं है जहां प्रतिनिधित्व एक स्वीकार्य समाधान हो सकता है।

क्लाउड स्पैनर प्रलेखन में एक खंड होता है जो कोटा और प्रतिबंध ( स्पैनर / कोटा) का विवरण देता है), विशेष रूप से, एक है जो कुछ अनुप्रयोगों के लिए समस्याग्रस्त हो सकता है: बॉक्स से बाहर क्लाउड स्पैनर की प्रति आवृत्ति अधिकतम 100 डेटाबेस की सीमा होती है। जाहिर है, यह एक डेटाबेस के लिए एक गंभीर बाधा हो सकती है जिसे 100 से अधिक डेटाबेस के पैमाने के लिए डिज़ाइन किया गया है। सौभाग्य से, हमारे Google तकनीकी प्रतिनिधि के साथ बात करने के बाद, हमें पता चला कि इस सीमा को Google समर्थन के माध्यम से लगभग किसी भी मूल्य तक बढ़ाया जा सकता है।

विकास का समर्थन?

क्लाउड स्पैनर प्रोग्रामिंग भाषाओं के लिए अपने एपीआई के साथ काम करने के लिए बहुत अच्छा समर्थन प्रदान करता है। आधिकारिक तौर पर समर्थित पुस्तकालय C #, Go, Java, नोड .js, PHP, पायथन और रूबी के क्षेत्रों में हैं। प्रलेखन काफी विस्तृत है, लेकिन, अन्य उन्नत प्रौद्योगिकियों के साथ, सबसे लोकप्रिय डेटाबेस प्रौद्योगिकियों की तुलना में समुदाय काफी छोटा है, जो कम आम उपयोग के मामलों या समस्याओं को सुलझाने में खर्च किए गए समय में वृद्धि का कारण बन सकता है।

तो स्थानीय विकास समर्थन के बारे में क्या?

हमें स्थानीय परिवेश में क्लाउड स्पैनर उदाहरण बनाने का कोई तरीका नहीं मिला। निकटतम हमें मिला कॉकरोचडी डॉकटर छवि है , जो सिद्धांत रूप में समान है, लेकिन व्यवहार में यह बहुत अलग है। उदाहरण के लिए, कॉकरोचडीबी PostgreSQL JDBC का उपयोग कर सकते हैं। चूंकि विकास का वातावरण काम के माहौल के जितना संभव हो उतना करीब होना चाहिए, क्योंकि क्लाउड स्पैनर आदर्श नहीं है, क्योंकि आपको पूर्ण स्पैनर उदाहरण पर भरोसा करने की आवश्यकता है। लागत बचाने के लिए, आप एक क्षेत्र के लिए एक उदाहरण चुन सकते हैं।

प्रशासन का सहयोग?

क्लाउड स्पैनर उदाहरण बनाना आसान है। आपको केवल एक क्षेत्र के लिए एक बहु-क्षेत्रीय या उदाहरण बनाने के बीच चयन करने की आवश्यकता है, क्षेत्र (ओं) और नोड्स की संख्या निर्दिष्ट करें। एक मिनट से भी कम समय में, उदाहरण ऊपर और चल रहा होगा।

Google कंसोल में स्पैनर पृष्ठ पर कई बुनियादी मीट्रिक सीधे उपलब्ध हैं। स्टैकड्राइवर के माध्यम से अधिक विस्तृत विचार उपलब्ध हैं, जहां आप थ्रेशोल्ड मेट्रिक्स और अलर्ट नीतियां भी सेट कर सकते हैं।

संसाधनों तक पहुंच?

MySQL व्यापक और बहुत विस्तृत उपयोगकर्ता अनुमति / भूमिका सेटिंग्स प्रदान करता है। आप आसानी से किसी विशिष्ट तालिका तक पहुंच को कॉन्फ़िगर कर सकते हैं, या यहां तक कि इसके कॉलम का एक सबसेट भी। Cloud Spanner Google Identity & Access Management (IAM) टूल का उपयोग करता है, जो आपको केवल उच्च स्तर पर नीतियों और अनुमतियों को सेट करने की अनुमति देता है। सबसे विस्तृत विकल्प एक डेटाबेस-स्तरीय रिज़ॉल्यूशन है जो अधिकांश उत्पादन मामलों में फिट नहीं होता है। यह प्रतिबंध आपको स्पैनर संसाधनों के अनधिकृत उपयोग को रोकने के लिए अपने कोड, बुनियादी ढांचे, या दोनों के लिए अतिरिक्त सुरक्षा उपाय जोड़ने के लिए मजबूर करता है।

बैकअप?

सरल शब्दों में, Cloud Spanner में बैकअप नहीं हैं। हालाँकि Google SLA की उच्च आवश्यकताएं गारंटी दे सकती हैं कि आप हार्डवेयर या डेटाबेस विफलताओं, मानवीय त्रुटियों, एप्लिकेशन दोषों आदि के कारण किसी भी डेटा को नहीं खोएंगे, हम सभी नियम जानते हैं: उच्च उपलब्धता एक उचित बैकअप रणनीति को प्रतिस्थापित नहीं करती है। फिलहाल, डेटा का बैकअप लेने का एकमात्र तरीका प्रोग्राम से डेटाबेस से अलग भंडारण वातावरण में स्ट्रीम करना है।

क्वेरी प्रदर्शन?

हमने डेटा डाउनलोड करने और क्वेरी का परीक्षण करने के लिए याहू का उपयोग किया। क्लाउड सर्विसिंग बेंचमार्क। नीचे दी गई तालिका में YCSB B कार्यभार 95% के पढ़ने अनुपात और 5% के अनुपात के साथ दिखाया गया है।

* एन -1-मानक -32 कम्प्यूटेशनल इंजन (सीई) (32 वीसीपीयू, 120 जीबी मेमोरी) पर लोड परीक्षण किया गया था, और परीक्षण में परीक्षण उदाहरण कभी भी अड़चन नहीं था।
** YCSB के एक उदाहरण में थ्रेड्स की अधिकतम संख्या 400 है। कुल मिलाकर, YCSB परीक्षणों के छह समानांतर उदाहरणों को कुल 2400 धागे प्राप्त करने के लिए चलाया जाना था।

परीक्षण के परिणामों को देखते हुए, विशेष रूप से प्रोसेसर लोड और टीपीएस के संयोजन में, हम स्पष्ट रूप से देखते हैं कि क्लाउड स्पैनर तराजू काफी अच्छा है। बड़ी संख्या में थ्रेड्स द्वारा बनाए गए बड़े लोड की भरपाई क्लाउड स्पैनर क्लस्टर में बड़ी संख्या में नोड्स द्वारा की जाती है। हालांकि देरी अधिक लग रही है, खासकर जब 2400 थ्रेड्स के साथ काम करते हुए, कम्प्यूटेशनल इंजन के 6 छोटे उदाहरणों के साथ सेवानिवृत्त होने के लिए अधिक सटीक संख्या प्राप्त करना आवश्यक हो सकता है। प्रत्येक उदाहरण 6 समानांतर परीक्षणों के साथ एक बड़े CE उदाहरण के बजाय एक YCSB परीक्षण चलाएगा। इस प्रकार, क्लाउड स्पैनर और CE इंस्टेंस जिस पर परीक्षण चल रहा है, उसके बीच नेटवर्क कनेक्शन द्वारा जोड़े गए क्लाउड स्पैनर अनुरोध में देरी और देरी के बीच अंतर करना आसान होगा।

क्लाउड स्पैनर OLAP को कैसे संभालता है?

विभाजन?

डेटा को भौतिक और / या तार्किक रूप से स्वतंत्र खंडों में विभाजित करना, जिसे विभाजन कहा जाता है, अधिकांश OLAP तंत्रों में निहित एक बहुत लोकप्रिय अवधारणा है। विभाजन क्वेरी प्रदर्शन और डेटाबेस समर्थन में काफी सुधार कर सकते हैं। विभाजन में और गहराता एक अलग लेख (ओं) में आएगा, इसलिए चलो एक विभाजन योजना और उप-विभाजन के महत्व का उल्लेख करें। डेटा को पार्टीशन में विभाजित करने की क्षमता और आगे भी सब-इंपॉर्टेंस में विश्लेषणात्मक प्रश्नों के प्रदर्शन की कुंजी है।

क्लाउड स्पैनर प्रति सेक्शन विभाजन का समर्थन नहीं करता है। यह आंतरिक रूप से तथाकथित विभाजन में डेटा को विभाजित करता हैप्राथमिक कुंजी श्रेणियों पर आधारित है। क्लाउड स्पैनर क्लस्टर में लोड को संतुलित करने के लिए पृथक्करण स्वचालित रूप से किया जाता है। क्लाउड स्पैनर की एक बहुत ही सुविधाजनक विशेषता पैरेंट टेबल (एक तालिका जो दूसरे के साथ वैकल्पिक नहीं होती है) के आधार लोड को विभाजित करना है। स्पैनर स्वचालित रूप से निर्धारित करता है यदि विभाजन में डेटा होता है जो अन्य विभाजन एस में डेटा की तुलना में अधिक बार पढ़ा जाता है , और आगे अलगाव पर निर्णय ले सकता है। इस प्रकार, अधिक नोड्स अनुरोध में शामिल हो सकते हैं, जो प्रभावी रूप से थ्रूपुट भी बढ़ाता है।

डेटा लोड हो रहा है?

बल्क डेटा के लिए क्लाउड स्पैनर विधि नियमित डाउनलोड के लिए समान है। अधिकतम प्रदर्शन प्राप्त करने के लिए, आपको कुछ सिफारिशों का पालन करना होगा, जिनमें शामिल हैं:

प्राथमिक कुंजी द्वारा अपना डेटा सॉर्ट करें।
उन्हें 10 * व्यक्तिगत वर्गों के नोड्स की संख्या से विभाजित करें ।
समानांतर में डेटा लोड करने वाले कार्य कार्यों का एक सेट बनाएं।

इस डेटा डाउनलोड के साथ, सभी क्लाउड स्पैनर नोड्स का उपयोग किया जाता है।

हमने 10M पंक्तियों के डेटा जनरेट करने के लिए A YCSB वर्कलोड का उपयोग किया।

* एन -1-मानक -32 कम्प्यूटेशनल इंजन (32 वीसीपीयू, 120 जीबी मेमोरी) पर लोड परीक्षण किया गया था, और परीक्षण में परीक्षण उदाहरण कभी भी अड़चन नहीं था।
** किसी भी उत्पादन भार के लिए 1-नोड कॉन्फ़िगरेशन की अनुशंसा नहीं की जाती है।

जैसा कि ऊपर उल्लेख किया गया है, क्लाउड स्पैनर स्वचालित रूप से अपने लोड के आधार पर विभाजन-एस संसाधित करता है, इसलिए परीक्षण के कई क्रमिक दोहराव के बाद परिणाम बेहतर होते हैं। यहां प्रस्तुत परिणाम हमारे द्वारा प्राप्त किए गए सर्वोत्तम परिणाम हैं। उपरोक्त संख्याओं को देखते हुए, हम यह देख सकते हैं कि क्लस्टर में नोड्स की संख्या में वृद्धि के साथ क्लाउड स्पैनर स्केल (वेल) कैसे है। जो संख्याएं बाहर हैं वे बहुत कम औसत देरी हैं जो मिश्रित वर्कलोड (पढ़ने के लिए 95% और लेखन के लिए 5%) के परिणामों के विपरीत हैं, जैसा कि ऊपर दिए गए अनुभाग में वर्णित है।

स्केलिंग?

क्लाउड स्पैनर नोड्स की संख्या को बढ़ाना और घटाना एक क्लिक कार्य है। यदि आप डेटा को जल्दी से लोड करना चाहते हैं, तो आप उदाहरण को अधिकतम करने पर विचार कर सकते हैं (हमारे मामले में, यह US-EAST क्षेत्र में 25 नोड था), और फिर डेटाबेस में सभी डेटा के बाद, अपने नियमित लोड के लिए उपयुक्त नोड की संख्या कम करें। 2 टीबी / नोड की सीमा को ध्यान में रखते हुए।

हमें बहुत छोटे डेटाबेस के साथ भी इस सीमा की याद दिलाई गई थी। लोड परीक्षणों के कई रनों के बाद, हमारे डेटाबेस का आकार लगभग 155 जीबी था, और जब 1 नोड की आवृत्ति कम हो जाती है, तो हमें निम्नलिखित त्रुटि मिली:

हम 25 से 2 उदाहरणों के पैमाने को कम करने में कामयाब रहे, लेकिन हम दो नोड्स पर अटक गए थे।

क्लाउड स्पैनर क्लस्टर में नोड्स की संख्या को बढ़ाना और घटाना REST API का उपयोग करके स्वचालित किया जा सकता है। व्यस्त घंटों के दौरान सिस्टम पर बढ़ते लोड को कम करने के लिए यह विशेष रूप से उपयोगी हो सकता है।

OLAP क्वेरी प्रदर्शन?

प्रारंभ में, हमने इस भाग के लिए स्पैनर के हमारे मूल्यांकन के लिए काफी समय समर्पित करने की योजना बनाई। कई सलेक्ट COUNT के बाद, हमें तुरंत पता चला कि परीक्षण कम होगा और स्पैनर एक OLAP इंजन नहीं होगा। क्लस्टर में नोड्स की संख्या के बावजूद, 10M पंक्तियों की तालिका में पंक्तियों की संख्या का एक सरल चयन 55 से 60 सेकंड तक हुआ। इसके अलावा, किसी भी अनुरोध जिसमें मध्यवर्ती परिणामों को संग्रहीत करने के लिए अधिक मेमोरी की आवश्यकता होती है, एक ओओएम त्रुटि के साथ विफल हो गया।

SELECT COUNT(DISTINCT(field0)) FROM usertable; — (10M distinct values)-> SpoolingHashAggregateIterator ran out of memory during new row.

TPC-H अनुरोधों के लिए कुछ नंबर टोड लिपकोन के लेख Nosql-kudu-spanner-slide.html , स्लाइड 42 और 43 में देखे जा सकते हैं । ये संख्याएँ हमारे स्वयं के परिणामों (दुर्भाग्य से) के अनुरूप हैं।

4. हमारे निष्कर्ष

क्लाउड स्पैनर सुविधाओं की वर्तमान स्थिति को देखते हुए, इसे मौजूदा ओएलटीपी समाधान के लिए एक सरल प्रतिस्थापन के रूप में कल्पना करना मुश्किल है, खासकर जब आपकी आवश्यकताओं ने इसे आगे बढ़ाया है। क्लाउड स्पैनर की खामियों को ध्यान में रखते हुए एक समाधान बनाने में समय की एक महत्वपूर्ण राशि खर्च करनी होगी।

जब हमने क्लाउड स्पैनर का मूल्यांकन करना शुरू किया, तो हमें उम्मीद थी कि इसकी प्रबंधन सुविधाएँ अन्य Google SQL समाधानों से कम या कम नहीं होंगी। लेकिन हम बैकअप की पूरी कमी और संसाधनों तक पहुंच के बहुत सीमित नियंत्रण पर हैरान थे। विचारों की कमी, एक स्थानीय विकास के माहौल की कमी, असमर्थित अनुक्रम, डीएमएल और डीडीएल समर्थन के बिना जेडीबीसी का उल्लेख करने के लिए नहीं, और इसी तरह।

तो, ट्रांसेक्शनल डेटाबेस को स्केल करने की आवश्यकता वाले को कहाँ जाना है? ऐसा लगता है कि बाजार पर एक भी समाधान नहीं है जो सभी उपयोग के मामलों के लिए उपयुक्त है। कई बंद और खुले स्रोत समाधान हैं (जिनमें से कुछ इस लेख में उल्लिखित हैं), जिनमें से प्रत्येक की अपनी ताकत और कमजोरियां हैं, लेकिन उनमें से कोई भी सास को 99.999% एसएलए और एक उच्च स्तर की स्थिरता प्रदान नहीं करता है। यदि एक उच्च SLA आपका प्राथमिक लक्ष्य है और आप एकाधिक क्लाउड वातावरणों के लिए अपना स्वयं का समाधान बनाने के लिए इच्छुक नहीं हैं, तो क्लाउड स्पैनर वह समाधान हो सकता है जिसे आप खोज रहे हैं। लेकिन आपको इसकी सभी सीमाओं के बारे में पता होना चाहिए।

निष्पक्षता में, यह ध्यान दिया जाना चाहिए कि क्लाउड स्पैनर केवल 2017 के वसंत में जनता के लिए जारी नहीं किया गया था, इसलिए यह उम्मीद करना उचित है कि इसकी कुछ मौजूदा कमियां अंततः गायब हो सकती हैं (मुझे उम्मीद है), और जब ऐसा होता है, तो यह खेल को बदल सकता है। आखिर, Google के लिए क्लाउड स्पैनर केवल एक तृतीय-पक्ष परियोजना नहीं है। Google इसे अन्य Google उत्पादों के लिए आधार के रूप में उपयोग करता है। और जब Google ने हाल ही में क्लाउड स्पनर के साथ Google क्लाउड स्टोरेज में मेगास्टोर को प्रतिस्थापित किया, तो उसने Google क्लाउड स्टोरेज को विश्व स्तर पर ऑब्जेक्ट लिस्टिंग के लिए सख्ती से सुसंगत बनाने की अनुमति दी (जो अभी भी अमेज़ॅन के S3 पर लागू नहीं होती है )।

इसलिए, अभी भी आशा है ... हम आशा करते हैं।

बस इतना ही। लेख के लेखक की तरह, हम भी उम्मीद करना जारी रखते हैं, लेकिन आप इस बारे में क्या सोचते हैं? टिप्पणियों में लिखें।

हर किसी को हमारे मुफ्त वेबिनार का दौरा करने के लिए आमंत्रित किया गया है , जिसके ढांचे में हम डेवलपर्स कोर्स के लिए ओटस एडब्ल्यूएस के बारे में विस्तार से बात करेंगे ।

Google क्लाउड स्पैनर: अच्छा, बुरा, बुरा