🧒🏻 👨🏽‍💼 ℹ️ Hadoop को क्लाउड में पोर्ट करने के बारे में शीर्ष 10 गलत धारणाएं 👨🏾‍🤝‍👨🏽 👩‍👩‍👦‍👦 🌤️

कई कंपनियां और निगम स्पष्ट कारणों के लिए डेटा को संसाधित करने के लिए क्लाउड का उपयोग करना चाहते हैं: लचीलापन, मापनीयता, आप केवल उसी चीज़ का भुगतान कर सकते हैं जो आप उपयोग करते हैं और इसी तरह।

वास्तव में, एक परियोजना को मल्टी-कॉम्पोनेंट डेटा प्रोसेसिंग सिस्टम के साथ, पेटाबाइट स्केल पर, ऑन-प्रिमाइसेस वातावरण से क्लाउड पर स्थानांतरित करना एक ठोस "लेकिन" है। प्रवास के लिए कई उत्पाद हैं: Hadoop , Hive , Yarn , Spark , Kafka , Zookeeper , Jupyter , Zeppelin । पर्यावरण में मूलभूत अंतर को देखते हुए, खो जाना और इस विविधता में गलतियाँ करना आसान है।

इस लेख में मैं आम गलतफहमियों के बारे में बात करूंगा और क्लाउड पर गुणवत्ता प्रवास के लिए कुछ सुझाव दूंगा। व्यक्तिगत रूप से, मैं एडब्ल्यूएस का उपयोग करता हूं , लेकिन सभी चालें समान समाधान वाले अन्य प्रदाताओं के लिए प्रासंगिक हैं, उदाहरण के लिए, एज़्योर या जीसीपी के लिए ।

1. क्लाउड पर डेटा कॉपी करना आसान है

डेटा के कई पेटाबाइट्स को सार्वजनिक क्लाउड (उदाहरण के लिए, S3 ) में स्थानांतरित करना, जो हमारे मामले में डेटा झील के रूप में काम करेगा, यह एक आसान काम नहीं है। यह बहुत समय लेने वाला और संसाधन गहन हो सकता है।

बड़ी संख्या में समाधान, वाणिज्यिक और खुले स्रोत के बावजूद, मुझे ऐसा एक भी नहीं मिला जो सभी जरूरतों को पूरा करे:

हस्तांतरण
डेटा एकीकरण
डेटा सत्यापन
रिपोर्टिंग

यदि डेटा का एक निश्चित हिस्सा ज्यादातर स्थिर या मध्यम रूप से गतिशील है, तो आप AWS स्नोबॉल जैसे समाधान का उपयोग कर सकते हैं , जो आपको किसी भौतिक उपकरण में सरणियों की प्रतिलिपि बनाने की अनुमति देता है। डेटा को आपके स्थानीय नेटवर्क से डाउनलोड किया जाएगा, जिसके बाद ड्राइव को वापस AWS डेटा सेंटर में भेजा जाएगा और डेटा S3 स्टोरेज में डाला जाएगा ।

छिपा हुआ पाठ

, , AWS.

डेटा ट्रांसफर को दो चरणों में विभाजित करना अच्छा है। अधिकांश सरणी को भेजे जाने और अपलोड करने के बाद, शेष को उतारने के लिए क्लाउड प्रदाता से सीधे कनेक्शन का उपयोग करें। आप इसके लिए Hadoop DistCP या Kafka मिररिंग विधियों का उपयोग कर सकते हैं । दोनों विधियों की अपनी-अपनी बारीकियाँ हैं। DistCP को निरंतर नियोजन और गहरी ट्यूनिंग की आवश्यकता होती है, इसके अलावा, सभी वस्तुओं को काले और सफेद सूचियों में नहीं रखा जा सकता है। काफ्का मिरमेकर , गहरी ट्यूनिंग के अलावा, जेएमएक्स प्रबंधन विस्तार के माध्यम से मेट्रिक्स को निर्यात करने की आवश्यकता है, जिससे थ्रूपुट, विलंबता और समग्र स्थिरता को मापा जा सके।

छिपा हुआ पाठ

. — , .

2. क्लाउड स्थानीय भंडारण की तरह ही काम करता है

स्थानीय भंडारण और क्लाउड स्टोरेज एक ही बात नहीं है। एक अच्छा उदाहरण है ज़ुकीपर और काफ्का । ZK क्लाइंट लाइब्रेरी पूरे सेवा जीवन के लिए ZK सर्वरों के अनुमत पतों को कैश करता है: यह क्लाउड में परिनियोजन के लिए एक बड़ी समस्या है, जिसमें बैसाखी की आवश्यकता होगी - ZK सर्वरों के लिए स्थिर ENI नेटवर्क इंटरफेस । प्रदर्शन की निगरानी के लिए, यह सुनिश्चित करने के लिए क्लाउड इंफ्रास्ट्रक्चर में गैर-कार्यात्मक एनएफटी परीक्षणों की एक श्रृंखला को चलाने का एक अच्छा विचार है, यह सुनिश्चित करने के लिए कि सेटिंग्स और कॉन्फ़िगरेशन आपके वर्कलोड के साथ सामना करेंगे।

छिपा हुआ पाठ

, , .

3. ऑब्जेक्ट स्टोरेज 100% HDFS की जगह लेता है

भंडारण और कंप्यूटिंग परतों को अलग करना एक महान विचार है, लेकिन एक चेतावनी है। Google क्लाउड स्टोरेज

के अपवाद के साथ , जो एक मजबूत डेटा संगति (मजबूत स्थिरता) का उपयोग करता है , अधिकांश भंडारण सुविधाएं "स्थिरता अंततः" (अंततः सुसंगत) के मॉडल पर काम करती हैं । इसका मतलब यह है कि उनका उपयोग कच्चे और संसाधित डेटा दर्ज करने के लिए किया जा सकता है, और परिणाम के लिए, लेकिन एक अस्थायी भंडारण के रूप में नहीं।

छिपा हुआ पाठ

, HDFS.

4. आप यूजर इंटरफेस से क्लाउड इंफ्रास्ट्रक्चर को तैनात कर सकते हैं

एक छोटे परीक्षण वातावरण के लिए, यह आसान हो सकता है, लेकिन बुनियादी ढांचे की आवश्यकताएं जितनी अधिक होंगी, कोड लिखने की संभावना उतनी ही अधिक होगी। आप कई वातावरण (देव, क्यूए, प्रोडक्ट) चाहते हो सकते हैं । इसे CloudFormation और Terraform का उपयोग करके लागू किया जा सकता है , लेकिन कोड के आवश्यक टुकड़ों की नकल करना विफल हो जाएगा, आपको अपने लिए बहुत कुछ फिर से करना होगा।

छिपा हुआ पाठ

— CI/CD . , .

5. बादल में सही दृश्यता के लिए आपको बस $ {SaaS_name} का उपयोग करने की आवश्यकता है

पुराने और नए वातावरण की अच्छी दृश्यता (प्रवेश और निगरानी) सफल प्रवास के लिए एक महत्वपूर्ण स्थिति है।

वातावरण में विभिन्न प्रणालियों के उपयोग के कारण यह मुश्किल हो सकता है। उदाहरण के लिए, प्रोमेथियस और ELK स्थानीय पर्यावरण के लिए, और NewRelic और Sumologic बादल के लिए। यहां तक कि अगर दोनों वातावरणों में एक सास समाधान लागू किया जाता है, तो इसे स्केल करना मुश्किल है।

छिपा हुआ पाठ

, ( , , JMX, , ).

6. बादल अनंत को तराजू देता है

जब वे स्वचालित स्केलिंग फ़ंक्शन के बारे में सीखते हैं, तो उपयोगकर्ता अक्सर बच्चों के रूप में आनन्दित होते हैं और सोचते हैं कि वे इसे तुरंत अपने डेटा प्रोसेसिंग प्लेटफ़ॉर्म पर लागू करेंगे। एचडीआर के बिना ईएमआर नोड्स के लिए कॉन्फ़िगर करना वास्तव में आसान है , लेकिन इसके लिए निरंतर भंडारण (उदाहरण के लिए, काफ्का सॉफ्टवेयर ब्रोकर ) के लिए अतिरिक्त ज्ञान की आवश्यकता होगी । क्लाउड ट्रैफ़िक पर सभी ट्रैफ़िक को स्विच करने से पहले, आपको वर्तमान संसाधन सीमाओं की जाँच करने की आवश्यकता है: क्लास इंस्टेंसेस की संख्या, डिस्क, आपको लोड बैलेंसरों को पहले से गरम करने की भी आवश्यकता है। इस तरह के प्रशिक्षण के बिना, काम करने की क्षमता का उपयोग नहीं किया जाना चाहिए।

छिपा हुआ पाठ

, — , — .

7. मैं सिर्फ अपने बुनियादी ढांचे को अपरिवर्तित रखता हूं

दरअसल, एक संभावित सेवा प्रदाता की क्षमताओं पर पूरी तरह ध्यान केंद्रित करने के बजाय, अपने स्वयं के रिपॉजिटरी पर ध्यान केंद्रित करना बेहतर है, उदाहरण के लिए, डायनेमोबी । लेकिन एपीआई के साथ संगत सेवाओं के बारे में मत भूलना। वैकल्पिक रूप से, आप Hive Metastore डेटाबेस के लिए Amazon RDS क्लाउड सेवा का उपयोग कर सकते हैं । एक और अच्छा उदाहरण ईएमआर क्लाउड-अनुकूलित बड़ा डेटा प्लेटफ़ॉर्म है । पहली नज़र में, सरल, इसे पोस्ट-इंस्टॉलेशन स्क्रिप्ट का उपयोग करके ठीक-ट्यूनिंग की आवश्यकता होती है। आप ढेर आकार , तृतीय-पक्ष अभिलेखागार जार , यूडीएफ को अनुकूलित कर सकते हैं

सुरक्षा ऐड-ऑन। यह भी ध्यान दें कि अभी भी मुख्य NameNode या YARN ResourceManager नोड्स के लिए उच्च उपलब्धता (HA) प्रदान करने का कोई तरीका नहीं है ।

छिपा हुआ पाठ

, , .

8. Hadoop / Spark कार्यों को क्लाउड में स्थानांतरित करें - यह आसान है

ज़रुरी नहीं। कार्यों को सफलतापूर्वक स्थानांतरित करने के लिए, आपको अपने व्यावसायिक तर्क और पाइपलाइनों का एक स्पष्ट विचार रखने की आवश्यकता है: कच्चे डेटा की प्रारंभिक प्राप्ति से लेकर उच्च गुणवत्ता वाले सरणियों तक। जब पाइपलाइन एक्स और वाई के परिणाम पाइपलाइन के इनपुट डेटा होते हैं तो सब कुछ और अधिक जटिल हो जाता है। प्रवाह और संबंधों के सभी घटकों को यथासंभव स्पष्ट रूप से प्रदर्शित किया जाना चाहिए। यह डीएजी का उपयोग करके लागू किया जा सकता है ।

छिपा हुआ पाठ

SLA.

9. क्लाउड परिचालन लागत और कर्मचारियों के बजट को कम करेगा

खुद के उपकरण को कर्मचारियों के लिए भौतिक लागत और वेतन की आवश्यकता होती है। क्लाउड पर जाने के बाद, सभी लागतें गायब नहीं होंगी: आपको अभी भी व्यवसाय की जरूरतों का जवाब देना होगा और उन लोगों को काम पर रखना होगा जो विकास, सहायता, समस्या निवारण, बजट योजना में शामिल होंगे। नए इंफ्रास्ट्रक्चर के लिए आपको सॉफ्टवेयर और टूल्स में भी निवेश करना होगा।

स्टाफ एक ऐसा व्यक्ति होना चाहिए जो समझता है कि नई प्रौद्योगिकियां कैसे काम करती हैं। यह एक उच्च योग्य कर्मचारी का तात्पर्य है। इसलिए, यहां तक कि कर्मचारियों की कटौती को ध्यान में रखते हुए, आप एक अच्छे विशेषज्ञ के वेतन पर, यदि अधिक नहीं, तो खर्च कर सकते हैं।

छिपा हुआ पाठ

— (, EMR), . , , .

10. नो-ऑप्स करीब ...

नो-ऑप्स किसी भी व्यवसाय का सपना है। तीसरे पक्ष से सेवाओं और उत्पादों की आवश्यकता के बिना पूरी तरह से स्वचालित वातावरण। क्या यह संभव है?

कई लोगों की एक मामूली टीम केवल उन छोटी कंपनियों के लिए प्रासंगिक है जिनकी गतिविधियाँ सीधे डेटा से संबंधित नहीं हैं। बाकी सभी को कम से कम एक विशेषज्ञ की आवश्यकता होगी जो सभी प्रणालियों को एकीकृत करता है और पैक करता है, उनकी तुलना करता है, स्वचालित करता है, दृश्यता प्रदान करता है और रास्ते में आने वाले सभी कीड़ों को समाप्त करता है।

छिपा हुआ पाठ

Data-Ops , .

संक्षेप में। डेटा प्रोसेसिंग पाइपलाइनों को क्लाउड पर स्थानांतरित करना अच्छा है। प्रवास के लिए काम करने के लिए जैसा कि यह चाहिए, आपको सावधानीपूर्वक प्रक्रिया की योजना बनाने की आवश्यकता है, ऊपर वर्णित सभी नुकसानों को ध्यान में रखते हुए। कुछ कदम आगे सोचें और सब कुछ ठीक हो जाएगा।

Hadoop को क्लाउड में पोर्ट करने के बारे में शीर्ष 10 गलत धारणाएं

1. क्लाउड पर डेटा कॉपी करना आसान है

2. क्लाउड स्थानीय भंडारण की तरह ही काम करता है

3. ऑब्जेक्ट स्टोरेज 100% HDFS की जगह लेता है

4. आप यूजर इंटरफेस से क्लाउड इंफ्रास्ट्रक्चर को तैनात कर सकते हैं

5. बादल में सही दृश्यता के लिए आपको बस $ {SaaS_name} का उपयोग करने की आवश्यकता है

6. बादल अनंत को तराजू देता है

7. मैं सिर्फ अपने बुनियादी ढांचे को अपरिवर्तित रखता हूं

8. Hadoop / Spark कार्यों को क्लाउड में स्थानांतरित करें - यह आसान है

9. क्लाउड परिचालन लागत और कर्मचारियों के बजट को कम करेगा

10. नो-ऑप्स करीब ...

More articles: