😐 🙌 👩🏼‍🎤 Apache Bigtop और Hadoop वितरण की पसंद आज 👩🏾‍✈️ 🎛️ ☕️

यह शायद कोई रहस्य नहीं है कि पिछले साल अपाचे हडोप के लिए एक महान परिवर्तन का वर्ष था। पिछले साल, क्लाउडरा और हॉर्टोनवर्क्स का विलय हुआ (मूल रूप से दूसरे का अधिग्रहण), और मेप्र, गंभीर वित्तीय समस्याओं के कारण, हेवलेट पैकर्ड को बेच दिया गया था। और अगर कुछ साल पहले, ऑन-प्रिमाइसेस इंस्टॉलेशन के मामले में, विकल्प अक्सर क्लॉडर और हॉर्टनवर्क्स के बीच बनाया जाता था, तो आज, अफसोस, हमारे पास यह विकल्प नहीं था। एक और आश्चर्य की बात यह थी कि इस वर्ष के फरवरी से, क्लाउडरा ने सार्वजनिक वितरण में अपने वितरण की द्विआधारी विधानसभाओं की रिहाई की घोषणा की, और अब वे केवल भुगतान सदस्यता द्वारा उपलब्ध हैं। बेशक, 2019 के अंत से पहले जारी सीडीएच और एचडीपी के नवीनतम संस्करणों को डाउनलोड करने की क्षमता अभी भी है, और उनके लिए एक से दो साल तक समर्थन की उम्मीद है। लेकिन आगे क्या करना है? उन लोगों के लिए,जो पहले सदस्यता के लिए भुगतान किया था, कुछ भी नहीं बदला है। और उन लोगों के लिए जो वितरण किट के एक भुगतान किए गए संस्करण पर स्विच नहीं करना चाहते हैं, लेकिन क्लस्टर घटकों के नवीनतम संस्करण, साथ ही पैच और अन्य अपडेट प्राप्त करने में सक्षम होना चाहते हैं, हमने इस लेख को तैयार किया। इसमें, हम इस स्थिति से बाहर आने के संभावित तरीकों पर विचार करेंगे।

. , . ? Arenadata Hadoop, , . Vanilla Hadoop, , “” Apache Bigtop. ? .

Arenadata Hadoop

यह एक पूरी तरह से नया और, अब तक, घरेलू विकास का अल्प-ज्ञात वितरण है। दुर्भाग्य से, फिलहाल इस बारे में हैबर पर केवल एक लेख है ।

अधिक जानकारी परियोजना की आधिकारिक वेबसाइट पर देखी जा सकती है । नवीनतम वितरण संस्करण 3 के लिए Hadoop 3.1.2 और संस्करण 2 के लिए 2.8.5 पर आधारित है।

रोडमैप पर जानकारी यहाँ से प्राप्त की जा सकती है ।

एरेनाडाटा क्लस्टर प्रबंधक इंटरफ़ेस अरिनादता का

प्रमुख उत्पाद अर्नदत्ता क्लस्टर मैनेजर (ADCM) है, जिसका उपयोग कंपनी के विभिन्न सॉफ्टवेयर समाधानों को स्थापित, कॉन्फ़िगर और मॉनिटर करने के लिए किया जाता है। एडीसीएम मुक्त है, और इसकी कार्यक्षमता को बंडल में जोड़कर विस्तारित किया गया है, जो कि एक सेट-प्लेबुक हैं। बंडलों को दो प्रकारों में विभाजित किया गया है: उद्यम और समुदाय। उत्तरार्द्ध Arenadata से मुफ्त डाउनलोड के लिए उपलब्ध हैं। अपने स्वयं के बंडल को विकसित करना और एडीसीएम से कनेक्ट करना भी संभव है।

Hadoop 3 की तैनाती और प्रबंधन के लिए, ADCM के साथ गठजोड़ के एक सामुदायिक संस्करण की पेशकश की जाती है, और Hadoff 2 के लिए केवल Apache Ambari हैविकल्प के रूप में। पैकेज के साथ रिपॉजिटरी के लिए, वे सार्वजनिक पहुंच के लिए खुले हैं, उन्हें सभी क्लस्टर घटकों के लिए सामान्य तरीके से डाउनलोड और इंस्टॉल किया जा सकता है। सामान्य तौर पर, वितरण बहुत दिलचस्प दिखता है। मुझे यकीन है कि ऐसे लोग हैं जो क्लूडेरा प्रबंधक और अंबारी के रूप में इस तरह के समाधान के लिए उपयोग किए जाते हैं, और जो खुद एडीसीएम को पसंद करेंगे। कुछ के लिए, तथ्य यह है कि वितरण किट आयात प्रतिस्थापन सॉफ्टवेयर रजिस्ट्री में शामिल है एक विशाल प्लस होगा ।

यदि हम विपक्ष के बारे में बात करते हैं, तो वे अन्य सभी हडोप वितरण के समान होंगे। अर्थात्:

तथाकथित "विक्रेता लॉक-इन"। क्लाउडरा और हॉर्टोनवर्क्स के उदाहरणों का उपयोग करते हुए, हमने पहले ही महसूस किया कि कंपनी की नीतियों को बदलने का जोखिम हमेशा रहता है।
अपाचे अपस्ट्रीम के पीछे महत्वपूर्ण अंतराल।

वेनिला हैडॉप

जैसा कि आप जानते हैं, Hadoop एक अखंड उत्पाद नहीं है, लेकिन, वास्तव में, इसकी वितरित HDFS फ़ाइल सिस्टम के आसपास सेवाओं की एक पूरी आकाशगंगा है। कुछ लोगों को एक फ़ाइल क्लस्टर की आवश्यकता होगी। एक को हाइव की जरूरत है, और दूसरे प्रेस्टो की, और वहां HBase और फीनिक्स है, स्पार्क का तेजी से उपयोग किया जा रहा है। Oozie, Sqoop, और Flume कभी-कभी ऑर्केस्ट्रेट और डाउनलोड डेटा के लिए पाए जाते हैं। और अगर सुरक्षा का मुद्दा उठता है, तो रेंजर के साथ संयोजन में केर्बोस को तुरंत याद किया जाता है।

Hadoop घटकों के द्विआधारी संस्करण प्रत्येक पारिस्थितिकी तंत्र परियोजना की वेबसाइट पर टारबॉल के रूप में उपलब्ध हैं। उन्हें डाउनलोड और इंस्टॉलेशन शुरू किया जा सकता है, लेकिन एक शर्त के साथ: "कच्ची" बायनेरिज़ से पैकेजों की स्व-असेंबली के अलावा, जो आप सबसे अधिक संभावना है कि आप चलाना चाहते हैं, आपको एक दूसरे के साथ घटकों के डाउनलोड किए गए संस्करणों की संगतता में कोई विश्वास नहीं होगा। पसंदीदा विकल्प अपाचे बिगटॉप का उपयोग करके निर्माण करना है। बिगटॉप आपको अपाचे की मावेन रिपॉजिटरी से निर्माण करने, परीक्षण चलाने और पैकेज बनाने की अनुमति देता है। लेकिन, जो हमारे लिए बहुत महत्वपूर्ण है, बिगटॉप उन घटकों के संस्करणों को इकट्ठा करेगा जो एक दूसरे के साथ संगत होंगे। हम इसके बारे में नीचे और अधिक विस्तार से बात करेंगे।

अपाचे बिगटॉप

अपाचे बिगटॉप कई
ओपन सोर्स प्रोजेक्ट्स के निर्माण, पैकेजिंग और परीक्षण के लिए एक उपकरण है , जैसे कि, उदाहरण के लिए, हडोप और ग्रीनहाउस। बिगटॉप की कई
रिलीज़ हैं। लेखन के समय, नवीनतम स्थिर रिलीज 1.4 संस्करण था,
और मास्टर में 1.5 था। रिलीज़ के विभिन्न संस्करण
घटकों के विभिन्न संस्करणों का उपयोग करते हैं। उदाहरण के लिए, 1.4 के लिए, Hadoop के मुख्य घटक 2.8.5 संस्करण, और मास्टर
2.10.0 में हैं। समर्थित घटकों की संरचना भी बदल रही है। कुछ पुराना और
गैर-नवीकरणीय छोड़ रहा है, और इसके स्थान पर कुछ नया, अधिक मांग में आता है, और
जरूरी नहीं कि अपाचे के परिवार से ही कुछ हो।

बिगटॉप में कई कांटे भी हैं ।

जब हमने बिगटॉप के साथ परिचित होना शुरू किया, तो हम अन्य अपाचे परियोजनाओं, व्यापकता और प्रसिद्धि के साथ-साथ एक बहुत छोटे समुदाय की तुलना में मुख्य रूप से इसके मामूली से आश्चर्यचकित थे। यह इस प्रकार है कि उत्पाद की जानकारी कम से कम है, और उन समस्याओं के समाधान की तलाश है जो मंचों और न्यूज़लेटर्स के माध्यम से उत्पन्न हुई हैं, वे कुछ भी उत्पादन नहीं कर सकते हैं। सबसे पहले, यह टूल की विशेषताओं के कारण वितरण किट की असेंबली को पूरा करने के लिए हमारे लिए एक मुश्किल काम बन गया, लेकिन हम इस बारे में थोड़ी देर बाद बात करेंगे।

टीज़र के रूप में, उन लोगों के लिए जो एक बार गेंटू और एलएफएस के रूप में ऐसी लिनक्स-ब्रह्मांड परियोजनाओं का दौरा करते थे, इस चीज़ के साथ काम करना और उन "पुराने" समयों को याद करना सुखद लग सकता है जब हम खुद खोजते थे (या यहां तक कि लिखे) और नियमित रूप से नए पैच मोज़िला के साथ पुनर्निर्माण किया गया।

बिगटॉप के बड़े प्लस को उन उपकरणों के खुलेपन और बहुमुखी प्रतिभा पर विचार किया जा सकता है, जिस पर यह आधारित है। इसकी नींव ग्रैडल और अपाचे मावेन है। ग्रेड को Google द्वारा Android के लिए एकत्रित किए जाने वाले टूल के रूप में माना जाता है। यह लचीला है, और, जैसा कि वे कहते हैं, "लड़ाई में परीक्षण"। मावेन अपाचे में परियोजनाओं के निर्माण के लिए एक पूर्णकालिक उपकरण है, और चूंकि इसके अधिकांश उत्पाद मावेन के माध्यम से जारी किए जाते हैं, इसलिए यह इसके बिना नहीं कर सकता था। यह पोम (प्रोजेक्ट ऑब्जेक्ट मॉडल) पर ध्यान देने योग्य है - एक "मौलिक" एक्सएमएल-फाइल जो आपके प्रोजेक्ट के साथ काम करने के लिए मावेन के लिए आवश्यक सभी चीजों के विवरण के साथ है, जिसके चारों ओर सभी काम का निर्माण होता है। यह
मावेन भाग में है कि कुछ बाधाएं उत्पन्न होती हैं जो आमतौर पर पहली बार बिगटॉप के सामने आती हैं।

अभ्यास

तो कहाँ से शुरू करें? हम डाउनलोड पृष्ठ पर जाते हैं और एक संग्रह के रूप में नवीनतम स्थिर संस्करण डाउनलोड करते हैं। बिगटॉप द्वारा संग्रहित बाइनरी कलाकृतियों को भी वहां पाया जा सकता है। वैसे, सामान्य पैकेज प्रबंधकों में, YUM और APT समर्थित हैं।

वैकल्पिक रूप से, आप नवीनतम स्थिर रिलीज को सीधे
जीथब से डाउनलोड कर सकते हैं :

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

"बिगटॉप" में क्लोनिंग ...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
 : 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, .
 : 100% (20503/20503), .
Updating files: 100% (1998/1998), .

परिणामस्वरूप ./bigtop निर्देशिका कुछ इस तरह दिखती है:

./bigtop-bigpetstore- डेमो एप्लिकेशन, सिंथेटिक उदाहरण
./bigtop-ci- सीआई उपकरण, जेनकिंस
./bigtop-data-generators- डेटा पीढ़ी, सिंथेटिक्स, धूम्रपान परीक्षण के लिए, आदि।
./bigtop-deploy- परिनियोजन उपकरण
./bigtop-packages- कॉन्फ़िगरेशन, स्क्रिप्ट, असेंबली के लिए पैच, टूल का मुख्य भाग
./bigtop-test-framework- टेस्टिंग फ्रेमवर्क
./bigtop-tests- खुद को परखता है
./bigtop_toolchain, असेंबली के लिए , स्ट्रेस और स्मोक - असेंबली के लिए वातावरण, टूल के लिए पर्यावरण की तैयारी
./build- असेंबली की वर्किंग डायरेक्टरी
./dl- डाउनलोड किए गए सोर्स के लिए डायरेक्टरी
./docker- डॉकटर में असेंबली छवियां, परीक्षण
./gradle- ग्रेड विन्यास
./output - वह निर्देशिका जिसमें विधानसभा कलाकृतियां मिलती हैं
./provisioner- प्रावधान करना

इस चरण में हमारे लिए सबसे दिलचस्प मुख्य कॉन्फ़िगरेशन है./bigtop/bigtop.bom, जिसमें हम संस्करणों के साथ सभी समर्थित घटक देखते हैं। यह वह जगह है जहां हम उत्पाद के एक अलग संस्करण को निर्दिष्ट कर सकते हैं (यदि अचानक हम इसे बनाने की कोशिश करना चाहते हैं) या विधानसभा का एक संस्करण (यदि, उदाहरण के लिए, हमने एक महत्वपूर्ण पैच जोड़ा)।

इसके अलावा महान ब्याज उपनिर्देशिका है ./bigtop/bigtop-packages, जो सीधे उनके साथ घटकों और पैकेजों की विधानसभा प्रक्रिया से संबंधित है।

तो, हमने संग्रह डाउनलोड किया, इसे अनपैक किया या जीथब के साथ एक क्लोन बनाया, क्या हम असेंबली शुरू कर सकते हैं?

नहीं, पहले पर्यावरण तैयार करें।

पर्यावरण की तैयारी

और यहां एक छोटे से विषयांतर की जरूरत है। लगभग किसी भी अधिक या कम जटिल उत्पाद का निर्माण करने के लिए, आपको एक निश्चित वातावरण की आवश्यकता होती है - हमारे मामले में, यह JDK, समान साझा लाइब्रेरी, हेडर फाइलें, आदि, उपकरण, उदाहरण के लिए, चींटी, ivy2 और बहुत कुछ है। बिगटॉप के लिए पर्यावरण को आवश्यक बनाने के विकल्पों में से एक असेंबली होस्ट पर आवश्यक घटक स्थापित करना है। कालानुक्रम में मुझसे गलती हो सकती है, लेकिन ऐसा लगता है कि संस्करण 1.0 से एक निर्माण विकल्प भी पूर्वनिर्मित और सुलभ डॉक छवियों में दिखाई दिया है, आप उन्हें यहां पा सकते हैं।

पर्यावरण की तैयारी के लिए, इसके लिए एक सहायक है - कठपुतली।

आप निम्न कमांड का उपयोग कर सकते हैं, लॉन्च
टूल के रूट डायरेक्टरी से किया गया है,./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

या सीधे कठपुतली के माध्यम से:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

दुर्भाग्य से, इस स्तर पर पहले से ही कठिनाइयाँ आ सकती हैं। यहां सामान्य सलाह है कि एक समर्थित वितरण का उपयोग करें, बिल्ड होस्ट पर तारीख तक, या डॉकटर के साथ पथ का प्रयास करें।

सभा

हम क्या इकट्ठा करने की कोशिश कर सकते हैं? इस प्रश्न का उत्तर कमांड का आउटपुट देगा

./gradlew tasks

पैकेज कार्य अनुभाग में कई उत्पाद हैं जो बिगटॉप की अंतिम कलाकृतियां हैं।
उन्हें प्रत्यय -rpm या -pkg-ind (docker में असेंबली के मामले में
) द्वारा पहचाना जा सकता है । हमारे मामले में, सबसे दिलचस्प है हडोप।

आइए हमारे बिल्ड सर्वर के वातावरण में निर्माण करने का प्रयास करें:

./gradlew hadoop-rpm

बिगटॉप खुद एक विशेष घटक के लिए आवश्यक आवश्यक स्रोतों को डाउनलोड करेगा और निर्माण शुरू करेगा। इस प्रकार, उपकरण मावेन रिपॉजिटरी और अन्य स्रोतों से बंधा हुआ है, अर्थात, इसे इंटरनेट एक्सेस की आवश्यकता है।

प्रक्रिया में, एक मानक आउटपुट बनता है। कभी-कभी आप इसे और त्रुटि संदेशों से समझ सकते हैं कि क्या गलत हुआ। और कभी-कभी आपको अधिक जानकारी की आवश्यकता होती है। इस मामले में, यह तर्क जोड़ने लायक है --info या --debug, और उपयोगी भी हो सकता है –stacktrace। मेलिंग सूचियों, कुंजी के बाद के संदर्भ के लिए डेटा सेट उत्पन्न करने का एक सुविधाजनक तरीका है --scan।

इसके साथ, बिगटॉप सभी सूचनाओं को एकत्र करेगा और इसे ग्रेडेल में डाल देगा, जिसके बाद यह एक लिंक देगा,
जिसके बाद एक सक्षम व्यक्ति यह समझने में सक्षम होगा कि असेंबली विफल क्यों हुई।
आपको यह ध्यान रखने की आवश्यकता है कि यह विकल्प सार्वजनिक रूप से आपके लिए जानकारी को अवांछनीय बना सकता है, जैसे उपयोगकर्ता नाम, नोड्स, पर्यावरण चर आदि, इसलिए सावधान रहें।

अक्सर त्रुटियां असेंबली के लिए आवश्यक किसी भी घटक को प्राप्त करने में असमर्थता का परिणाम होती हैं। एक नियम के रूप में, आप स्रोत में कुछ को ठीक करने के लिए एक पैच बनाकर समस्या को ठीक कर सकते हैं, उदाहरण के लिए, स्रोत के रूट निर्देशिका में pom.xml में पता। यह उपयुक्त ./bigtop/bigtop-packages/src/common/oozie/पैच निर्देशिका में बनाने और रखने के द्वारा किया जाता है , उदाहरण के लिए, पैच 2-fix.diff के रूप में।

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

सबसे अधिक संभावना है, इस लेख को पढ़ने के समय, उपरोक्त सुधार आपको स्वयं नहीं करना होगा।

विधानसभा तंत्र में किसी भी पैच और संपादन को शुरू करते समय, आपको सफाई आदेश के माध्यम से विधानसभा को "रीसेट" करने की आवश्यकता हो सकती है:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

यह ऑपरेशन इस घटक की विधानसभा में सभी परिवर्तनों को वापस ले जाएगा, जिसके बाद विधानसभा फिर से प्रदर्शन किया जाएगा। इस बार हम परियोजना को डॉकटर छवि में बनाने की कोशिश करेंगे:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
 
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

निर्माण CentOS के तहत किया गया था, लेकिन आप इसे Ubuntu के तहत भी कर सकते हैं:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

विभिन्न लिनक्स वितरण के लिए संकुल संयोजन के अलावा, उपकरण इकट्ठे संकुल के साथ एक रिपॉजिटरी बना सकता है, उदाहरण के लिए:

./gradlew yum

आप स्मोक टेस्ट और डॉकटर में तैनाती को भी याद कर सकते हैं।

तीन नोड का एक समूह बनाएँ:

./gradlew -Pnum_instances=3 docker-provisioner

तीन नोड्स के क्लस्टर में स्मोक टेस्ट चलाएं:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

क्लस्टर हटाएं:

./gradlew docker-provisioner-destroy

डॉकटर कंटेनर के अंदर कनेक्ट करने के लिए कमांड प्राप्त करें:

./gradlew docker-provisioner-ssh

स्थिति दिखाएं:

./gradlew docker-provisioner-status

आप दस्तावेज़ में परिनियोजन कार्यों के बारे में अधिक पढ़ सकते हैं।

अगर हम परीक्षणों के बारे में बात करते हैं, तो उनमें से बड़ी संख्या में मुख्य रूप से धूम्रपान और एकीकरण हैं। उनका विश्लेषण इस लेख के दायरे से परे है। मैं केवल यह कह सकता हूं कि वितरण किट का निर्माण उतना कठिन नहीं है जितना पहली नज़र में लग सकता है। हम उन सभी घटकों को इकट्ठा करने और पास करने में कामयाब रहे जिनका उपयोग हम अपने उत्पादों में परीक्षणों पर करते हैं, और हमें परीक्षण वातावरण में उनकी तैनाती और बुनियादी संचालन में कोई समस्या नहीं थी।

बिगटॉप में मौजूदा घटकों के अलावा, कुछ और जोड़ना संभव है, यहां तक कि अपना खुद का सॉफ्टवेयर विकास भी। यह सब पूरी तरह से स्वचालित है और सीआई / सीडी अवधारणा में फिट बैठता है।

निष्कर्ष

जाहिर है, इस तरह से बनाया गया वितरण तुरंत उत्पादन के लिए नहीं भेजा जाना चाहिए। आपको यह समझने की आवश्यकता है कि यदि आपके वितरण को बनाने और बनाए रखने की वास्तविक आवश्यकता है, तो आपको वित्तीय और समय पर निवेश करने की आवश्यकता है।

फिर भी, सही दृष्टिकोण और एक पेशेवर टीम के साथ संयोजन में, वाणिज्यिक समाधान के बिना करना काफी संभव है।

यह ध्यान रखना महत्वपूर्ण है कि बिगटॉप परियोजना को स्वयं विकसित करने की आवश्यकता है और ऐसा लगता है कि आज इसमें कोई सक्रिय विकास नहीं है। साथ ही, इसमें Hadoop 3 के दिखने की संभावना स्पष्ट नहीं है। वैसे, यदि आपको Hadoop 3 के निर्माण की वास्तविक आवश्यकता है, तो आप Arenadata से कांटा देख सकते हैं , जिसमें मानक
घटकों के अलावा , कई अतिरिक्त घटक (Ranger, Knox, NiFi) हैं।

रोस्टेलकॉम के लिए, हमारे लिए बिगटॉप आज के विकल्पों में से एक है। हम इसे रोकते हैं या नहीं, समय ही बताएगा।

अनुबंध

विधानसभा में एक नया घटक शामिल करने के लिए, आपको इसके विवरण को bigtop.bom और ./bigtop-packages में जोड़ना होगा। आप मौजूदा घटकों के साथ सादृश्य द्वारा ऐसा करने की कोशिश कर सकते हैं। यह पता लगाने की कोशिश करें। यह उतना मुश्किल नहीं है जितना पहली नज़र में लगता है।

तुम क्या सोचते हो? हमें टिप्पणियों में आपकी राय देखकर खुशी होगी और आपके ध्यान के लिए धन्यवाद!

यह लेख रोस्टेलकॉम डेटा प्रबंधन टीम द्वारा तैयार किया गया था

Apache Bigtop और Hadoop वितरण की पसंद आज