Get best of the week

Apache Bigtop dan pilihan distribusi Hadoop hari ini



Mungkin bukan rahasia lagi bahwa tahun lalu adalah tahun perubahan besar bagi Apache Hadoop. Tahun lalu, Cloudera dan Hortonworks bergabung (pada dasarnya pengambilalihan yang kedua), dan Mapr, karena masalah keuangan yang serius, dijual ke Hewlett Packard. Dan jika beberapa tahun sebelumnya, dalam hal instalasi di tempat, pilihan seringkali harus dibuat antara Cloudera dan Hortonworks, hari ini, sayangnya, kami tidak memiliki pilihan ini. Kejutan lain adalah fakta bahwa sejak Februari tahun ini, Cloudera mengumumkan penghentian rilis rakitan biner distribusinya ke dalam repositori publik, dan sekarang mereka hanya tersedia dengan berlangganan berbayar. Tentu saja, kemampuan untuk mengunduh versi terbaru CDH dan HDP, dirilis sebelum akhir 2019, masih ada, dan dukungan untuk mereka diharapkan untuk satu hingga dua tahun. Tapi apa yang harus dilakukan selanjutnya? Untuk mereka,yang sebelumnya membayar langganan, tidak ada yang berubah. Dan bagi mereka yang tidak ingin beralih ke versi berbayar dari kit distribusi, tetapi ingin bisa mendapatkan versi terbaru dari komponen cluster, serta tambalan dan pembaruan lainnya, kami menyiapkan artikel ini. Di dalamnya, kami akan mempertimbangkan kemungkinan cara keluar dari situasi ini.

. , . ? Arenadata Hadoop, , . Vanilla Hadoop, , “” Apache Bigtop. ? .

Arenadata Hadoop




Ini adalah distribusi yang benar-benar baru dan, sejauh ini, hanya sedikit diketahui pembangunan domestik. Sayangnya, saat ini hanya ada artikel tentang Habré ini .

Informasi lebih lanjut dapat ditemukan di situs web resmi proyek. Distribusi terbaru didasarkan pada Hadoop 3.1.2 untuk versi 3, dan 2.8.5 untuk versi 2.

Informasi tentang peta jalan dapat ditemukan di sini .


Arenadata Cluster Manager Interface Produk

utama Arenadata adalah Arenadata Cluster Manager (ADCM), yang digunakan untuk menginstal, mengkonfigurasi dan memantau berbagai solusi perangkat lunak perusahaan. ADCM gratis, dan fungsinya diperluas dengan menambahkan bundel ke dalamnya, yang merupakan serangkaian buku pedoman yang memungkinkan. Bundel dibagi menjadi dua jenis: perusahaan dan komunitas. Yang terakhir tersedia untuk diunduh gratis dari Arenadata. Dimungkinkan juga untuk mengembangkan bundel Anda sendiri dan menghubungkannya ke ADCM.

Untuk penerapan dan pengelolaan Hadoop 3, versi komunitas bundel bersama dengan ADCM ditawarkan, dan untuk hadoop 2 hanya ada Apache Ambarisebagai alternatif. Adapun repositori dengan paket, mereka terbuka untuk akses publik, mereka dapat diunduh dan diinstal dengan cara biasa untuk semua komponen cluster. Secara umum, distribusinya terlihat sangat menarik. Saya yakin ada orang yang terbiasa dengan solusi seperti Cloudera Manager dan Ambari, dan yang akan menyukai ADCM itu sendiri. Bagi sebagian orang, fakta bahwa kit distribusi termasuk dalam registri perangkat lunak substitusi impor juga akan menjadi nilai tambah yang besar .

Jika kita berbicara tentang kontra, mereka akan sama dengan semua distribusi Hadoop lainnya. Yaitu:

  • Yang disebut "vendor lock-in". Dengan menggunakan contoh Cloudera dan Hortonworks, kami telah menyadari bahwa selalu ada risiko mengubah kebijakan perusahaan.
  • Kelambatan signifikan di belakang Apache hulu.

Vanilla hadoop




Seperti yang Anda ketahui, Hadoop bukan produk monolitik, tetapi, pada kenyataannya, seluruh galaksi layanan di sekitar sistem file HDFS yang didistribusikan. Hanya sedikit orang yang membutuhkan satu file cluster. Satu kebutuhan Hive, dan Presto lainnya, dan ada HBase dan Phoenix, Spark semakin digunakan. Oozie, Sqoop, dan Flume terkadang ditemukan untuk mengatur dan mengunduh data. Dan jika masalah keamanan muncul, Kerberos bersama Ranger segera diingat.

Versi biner dari komponen Hadoop tersedia di situs web setiap proyek ekosistem dalam bentuk tarbal. Mereka dapat diunduh dan instalasi dimulai, tetapi dengan satu syarat: selain merakit sendiri paket dari binari "mentah", yang kemungkinan besar ingin Anda jalankan, Anda tidak akan memiliki kepercayaan diri dalam kompatibilitas versi komponen yang diunduh satu sama lain. Opsi yang lebih disukai adalah membangun menggunakan Apache Bigtop. Bigtop memungkinkan Anda untuk membangun dari repositori maven Apache, menjalankan tes, dan membangun paket. Tapi, yang sangat penting bagi kami, Bigtop akan mengumpulkan versi komponen yang akan kompatibel satu sama lain. Kami akan membicarakannya secara lebih rinci di bawah ini.

Apache bigtop




Apache Bigtop adalah alat untuk membangun, mengemas dan menguji sejumlah
proyek sumber terbuka, seperti, misalnya, Hadoop dan Greenplum. Bigtop memiliki banyak
rilis. Pada saat penulisan, rilis stabil terbaru adalah versi 1.4,
dan master adalah 1,5. Versi rilis yang berbeda menggunakan versi
komponen yang berbeda . Sebagai contoh, untuk 1.4, komponen inti Hadoop adalah versi 2.8.5, dan master
2.10.0. Komposisi komponen yang didukung juga berubah. Sesuatu yang ketinggalan zaman dan
tidak dapat diperbarui meninggalkannya, dan sebagai gantinya muncul sesuatu yang baru, lebih banyak diminati, dan
belum tentu sesuatu dari keluarga Apache itu sendiri.

Bigtop juga memiliki banyak garpu .

Ketika kami mulai berkenalan dengan Bigtop, kami terutama terkejut dengan kesederhanaannya, dibandingkan dengan proyek-proyek Apache lainnya, prevalensi dan ketenaran, serta komunitas yang sangat kecil. Oleh karena itu ada minimum informasi produk, dan pencarian solusi untuk masalah yang muncul melalui forum dan buletin mungkin tidak menghasilkan apa-apa sama sekali. Pada awalnya, ternyata menjadi tugas yang sulit bagi kami untuk menyelesaikan perakitan kit distribusi karena fitur alat itu sendiri, tetapi kami akan membicarakannya nanti.

Sebagai penggoda, bagi mereka yang pernah mengunjungi proyek-proyek Linux-universe seperti Gentoo dan LFS, mungkin nostalgia menyenangkan untuk bekerja dengan hal ini dan mengingat saat-saat "dulu" ketika kita sendiri mencari (atau bahkan menulis) ebuild dan secara teratur dibangun kembali dengan mozilla tambalan baru.

Nilai tambah besar dari Bigtop dapat dianggap sebagai keterbukaan dan keserbagunaan alat yang menjadi dasarnya. Yayasannya adalah Gradle dan Apache Maven. Gradle cukup terkenal sebagai alat Google mengumpulkan Android untuk. Itu fleksibel, dan, seperti yang mereka katakan, "diuji dalam pertempuran". Maven adalah alat penuh waktu untuk membangun proyek di Apache sendiri, dan karena sebagian besar produknya dirilis melalui Maven, ia tidak dapat melakukannya tanpa itu. Perlu memperhatikan POM (model objek proyek) - file xml "mendasar" dengan deskripsi segala sesuatu yang diperlukan Maven untuk bekerja dengan proyek Anda, di mana semua pekerjaan dibangun. Di
bagian Maven bahwa beberapa hambatan muncul yang biasanya ditemui untuk pertama kalinya ketika mereka mengambil Bigtop.

Praktek


Jadi dari mana harus memulai? Kami pergi ke halaman unduhan dan mengunduh versi stabil terbaru sebagai arsip. Artefak biner yang dikumpulkan oleh Bigtop juga dapat ditemukan di sana. By the way, dari manajer paket umum, YUM dan APT didukung.

Atau, Anda dapat mengunduh rilis stabil terbaru langsung dari
github:

$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git

Mengkloning di "bigtop" ...

remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
 : 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, .
 : 100% (20503/20503), .
Updating files: 100% (1998/1998), .

Direktori ./bigtop yang dihasilkan terlihat seperti ini:

./bigtop-bigpetstore- aplikasi demo, contoh sintetik
./bigtop-ci- alat CI, jenkins
./bigtop-data-generators- pembuatan data, sintetis, untuk pengujian asap, dll.
./bigtop-deploy- alat penyebaran
./bigtop-packages- konfigurasi, skrip, tambalan untuk perakitan, bagian utama dari alat
./bigtop-test-framework- kerangka pengujian
./bigtop-tests- menguji sendiri, tekanan dan asap
./bigtop_toolchain- lingkungan untuk perakitan, persiapan lingkungan untuk alat untuk bekerja
./build- direktori kerja perakitan
./dl- direktori untuk sumber yang diunduh
./docker- perakitan di docker- gambar, pengujian
./gradle- konfigurasi gradle
./output - direktori tempat perakitan artefak masuk
./provisioner- penyediaan

Yang paling menarik bagi kita pada tahap ini adalah konfigurasi utama./bigtop/bigtop.bom, di mana kita melihat semua komponen yang didukung dengan versi. Di sinilah kami dapat menentukan versi produk yang berbeda (jika tiba-tiba kami ingin mencoba membuatnya) atau versi perakitan (jika, misalnya, kami menambahkan tambalan signifikan).

Yang juga sangat menarik adalah subdirektori ./bigtop/bigtop-packages, yang secara langsung terkait dengan proses perakitan komponen dan paket dengannya.

Jadi, kami mengunduh arsip, membongkar atau membuat klon dengan github, dapatkah kami memulai perakitan?

Tidak, pertama-tama persiapkan lingkungan.

Persiapan lingkungan


Dan di sini diperlukan penyimpangan kecil. Untuk membangun hampir semua produk yang kurang lebih kompleks, Anda memerlukan lingkungan tertentu - dalam kasus kami, ini adalah JDK, pustaka bersama yang sama, file header, dll. Alat, misalnya, semut, ivy2, dan banyak lagi. Salah satu opsi untuk mendapatkan lingkungan yang diperlukan untuk Bigtop adalah menginstal komponen yang diperlukan pada host perakitan. Saya mungkin keliru dalam kronologi, tetapi tampaknya dari versi 1.0 ada juga opsi build pada gambar buruh pelabuhan yang telah dikonfigurasikan sebelumnya dan dapat diakses, Anda dapat menemukannya di sini.

Adapun persiapan lingkungan, ada asisten untuk ini - Wayang.

Anda dapat menggunakan perintah berikut, peluncuran dilakukan dari direktori root
alat,./bigtop:

./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules

Atau langsung melalui boneka:

puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"

Sayangnya, kesulitan mungkin timbul sudah pada tahap ini. Saran umum di sini adalah menggunakan distribusi yang didukung, terkini pada build host, atau coba jalur dengan buruh pelabuhan.

Majelis


Apa yang bisa kita coba kumpulkan? Jawaban untuk pertanyaan ini akan memberikan output dari perintah

./gradlew tasks

Bagian Tugas paket memiliki sejumlah produk yang merupakan artefak akhir dari Bigtop.
Mereka dapat diidentifikasi dengan suffix -rpm atau -pkg-ind (dalam kasus perakitan
di buruh pelabuhan). Dalam kasus kami, yang paling menarik adalah Hadoop.

Mari kita coba membangun di lingkungan server build kami:

./gradlew hadoop-rpm

Bigtop sendiri akan mengunduh sumber yang diperlukan untuk komponen tertentu dan mulai membangun. Dengan demikian, alat ini terkait dengan repositori Maven dan sumber lain, yaitu, membutuhkan akses Internet.

Dalam prosesnya, output standar terbentuk. Terkadang Anda bisa mengerti darinya dan pesan kesalahan apa yang salah. Dan terkadang Anda memerlukan informasi lebih lanjut. Dalam hal ini, ada baiknya menambahkan argumen --info atau --debug, dan mungkin juga bermanfaat –stacktrace. Ada cara mudah untuk menghasilkan set data untuk referensi selanjutnya ke milis, kuncinya --scan.

Dengan itu, bigtop akan mengumpulkan semua informasi dan meletakkannya dalam gradle, setelah itu akan memberikan tautan,
setelah itu orang yang kompeten akan dapat memahami mengapa perakitan gagal.
Anda perlu diingat bahwa opsi ini dapat membuat informasi yang tidak diinginkan untuk Anda publik, seperti nama pengguna, node, variabel lingkungan, dll., Jadi berhati-hatilah.

Seringkali kesalahan adalah hasil dari ketidakmampuan untuk mendapatkan komponen yang diperlukan untuk perakitan. Sebagai aturan, Anda bisa memperbaiki masalah dengan membuat tambalan untuk memperbaiki sesuatu di sumber, misalnya, alamat di pom.xml di direktori root sumber. Ini dilakukan dengan membuat dan menempatkannya di direktori ./bigtop/bigtop-packages/src/common/oozie/patch yang sesuai , misalnya, dalam bentuk patch2-fix.diff.

--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>

Kemungkinan besar, pada saat membaca artikel ini, koreksi di atas tidak perlu Anda lakukan sendiri.

Saat memperkenalkan tambalan dan pengeditan apa pun ke dalam mekanisme perakitan, Anda mungkin perlu "mengatur ulang" perakitan melalui perintah pembersihan:

./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executed

Operasi ini akan memutar kembali semua perubahan dalam perakitan komponen ini, setelah itu perakitan akan dilakukan lagi. Kali ini kami akan mencoba membangun proyek dengan gambar buruh pelabuhan:

./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
 
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executed

Build dilakukan di bawah CentOS, tetapi Anda juga bisa melakukannya di bawah Ubuntu:

./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-ind

Selain merakit paket untuk berbagai distribusi Linux, alat ini dapat membuat repositori dengan paket rakitan, misalnya:

./gradlew yum

Anda mungkin juga mengingat tes asap dan penyebaran di buruh pelabuhan.

Buat sekelompok tiga simpul:

./gradlew -Pnum_instances=3 docker-provisioner

Jalankan tes asap di sekelompok tiga node:

./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisioner

Hapus kluster:

./gradlew docker-provisioner-destroy

Dapatkan perintah untuk menghubungkan wadah buruh pelabuhan di dalam:

./gradlew docker-provisioner-ssh

Tampilkan status:

./gradlew docker-provisioner-status

Anda dapat membaca lebih lanjut tentang tugas Penempatan dalam dokumentasi.

Jika kita berbicara tentang tes, maka ada cukup banyak dari mereka, terutama yang merokok dan yang terintegrasi. Analisis mereka berada di luar cakupan artikel ini. Saya hanya bisa mengatakan bahwa membangun kit distribusi tidak sesulit kelihatannya pada pandangan pertama. Kami berhasil mengumpulkan dan lulus semua komponen yang kami gunakan dalam produk kami pada pengujian, dan kami juga tidak punya masalah dengan penyebaran dan operasi dasar mereka di lingkungan pengujian.

Selain komponen yang ada di Bigtop, dimungkinkan untuk menambahkan sesuatu yang lain, bahkan pengembangan perangkat lunak Anda sendiri. Semua ini sepenuhnya otomatis dan sesuai dengan konsep CI / CD.

Kesimpulan


Jelas, distribusi yang dibangun dengan cara ini seharusnya tidak segera dikirim ke produksi. Anda perlu memahami bahwa jika ada kebutuhan nyata untuk membangun dan mempertahankan distribusi Anda, maka Anda perlu berinvestasi secara finansial dan waktu.

Namun demikian, dalam kombinasi dengan pendekatan yang tepat dan tim profesional, sangat mungkin dilakukan tanpa solusi komersial.

Penting untuk dicatat bahwa proyek Bigtop sendiri perlu dikembangkan dan tampaknya saat ini tidak ada pengembangan aktif di dalamnya. Selain itu, prospek penampilan Hadoop 3 di dalamnya tidak jelas. Omong-omong, jika Anda benar-benar membutuhkan untuk membangun Hadoop 3, Anda dapat melihat garpu dari Arenadata, di mana, selain
komponen standar , ada sejumlah komponen tambahan (Ranger, Knox, NiFi).

Adapun Rostelecom, bagi kami Bigtop adalah salah satu opsi yang dipertimbangkan hari ini. Apakah kita menghentikannya atau tidak, waktu akan memberi tahu.

Lampiran


Untuk memasukkan komponen baru dalam perakitan, Anda perlu menambahkan deskripsinya di bigtop.bom dan ./bigtop-packages. Anda dapat mencoba melakukan ini dengan analogi dengan komponen yang ada. Coba cari tahu. Ini tidak sesulit kelihatannya pada pandangan pertama.

Bagaimana menurut anda? Kami akan senang melihat pendapat Anda di komentar dan terima kasih atas perhatian Anda!

Artikel ini disiapkan oleh tim manajemen data Rostelecom

More articles:


All Articles