"Hadoop. ZooKeeper من سلسلة Mail.Ru Group Technostream "المعالجة الموزعة للبيانات الكبيرة في Hadoop"

أقترح أن تتعرف على فك شفرة محاضرة "Hadoop. ZooKeeper" من سلسلة "طرق المعالجة الموزعة لكميات كبيرة من البيانات في Hadoop"

ما هو ZooKeeper ، مكانه في النظام البيئي Hadoop. الحقيقة حول الحوسبة الموزعة. مخطط نظام توزيع قياسي. تعقيد تنسيق النظم الموزعة. مشاكل التنسيق النموذجية. المبادئ المجسدة في تصميم ZooKeeper. نموذج بيانات ZooKeeper. أعلام Znode. الجلسات. واجهة برمجة تطبيقات العميل البدائيون (التكوين ، عضوية المجموعة ، أقفال بسيطة ، انتخاب القائد ، القفل بدون تأثير القطيع). ZooKeeper العمارة. ZooKeeper DB. ZAB. معالج الطلب.

اليوم دعونا نتحدث عن ZooKeeper. هذا الشيء مفيد جدا إنه ، مثل أي منتج Apache Hadoop ، لديه شعار. يصور رجل.

, , , . . - - . . ZooKeeper – , . , , .

, , . , MapReduce , , . , , . MapReduce - , . MapReduce , , , . , ZooKeeper.

, Hadoop, Yahoo! Apache. HBase. JIRA HBase, , - , . . . ZooKeeper, , , , . , Hadoop. , , , .

, - , . , , . , , ZooKeeper, . . – , . HDFS, MapReduce , . , ZooKeeper. - , .

? , , , . , , , , , , - , . TCP, , . TCP . . - . . , , . , - , , . .

, , latency. , . Latency – - , , .

. – . -, , , . , . . . , , . .

. , - . , - Hadoop. . , . , - , , . - . .

, , -, . , , cat . – Vim . , . Vim , , , - . , , .

, .

, , , . – ? , . , ? , , - . - , , - , - . , -, - , ?

, . , – , - .

, , , - , – ? - race condition, , , - ? - . .

– . , , , .

, , , , . , , , . - , , , . , , . . . . - , , .

ZooKeeper. – , , , .

, . , – HDFS, HBase. -, , slave-. , , , .

– Coordination Service, . . , - backup stanby , . , . backup. - , , backup. Coordination Service. , .

– , . , . - , . , - slaves, , , . .

, , -slaves, . , . , Cassandra, .

, . .

- , , , , . – , , , . - , . . .

(), , , .

– partial failures. , , - , , , , , . . .

, . – , . . , .

ZooKeeper , .

, , , , , . , shared-nothing. , , , , , .

, shared memory . context switch, . . , , .

, , , . - . , , , , , , . , , , , . , .

. , , , , . . , .

. , , .

? , ? , , , . -, , - , - . - , , - . , . . , , .

– group membership. - , – , . , , , , . , , .

– leader election, , . – , - , . , , . , , , .

– mutually exclusive access. . , , - , , , . - . , , -. , , locks.

ZooKeeper . , .

. - , - . , , - . .

.

- , , .

ZooKeeper . – standalone, . . , . – 100 , , 100 . , ZooKeeper. high availability. ZooKeeper . , . , . – , , – . , .

. , , . .

, - . - . , , , . . – . – -? . watch mechanism, , - . .

Client – , ZooKeeper.

Server – ZooKeeper.

Znode – ZooKeeper. znode ZooKeeper , .

. – update/write, - . .

, , , ZooKeeper.

ZooKeeper . , . , . znodes.

znode - , , , 10 . znode - .

Znode . . znode , .

. – ephemeral flag. Znode - . , . , . , - . , .

– sequential flag. znode. , 1_5. , p_1, – p_2. , , , , – sequential.

znode. , .

– watch flag. , - . , . ZooKeeper , . , - . , - , .

, . , , .

. , , . - .

- . , - . , , .

, API . , , create znode . znode, . - , . . znode.

– . , , znode . , znode, , , , .

, «-1».

– znode. true, , false.

flag watch, .

flag , . .

– getData. , znode . flag watch. , . , , .

SetData. version. , znode .

«-1», .

– getChildren. znode, . , flag watch.

sync , , .

, , , write, - , , , . , , , , .

. . , .

, , update/write, . create, setData, sync, delete. read – exists, getData, getChildren.

, . , -. . , . . ZooKeeper? , ? , , , , ?

ZooKeeper . , znode. , , . , . , , .

getData . true. - , , , , . , - , true. , .

SetData. , «-1», . . , , , . , . , , , . , , , - . , , . , , . .

– group membership. , , . , . -, - , .

? workers create. . sequential , . children , , .

, Java-. , main. , . host, , . . . – .

? API, . . ZooKeeper. hosts. , , 5 . , connectedSignal. , . , - . persistent. , , . . . , . , close , . , - , ZooKeeper .

- ? . , - , . , , lock1. , , lock . , getData , . . , watcher , , . . , lock, , lock , , . . . , . lock , , - .

, . , . ? , . . , . . - , . , .

- , , , . , . - , , .

, , herd effect, . . , , , , , .

, . , lock, hert effect. , id lock. , lock , , , , lock. , lock. , id, lock, . , .

id, lock, watcher , - . . . lock. , id lock, . , lock, - .

ZooKeeper? 4 . – Request. ZooKeeper Atomic Broadcast. Commit Log, . In-memory Replicated DB, . . , .

, Request Processor. In-memory .

. instances ZooKeeper .

, Commit log. , , , log . .

ZooKeeper Atomic Broadcast – , .

ZAB ZooKeeper. , - . , . , . , , , . . broadcasting , .

write request. , transactional update. .

وهنا تجدر الإشارة إلى أن استكمالية التحديثات للعملية نفسها مضمونة. ما هذا؟ هذا الشيء ، إذا تم تنفيذه مرتين ، فسيكون له نفس الحالة ، أي أن الطلب نفسه لن يتغير من هذا. وتحتاج إلى القيام بذلك حتى في حالة السقوط ، يمكنك إعادة تشغيل العملية ، وبالتالي تمرير التغييرات التي سقطت في الوقت الحالي. في هذه الحالة ، ستصبح حالة النظام كما هي ، أي لا ينبغي أن تكون سلسلة من نفس ، على سبيل المثال ، عمليات التحديث ، تؤدي إلى حالات نهائية مختلفة للنظام.