"Hadoop। ZooKeeper "Mail.Ru Group Technostream श्रृंखला से" Hadoop में बड़े डेटा का वितरण किया गया "

मेरा सुझाव है कि आप "होदोप में लुडोपर" के व्याख्यान के डिकोडिंग के साथ खुद को परिचित करें "हैडोप में बड़ी मात्रा में डेटा के वितरित प्रसंस्करण के तरीके"

ज़ूकिपर क्या है, हडोप इकोसिस्टम में इसका स्थान है। वितरित कंप्यूटिंग के बारे में सच्चाई। एक मानक वितरित प्रणाली की योजना। वितरित प्रणालियों के समन्वय की जटिलता। विशिष्ट समन्वय समस्याएं। ज़ूकीपर के डिजाइन में सिद्धांतों को अपनाया गया। ZooKeeper डेटा मॉडल। Znode झंडे। सत्र। क्लाइंट एपीआई आदिम (विन्यास, समूह सदस्यता, सरल ताले, नेता चुनाव, झुंड प्रभाव के बिना ताला लगाना)। चिड़ियाघर कीपर वास्तुकला। चिड़ियाघरकीपर डी.बी. Zab। हैंडलर का अनुरोध करें।

आज बात करते हैं चिड़ियाघर कीपर की। यह चीज बहुत उपयोगी है। यह किसी भी अपाचे Hadoop उत्पाद की तरह, एक लोगो है। इसमें एक आदमी को दर्शाया गया है।

, , , . . - - . . ZooKeeper – , . , , .

, , . , MapReduce , , . , , . MapReduce - , . MapReduce , , , . , ZooKeeper.

, Hadoop, Yahoo! Apache. HBase. JIRA HBase, , - , . . . ZooKeeper, , , , . , Hadoop. , , , .

, - , . , , . , , ZooKeeper, . . – , . HDFS, MapReduce , . , ZooKeeper. - , .

? , , , . , , , , , , - , . TCP, , . TCP . . - . . , , . , - , , . .

, , latency. , . Latency – - , , .

. – . -, , , . , . . . , , . .

. , - . , - Hadoop. . , . , - , , . - . .

, , -, . , , cat . – Vim . , . Vim , , , - . , , .

, .

, , , . – ? , . , ? , , - . - , , - , - . , -, - , ?

, . , – , - .

, , , - , – ? - race condition, , , - ? - . .

– . , , , .

, , , , . , , , . - , , , . , , . . . . - , , .

ZooKeeper. – , , , .

, . , – HDFS, HBase. -, , slave-. , , , .

– Coordination Service, . . , - backup stanby , . , . backup. - , , backup. Coordination Service. , .

– , . , . - , . , - slaves, , , . .

, , -slaves, . , . , Cassandra, .

, . .

- , , , , . – , , , . - , . . .

(), , , .

– partial failures. , , - , , , , , . . .

, . – , . . , .

ZooKeeper , .

, , , , , . , shared-nothing. , , , , , .

, shared memory . context switch, . . , , .

, , , . - . , , , , , , . , , , , . , .

. , , , , . . , .

. , , .

? , ? , , , . -, , - , - . - , , - . , . . , , .

– group membership. - , – , . , , , , . , , .

– leader election, , . – , - , . , , . , , , .

– mutually exclusive access. . , , - , , , . - . , , -. , , locks.

ZooKeeper . , .

. - , - . , , - . .

.

- , , .

ZooKeeper . – standalone, . . , . – 100 , , 100 . , ZooKeeper. high availability. ZooKeeper . , . , . – , , – . , .

. , , . .

, - . - . , , , . . – . – -? . watch mechanism, , - . .

Client – , ZooKeeper.

Server – ZooKeeper.

Znode – ZooKeeper. znode ZooKeeper , .

. – update/write, - . .

, , , ZooKeeper.

ZooKeeper . , . , . znodes.

znode - , , , 10 . znode - .

Znode . . znode , .

. – ephemeral flag. Znode - . , . , . , - . , .

– sequential flag. znode. , 1_5. , p_1, – p_2. , , , , – sequential.

znode. , .

– watch flag. , - . , . ZooKeeper , . , - . , - , .

, . , , .

. , , . - .

- . , - . , , .

, API . , , create znode . znode, . - , . . znode.

– . , , znode . , znode, , , , .

, «-1».

– znode. true, , false.

flag watch, .

flag , . .

– getData. , znode . flag watch. , . , , .

SetData. version. , znode .

«-1», .

– getChildren. znode, . , flag watch.

sync , , .

, , , write, - , , , . , , , , .

. . , .

, , update/write, . create, setData, sync, delete. read – exists, getData, getChildren.

, . , -. . , . . ZooKeeper? , ? , , , , ?

ZooKeeper . , znode. , , . , . , , .

getData . true. - , , , , . , - , true. , .

SetData. , «-1», . . , , , . , . , , , . , , , - . , , . , , . .

– group membership. , , . , . -, - , .

? workers create. . sequential , . children , , .

, Java-. , main. , . host, , . . . – .

? API, . . ZooKeeper. hosts. , , 5 . , connectedSignal. , . , - . persistent. , , . . . , . , close , . , - , ZooKeeper .

- ? . , - , . , , lock1. , , lock . , getData , . . , watcher , , . . , lock, , lock , , . . . , . lock , , - .

, . , . ? , . . , . . - , . , .

- , , , . , . - , , .

, , herd effect, . . , , , , , .

, . , lock, hert effect. , id lock. , lock , , , , lock. , lock. , id, lock, . , .

id, lock, watcher , - . . . lock. , id lock, . , lock, - .

ZooKeeper? 4 . – Request. ZooKeeper Atomic Broadcast. Commit Log, . In-memory Replicated DB, . . , .

, Request Processor. In-memory .

. instances ZooKeeper .

, Commit log. , , , log . .

ZooKeeper Atomic Broadcast – , .

ZAB ZooKeeper. , - . , . , . , , , . . broadcasting , .

write request. , transactional update. .

और यहां यह ध्यान देने योग्य है कि एक ही ऑपरेशन के लिए अपडेट की बेवकूफी की गारंटी है। यह क्या है? यह चीज, यदि दो बार प्रदर्शन किया जाता है, तो इसकी एक ही स्थिति होगी, अर्थात अनुरोध स्वयं इससे नहीं बदलेगा। और आपको ऐसा करने की आवश्यकता है ताकि गिरने की स्थिति में, आप ऑपरेशन को फिर से शुरू कर सकें, जिससे उस समय हुए बदलावों को पूरा किया जा सके। इस स्थिति में, सिस्टम की स्थिति समान हो जाएगी, अर्थात यह ऐसा नहीं होना चाहिए कि उसी की एक श्रृंखला, उदाहरण के लिए, अद्यतन प्रक्रियाएं, सिस्टम के विभिन्न अंतिम राज्यों की ओर ले जाती हैं।