"Hadoop. ZooKeeper »de la série Technostream de Mail.Ru Group« Traitement distribué de grandes données dans Hadoop »

Je vous suggère de vous familiariser avec le décodage de la conférence "Hadoop. ZooKeeper" de la série "Méthodes de traitement distribué de grandes quantités de données dans Hadoop"

Qu'est-ce que ZooKeeper, sa place dans l'écosystème Hadoop. La vérité sur l'informatique distribuée. Schéma d'un système distribué standard. La complexité de la coordination des systèmes distribués. Problèmes de coordination typiques. Les principes incarnés dans la conception de ZooKeeper. Modèle de données ZooKeeper. Drapeaux Znode. Sessions. API client Primitives (configuration, appartenance à un groupe, verrous simples, élection de leaders, verrouillage sans effet de troupeau). Architecture de ZooKeeper. ZooKeeper DB. ZAB. Gestionnaire de requêtes.

Aujourd'hui, parlons de ZooKeeper. Cette chose est très utile. Comme tout produit Apache Hadoop, il a un logo. Il représente un homme.

, , , . . - - . . ZooKeeper – , . , , .

, , . , MapReduce , , . , , . MapReduce - , . MapReduce , , , . , ZooKeeper.

, Hadoop, Yahoo! Apache. HBase. JIRA HBase, , - , . . . ZooKeeper, , , , . , Hadoop. , , , .

, - , . , , . , , ZooKeeper, . . – , . HDFS, MapReduce , . , ZooKeeper. - , .

? , , , . , , , , , , - , . TCP, , . TCP . . - . . , , . , - , , . .

, , latency. , . Latency – - , , .

. – . -, , , . , . . . , , . .

. , - . , - Hadoop. . , . , - , , . - . .

, , -, . , , cat . – Vim . , . Vim , , , - . , , .

, .

, , , . – ? , . , ? , , - . - , , - , - . , -, - , ?

, . , – , - .

, , , - , – ? - race condition, , , - ? - . .

– . , , , .

, , , , . , , , . - , , , . , , . . . . - , , .

ZooKeeper. – , , , .

, . , – HDFS, HBase. -, , slave-. , , , .

– Coordination Service, . . , - backup stanby , . , . backup. - , , backup. Coordination Service. , .

– , . , . - , . , - slaves, , , . .

, , -slaves, . , . , Cassandra, .

, . .

- , , , , . – , , , . - , . . .

(), , , .

– partial failures. , , - , , , , , . . .

, . – , . . , .

ZooKeeper , .

, , , , , . , shared-nothing. , , , , , .

, shared memory . context switch, . . , , .

, , , . - . , , , , , , . , , , , . , .

. , , , , . . , .

. , , .

? , ? , , , . -, , - , - . - , , - . , . . , , .

– group membership. - , – , . , , , , . , , .

– leader election, , . – , - , . , , . , , , .

– mutually exclusive access. . , , - , , , . - . , , -. , , locks.

ZooKeeper . , .

. - , - . , , - . .

.

- , , .

ZooKeeper . – standalone, . . , . – 100 , , 100 . , ZooKeeper. high availability. ZooKeeper . , . , . – , , – . , .

. , , . .

, - . - . , , , . . – . – -? . watch mechanism, , - . .

Client – , ZooKeeper.

Server – ZooKeeper.

Znode – ZooKeeper. znode ZooKeeper , .

. – update/write, - . .

, , , ZooKeeper.

ZooKeeper . , . , . znodes.

znode - , , , 10 . znode - .

Znode . . znode , .

. – ephemeral flag. Znode - . , . , . , - . , .

– sequential flag. znode. , 1_5. , p_1, – p_2. , , , , – sequential.

znode. , .

– watch flag. , - . , . ZooKeeper , . , - . , - , .

, . , , .

. , , . - .

- . , - . , , .

, API . , , create znode . znode, . - , . . znode.

– . , , znode . , znode, , , , .

, «-1».

– znode. true, , false.

flag watch, .

flag , . .

– getData. , znode . flag watch. , . , , .

SetData. version. , znode .

«-1», .

– getChildren. znode, . , flag watch.

sync , , .

, , , write, - , , , . , , , , .

. . , .

, , update/write, . create, setData, sync, delete. read – exists, getData, getChildren.

, . , -. . , . . ZooKeeper? , ? , , , , ?

ZooKeeper . , znode. , , . , . , , .

getData . true. - , , , , . , - , true. , .

SetData. , «-1», . . , , , . , . , , , . , , , - . , , . , , . .

– group membership. , , . , . -, - , .

? workers create. . sequential , . children , , .

, Java-. , main. , . host, , . . . – .

? API, . . ZooKeeper. hosts. , , 5 . , connectedSignal. , . , - . persistent. , , . . . , . , close , . , - , ZooKeeper .

- ? . , - , . , , lock1. , , lock . , getData , . . , watcher , , . . , lock, , lock , , . . . , . lock , , - .

, . , . ? , . . , . . - , . , .

- , , , . , . - , , .

, , herd effect, . . , , , , , .

, . , lock, hert effect. , id lock. , lock , , , , lock. , lock. , id, lock, . , .

id, lock, watcher , - . . . lock. , id lock, . , lock, - .

ZooKeeper? 4 . – Request. ZooKeeper Atomic Broadcast. Commit Log, . In-memory Replicated DB, . . , .

, Request Processor. In-memory .

. instances ZooKeeper .

, Commit log. , , , log . .

ZooKeeper Atomic Broadcast – , .

ZAB ZooKeeper. , - . , . , . , , , . . broadcasting , .

write request. , transactional update. .

Et ici, il convient de noter que l'idempotence des mises à jour pour la même opération est garantie. Ce que c'est? Cette chose, si elle est effectuée deux fois, aura le même état, c'est-à-dire que la demande elle-même ne changera pas de cela. Et vous devez le faire pour qu'en cas de chute, vous puissiez redémarrer l'opération, ce qui annule les modifications qui sont tombées en ce moment. Dans ce cas, l'état du système deviendra le même, c'est-à-dire qu'il ne devrait pas être tel qu'une série des mêmes, par exemple des processus de mise à jour, conduise à différents états finaux du système.