तीन-नोड चिड़ियाघरकीपर क्लस्टर कॉन्फ़िगरेशन और अपाचे काफ्का दलाल

स्थापना और सेटअप

wget http://mirror.linux-ia64.org/apache/kafka/2.4.1/kafka_2.12-2.4.1.tgz
tar -xvzf kafka_2.12-2.4.1.tgz 

mv kafka_2.12-2.4.1 kafka_server_1
cp -r kafka_server_1/ kafka_server_2/
cp -r kafka_server_1/ kafka_server_3/

vim config/server.properties

• दलाल आईडी (0, 1, 2 क्रमशः)
• क्लाइंट पोर्ट (9092, 9093, 9094)
• ज़ूकिपर पोर्ट (2181, 2182, 2183)
• लॉग निर्देशिका (/ tmp / kafka-log-1, / tmp / kafka-log-2, / tmp / kafka-log-3)

broker.id=0
listeners=PLAINTEXT://:9092
zookeeper.connect=localhost:2181   
log.dirs=/tmp/kafka-logs-1

vim config/zookeeper.properties

• डेटा के लिए निर्देशिका (/ tmp / zookeeper_1, / tmp / zookeeper_2, / tmp / zookeeper_3)
• क्लाइंट पोर्ट (2181, 2182, 2183)
• क्लाइंट कनेक्शन और कनेक्शन सीमा की अधिकतम संख्या
• नोड्स के बीच डेटा विनिमय के लिए पोर्ट (यानी, हम प्रत्येक नोड को दूसरों के अस्तित्व के बारे में सूचित करते हैं)

dataDir=/tmp/zookeeper_1
clientPort=2181
maxClientCnxns=60
initLimit=10
syncLimit=5
tickTime=2000
server.1=localhost:2888:3888
server.2=localhost:2889:3889
server.3=localhost:2890:3890

mkdir -p /tmp/zookeeper_[1..3]
echo "1" >> /tmp/zookeeper_1/myid
echo "2" >> /tmp/zookeeper_2/myid
echo "3" >> /tmp/zookeeper_3/myid

sudo chmod 777 /tmp/zookeeper_1

ज़ेड-नोड्स और ब्रोकर्स चलाना

sudo bin/zookeeper-server-start.sh config/zookeeper.properties
sudo bin/kafka-server-start.sh config/server.properties

sudo bin/kafka-server-stop.sh
sudo bin/zookeeper-server-stop.sh

एक थीम बनाना, कंसोल निर्माता और उपभोक्ता

sudo bin/kafka-topics.sh --create --bootstrap-server localhost:9092,localhost:9093 --replication-factor 2 --partitions 2 --topic TestTopic

sudo bin/kafka-topics.sh --list --zookeeper localhost:2181           
sudo bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic TestTopic

sudo bin/kafka-console-producer.sh --broker-list localhost:9092,localhost:9093 --topic TestTopic
sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092,localhost:9093 --from-beginning --topic TestTopic

जुक्विटर और काफ्का के लिए सेवाएं

[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=user
ExecStart=home/user/kafka_server_1/bin/zookeeper-server-start.sh /home/user/kafka_server_1/config/zookeeper.properties
ExecStop=/home/user/kafka_server_1/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=user
ExecStart=/bin/sh -c '/home/user/kafka_server_1/bin/kafka-server-start.sh /home/user/kafka_server_1/config/server.properties > /tmp/kafka-logs-1 2>&1'
ExecStop=/home/user/kafka_server_1/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl enable zookeeper_1.service #  
systemctl start zookeeper_1.service
sudo journalctl -u zookeeper_1.service #   
systemctl stop zookeeper_1.service