कुबेरनेट्स में काफ्का क्लस्टर के लिए उपयुक्त आकार का निर्धारण करें

अपने क्लस्टर में सुपरट्यूब आज़माएं:

curl https://getsupertubes.sh | sh  supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

या प्रलेखन का संदर्भ लें । आप काफ्का की कुछ विशेषताओं के बारे में भी पढ़ सकते हैं, जो सुपरट्यूब्स और काफ्का ऑपरेटर की मदद से स्वचालित हैं। हमने उनके बारे में पहले ही ब्लॉग में लिखा है:

• अरे नहीं! कुबेरनेट्स के लिए एक और काफ्का ऑपरेटर ;
• प्रोमेथियस मेट्रिक्स पर आधारित काफ्का की निगरानी और संचालन ;
• कुबेरनेट्स पर काफ्का रैक जागरूकता ;
• इस्तियो पर अपाचे काफ्का चलाना - बेंचमार्क ;
• कफका ऑपरेटर के साथ उपयोगकर्ता प्रमाणित और एक्सेस नियंत्रित क्लस्टर ;
• कुबेरनेट्स पर काफ्का रोलिंग अपग्रेड और डायनेमिक कॉन्फ़िगरेशन ;
• कफका के लिए दूत प्रोटोकॉल फ़िल्टर, जाली ।

कफका क्लस्टर के बुनियादी ढांचे और विन्यास पर विचार

डिस्क

उदाहरण के प्रकार

नेटवर्क

ब्रोकर की तैनाती

जावा संस्करण

यदि आप कुबेरनेट्स पर जावा / जेवीएम के बारे में अधिक जानना चाहते हैं, तो हमारे निम्नलिखित प्रकाशन देखें:

• मेरा जावा एप्लिकेशन OOMKilled क्यों है ;
• जावा 10 अनुप्रयोगों के लिए कंटेनरों को सही ढंग से कैसे आकार दें ।

ब्रोकर मेमोरी सेटिंग्स

ब्रोकर प्रोसेसर सेटिंग्स

लोड जनरेशन टूल

बेंचमार्किंग

• इंफ्रास्ट्रक्चर सेटअप (ईकेएस क्लस्टर, काफ्का क्लस्टर, लोड जेनरेशन टूल, साथ ही प्रोमेथियस और ग्राफाना);
• एकत्र प्रदर्शन संकेतकों में यादृच्छिक विचलन को फ़िल्टर करने के लिए एक निश्चित अवधि के लिए लोड पीढ़ी;
• अवलोकन प्रदर्शन संकेतक के आधार पर ब्रोकर के बुनियादी ढांचे और कॉन्फ़िगरेशन को ठीक करना;
• काफ्का क्लस्टर बैंडविड्थ के आवश्यक स्तर तक पहुंचने तक प्रक्रिया को दोहराते हुए। एक ही समय में, यह सख्त प्रतिलिपि प्रस्तुत करने योग्य होना चाहिए और न्यूनतम बैंडविड्थ विविधताओं को प्रदर्शित करना चाहिए।

उपकरण

• Banzai Cloud Pipeline EKS Amazon c Prometheus ( Kafka ) Grafana ( ). Pipeline , , , , , .
• Sangrenel — Kafka.
• Grafana Kafka : Kubernetes Kafka, Node Exporter.
• Kubernetes में Kafka क्लस्टर को कॉन्फ़िगर करने का सबसे आसान तरीका के लिए Supertubes CLI। ज़ुकेर, काफ्का ऑपरेटर, एनवॉय और कई अन्य घटकों को स्थापित किया गया है और कुबेरनेट्स में उत्पादन के लिए तैयार काफ्का क्लस्टर शुरू करने के लिए ठीक से कॉन्फ़िगर किया गया है।
  
  • सुपरट्यूब सीएलआई स्थापित करने के लिए , यहां दिए गए निर्देशों का उपयोग करें ।

ईकेएस क्लस्टर

banzai cluster create -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/cluster_eks_202001.json

काफ्का प्रणाली के घटक

supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

काफ्का क्लस्टर

kubectl create -f - <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: kubernetes.io/aws-ebs
parameters:
  type: io1
  iopsPerGB: "50"
  fsType: ext4
volumeBindingMode: WaitForFirstConsumer
EOF

supertubes cluster create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/kafka_202001_3brokers.yaml --wait --timeout 600

विषय

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest1
spec:
  name: perftest1
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
    name: perftest2
spec:
  name: perftest2
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest3
spec:
  name: perftest3
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

लोड जनरेशन टूल

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: loadtest
  name: perf-load1
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: loadtest
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: loadtest
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: nodepool.banzaicloud.io/name
                operator: In
                values:
                - loadgen
      containers:
      - args:
        - -brokers=kafka-0:29092,kafka-1:29092,kafka-2:29092,kafka-3:29092
        - -topic=perftest1
        - -required-acks=all
        - -message-size=512
        - -workers=20
        image: banzaicloud/perfload:0.1.0-blog
        imagePullPolicy: Always
        name: sangrenel
        resources:
          limits:
            cpu: 2
            memory: 1Gi
          requests:
            cpu: 2
            memory: 1Gi
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

• लोड जनरेटर 512-बाइट संदेश उत्पन्न करता है और 500 संदेशों के बैचों में उन्हें काफ्का को प्रकाशित करता है।
• -required-acks=all , Kafka. , , , , . (consumers) , , , .
• 20 worker' (-workers=20). worker 5 producer', worker' Kafka. 100 producer', Kafka.

क्लस्टर मॉनिटरिंग

• लोड जनरेटर प्रकाशित संदेशों की संख्या और त्रुटियों के स्तर पर मानक आंकड़े लिखता है। त्रुटियों का प्रतिशत मूल्य में रहना चाहिए 0,00%।
• कफका-ऑपरेटर द्वारा तैनात क्रूज़ कंट्रोल , एक डैशबोर्ड प्रदान करता है, जिस पर हम क्लस्टर की स्थिति की निगरानी भी कर सकते हैं। इस पैनल को देखने के लिए, करें:
  
  

  supertubes cluster cruisecontrol show -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file>

• ISR स्तर (इन-सिंक प्रतिकृति की संख्या) सिकुड़ना और विस्तार 0 है।

माप परिणाम

3 दलाल, संदेश का आकार - 512 बाइट्स

3 दलाल, संदेश का आकार - 100 बाइट्स

4 दलाल, संदेश का आकार - 512 बाइट्स

जाँच - परिणाम

अनुवादक से पी.एस.

• " K8s में रेडिस ऑपरेटर के साथ एक कहानी और इस डेटाबेस से डेटा का विश्लेषण करने के लिए उपयोगिताओं का एक मिनी-ओवरव्यू ";
• " Kubernetes के लिए असंरक्षित RabbitMQ प्रवास ";
• " कोरटोस से ज़ेट्को: ज़ूकेपर की जगह ... स्टोरेज वगैरह ।"