تحديد الحجم المناسب لمجموعة كافكا في Kubernetes

جرب Supertubes في مجموعتك:

curl https://getsupertubes.sh | sh  supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

أو راجع الوثائق . يمكنك أيضًا القراءة عن بعض ميزات Kafka ، التي يتم تشغيلها تلقائيًا بمساعدة Supertubes وعامل Kafka. لقد كتبنا بالفعل عنهم في المدونة:

• أوه لا! عامل كافكا آخر لـ Kubernetes ؛
• مراقبة وتشغيل كافكا بناءً على مقاييس بروميثيوس ؛
• الوعي الرف كافكا على Kubernetes ؛
• تشغيل أباتشي كافكا على Istio - المعيار ؛
• مصادقة المستخدم والوصول إلى مجموعات خاضعة للرقابة مع عامل كافكا ؛
• ترقية المتداول كافكا والتكوين الديناميكي على Kubernetes ؛
• مرشح بروتوكول المبعوث لكافكا ، مشابك .

أفكار حول البنية التحتية وتكوين مجموعة كافكا

القرص

أنواع المثيل

شبكة الاتصال

نشر الوسيط

نسخة جافا

إذا كنت ترغب في معرفة المزيد عن Java / JVM على Kubernetes ، فراجع منشوراتنا التالية:

• لماذا تطبيق جافا الخاص بي OOMKilled ؛
• كيفية ضبط حجم الحاويات لتطبيقات Java 10 بشكل صحيح .

إعدادات ذاكرة الوسيط

إعدادات معالج الوسيط

أداة توليد الحمل

المرجعية

• إعداد البنية التحتية (مجموعة EKS ، مجموعة كافكا ، أداة توليد الحمل ، وكذلك بروميثيوس وجرافانا) ؛
• توليد الحمل لفترة معينة لتصفية الانحرافات العشوائية في مؤشرات الأداء المجمعة ؛
• تحسين البنية التحتية وتكوين الوسيط بناءً على مؤشرات الأداء الملحوظة ؛
• تكرار العملية حتى الوصول إلى المستوى المطلوب من عرض النطاق الترددي لكافكا. في نفس الوقت ، يجب أن يكون مستنسخًا بشكل ثابت ويظهر الحد الأدنى من اختلافات عرض النطاق الترددي.

أدوات

• Banzai Cloud Pipeline EKS Amazon c Prometheus ( Kafka ) Grafana ( ). Pipeline , , , , , .
• Sangrenel — Kafka.
• Grafana Kafka : Kubernetes Kafka, Node Exporter.
• سوبرتوبس CLI عن أسهل طريقة لتكوين كتلة كافكا في Kubernetes. يتم تثبيت Zookeeper ومشغل Kafka و Envoy والعديد من المكونات الأخرى وتكوينها بشكل صحيح لبدء مجموعة Kafka الجاهزة للإنتاج في Kubernetes.
  
  • لتثبيت SuperTubes CLI ، استخدم التعليمات الواردة هنا .

مجموعة EKS

banzai cluster create -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/cluster_eks_202001.json

مكونات نظام كافكا

supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

مجموعة كافكا

kubectl create -f - <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: kubernetes.io/aws-ebs
parameters:
  type: io1
  iopsPerGB: "50"
  fsType: ext4
volumeBindingMode: WaitForFirstConsumer
EOF

supertubes cluster create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/kafka_202001_3brokers.yaml --wait --timeout 600

المواضيع

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest1
spec:
  name: perftest1
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
    name: perftest2
spec:
  name: perftest2
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest3
spec:
  name: perftest3
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

أداة توليد الحمل

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: loadtest
  name: perf-load1
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: loadtest
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: loadtest
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: nodepool.banzaicloud.io/name
                operator: In
                values:
                - loadgen
      containers:
      - args:
        - -brokers=kafka-0:29092,kafka-1:29092,kafka-2:29092,kafka-3:29092
        - -topic=perftest1
        - -required-acks=all
        - -message-size=512
        - -workers=20
        image: banzaicloud/perfload:0.1.0-blog
        imagePullPolicy: Always
        name: sangrenel
        resources:
          limits:
            cpu: 2
            memory: 1Gi
          requests:
            cpu: 2
            memory: 1Gi
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

• يولد مولد الحمل رسائل 512 بايت وينشرها إلى Kafka على دفعات من 500 رسالة.
• -required-acks=all , Kafka. , , , , . (consumers) , , , .
• 20 worker' (-workers=20). worker 5 producer', worker' Kafka. 100 producer', Kafka.

مراقبة الكتلة

• يكتب مولد الحمل إحصائيات قياسية حول عدد الرسائل المنشورة ومستوى الأخطاء. يجب أن تظل النسبة المئوية للأخطاء في القيمة 0,00%.
• يوفر نظام تثبيت السرعة ، الذي يتم نشره بواسطة مشغل kafka ، لوحة تحكم يمكننا من خلالها مراقبة حالة الكتلة. لعرض هذه اللوحة ، قم بما يلي:
  
  

  supertubes cluster cruisecontrol show -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file>

• مستوى ISR (عدد النسخ المتماثلة في المزامنة) للتقلص والتوسع هو 0.

نتائج القياس

3 وسطاء ، حجم الرسالة - 512 بايت

3 وسطاء ، حجم الرسالة - 100 بايت

4 وسطاء ، حجم الرسالة - 512 بايت

الموجودات

ملاحظة من المترجم

• " قصة واحدة مع مشغل Redis في K8s ونظرة عامة مصغرة عن الأدوات المساعدة لتحليل البيانات من قاعدة البيانات هذه " ؛
• " هجرة RabbitMQ دون عوائق إلى Kubernetes " ؛
• " Zetcd من CoreOS: استبدال ZooKeeper بـ ... تخزين إلخ ."