Bestimmen Sie die geeignete Größe für den Kafka-Cluster in Kubernetes

Probieren Sie Supertubes in Ihrem Cluster aus:

curl https://getsupertubes.sh | sh  supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Oder beziehen Sie sich auf die Dokumentation . Sie können auch einige der Funktionen von Kafka lesen, die mithilfe von Supertubes und dem Kafka-Operator automatisiert werden. Wir haben bereits im Blog darüber geschrieben:

• Ach nein! Noch ein Kafka-Betreiber für Kubernetes ;
• Überwachen und betreiben Sie Kafka basierend auf Prometheus-Metriken .
• Kafka Rack Awareness auf Kubernetes ;
• Apache Kafka über Istio laufen lassen - Benchmark ;
• Benutzerauthentifizierte und zugriffsgesteuerte Cluster mit dem Kafka-Operator ;
• Kafka Rolling Upgrade und dynamische Konfiguration auf Kubernetes ;
• Gesandterprotokollfilter für Kafka, vermascht .

Gedanken zur Infrastruktur und Konfiguration des Kafka-Clusters

Platte

Instanztypen

Netzwerk

Broker-Bereitstellung

Java-Version

Wenn Sie mehr über Java / JVM auf Kubernetes erfahren möchten, lesen Sie unsere folgenden Veröffentlichungen:

• Warum meine Java-Anwendung OOMKilled ist ;
• So dimensionieren Sie Container für Java 10-Anwendungen richtig .

Broker-Speichereinstellungen

Broker-Prozessoreinstellungen

Tool zur Lasterzeugung

Benchmarking

• Einrichtung der Infrastruktur (EKS-Cluster, Kafka-Cluster, Lastgenerierungstool sowie Prometheus und Grafana);
• Lastgenerierung für einen bestimmten Zeitraum, um zufällige Abweichungen in den gesammelten Leistungsindikatoren zu filtern;
• Feinabstimmung der Infrastruktur und Konfiguration des Brokers anhand der beobachteten Leistungsindikatoren;
• Wiederholen des Vorgangs, bis die erforderliche Kafka-Cluster-Bandbreite erreicht ist. Gleichzeitig sollte es stabil reproduzierbar sein und minimale Bandbreitenschwankungen aufweisen.

Werkzeuge

• Banzai Cloud Pipeline EKS Amazon c Prometheus ( Kafka ) Grafana ( ). Pipeline , , , , , .
• Sangrenel — Kafka.
• Grafana Kafka : Kubernetes Kafka, Node Exporter.
• Supertubes CLI für die einfachste Möglichkeit, einen Kafka-Cluster in Kubernetes zu konfigurieren. Zookeeper, Kafka-Operator, Envoy und viele andere Komponenten sind installiert und ordnungsgemäß konfiguriert, um den Kafka-Cluster für die Produktion in Kubernetes auszuführen.
  
  • Verwenden Sie die hier angegebenen Anweisungen, um die Supertubes-CLI zu installieren .

EKS-Cluster

banzai cluster create -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/cluster_eks_202001.json

Kafka-Systemkomponenten

supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Kafka Cluster

kubectl create -f - <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: kubernetes.io/aws-ebs
parameters:
  type: io1
  iopsPerGB: "50"
  fsType: ext4
volumeBindingMode: WaitForFirstConsumer
EOF

supertubes cluster create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/kafka_202001_3brokers.yaml --wait --timeout 600

Themen

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest1
spec:
  name: perftest1
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
    name: perftest2
spec:
  name: perftest2
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest3
spec:
  name: perftest3
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

Tool zur Lasterzeugung

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: loadtest
  name: perf-load1
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: loadtest
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: loadtest
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: nodepool.banzaicloud.io/name
                operator: In
                values:
                - loadgen
      containers:
      - args:
        - -brokers=kafka-0:29092,kafka-1:29092,kafka-2:29092,kafka-3:29092
        - -topic=perftest1
        - -required-acks=all
        - -message-size=512
        - -workers=20
        image: banzaicloud/perfload:0.1.0-blog
        imagePullPolicy: Always
        name: sangrenel
        resources:
          limits:
            cpu: 2
            memory: 1Gi
          requests:
            cpu: 2
            memory: 1Gi
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

• Der Lastgenerator generiert 512-Byte-Nachrichten und veröffentlicht diese in Stapeln von 500 Nachrichten an Kafka.
• -required-acks=all , Kafka. , , , , . (consumers) , , , .
• 20 worker' (-workers=20). worker 5 producer', worker' Kafka. 100 producer', Kafka.

Clusterüberwachung

• Der Lastgenerator schreibt Standardstatistiken über die Anzahl der veröffentlichten Nachrichten und die Fehlerquote. Der Prozentsatz der Fehler sollte im Wert bleiben 0,00%.
• Die vom kafka-operator bereitgestellte Geschwindigkeitsregelung bietet ein Dashboard, auf dem wir auch den Status des Clusters überwachen können. Gehen Sie wie folgt vor, um dieses Fenster anzuzeigen:
  
  

  supertubes cluster cruisecontrol show -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file>

• Die ISR-Stufe (Anzahl der synchronen Replikate) für Verkleinerung und Erweiterung beträgt 0.

Messergebnisse

3 Broker, Nachrichtengröße - 512 Bytes

3 Broker, Nachrichtengröße - 100 Bytes

4 Broker, Nachrichtengröße - 512 Bytes

Ergebnisse

PS vom Übersetzer

• " Eine Geschichte mit dem Redis-Betreiber in K8s und eine kleine Übersicht der Dienstprogramme zur Analyse von Daten aus dieser Datenbank ";
• " Ungehinderte RabbitMQ-Migration zu Kubernetes ";
• " Zetcd von CoreOS: Ersetzen von ZooKeeper durch ... Speicher usw. "