Tentukan ukuran yang sesuai untuk cluster Kafka di Kubernetes

Coba Supertubes di kluster Anda:

curl https://getsupertubes.sh | sh  supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Atau lihat dokumentasi . Anda juga dapat membaca tentang beberapa fitur Kafka, yang otomatis dengan bantuan Supertubes dan operator Kafka. Kami sudah menulis tentang mereka di blog:

• Oh tidak! Namun operator Kafka lain untuk Kubernetes ;
• Memantau dan mengoperasikan Kafka berdasarkan metrik Prometheus ;
• Kafka rack awareness pada Kubernetes ;
• Menjalankan Apache Kafka melalui Istio - benchmark ;
• Pengguna diautentikasi dan akses kluster yang dikendalikan dengan operator Kafka ;
• Kafka rolling upgrade dan konfigurasi dinamis di Kubernetes ;
• Filter protokol utusan untuk Kafka, menyatu .

Pikiran tentang infrastruktur dan konfigurasi cluster Kafka

Disk

Jenis Instance

Jaringan

Penempatan Broker

Versi Java

Jika Anda ingin mempelajari lebih lanjut tentang Java / JVM di Kubernetes, lihat publikasi kami berikut ini:

• Mengapa aplikasi Java saya OOMKilled ;
• Bagaimana ukuran kontainer dengan benar untuk aplikasi Java 10 .

Pengaturan Memori Broker

Pengaturan prosesor pialang

Memuat alat generasi

Benchmarking

• pengaturan infrastruktur (EKS cluster, cluster Kafka, alat pembangkit beban, serta Prometheus dan Grafana);
• memuat generasi untuk periode tertentu untuk menyaring penyimpangan acak dalam indikator kinerja yang dikumpulkan;
• menyempurnakan infrastruktur dan konfigurasi broker berdasarkan indikator kinerja yang diamati;
• ulangi proses tersebut sampai level yang diperlukan dari bandwidth cluster Kafka tercapai. Pada saat yang sama, itu harus dapat direproduksi secara stabil dan menunjukkan variasi bandwidth minimal.

Alat

• Banzai Cloud Pipeline EKS Amazon c Prometheus ( Kafka ) Grafana ( ). Pipeline , , , , , .
• Sangrenel — Kafka.
• Grafana Kafka : Kubernetes Kafka, Node Exporter.
• Supertubes CLI untuk cara termudah untuk mengkonfigurasi cluster Kafka di Kubernetes. Zookeeper, operator Kafka, Utusan dan banyak komponen lainnya dipasang dan dikonfigurasikan dengan benar untuk menjalankan kluster Kafka yang siap untuk produksi di Kubernetes.
  
  • Untuk menginstal CLI supertubes, gunakan instruksi yang diberikan di sini .

EKS Cluster

banzai cluster create -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/cluster_eks_202001.json

Komponen sistem kafka

supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Kafka Cluster

kubectl create -f - <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: kubernetes.io/aws-ebs
parameters:
  type: io1
  iopsPerGB: "50"
  fsType: ext4
volumeBindingMode: WaitForFirstConsumer
EOF

supertubes cluster create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/kafka_202001_3brokers.yaml --wait --timeout 600

Topik

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest1
spec:
  name: perftest1
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
    name: perftest2
spec:
  name: perftest2
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest3
spec:
  name: perftest3
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

Memuat alat generasi

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: loadtest
  name: perf-load1
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: loadtest
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: loadtest
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: nodepool.banzaicloud.io/name
                operator: In
                values:
                - loadgen
      containers:
      - args:
        - -brokers=kafka-0:29092,kafka-1:29092,kafka-2:29092,kafka-3:29092
        - -topic=perftest1
        - -required-acks=all
        - -message-size=512
        - -workers=20
        image: banzaicloud/perfload:0.1.0-blog
        imagePullPolicy: Always
        name: sangrenel
        resources:
          limits:
            cpu: 2
            memory: 1Gi
          requests:
            cpu: 2
            memory: 1Gi
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

• Generator beban menghasilkan pesan 512-byte dan menerbitkannya ke Kafka dalam kumpulan 500 pesan.
• -required-acks=all , Kafka. , , , , . (consumers) , , , .
• 20 worker' (-workers=20). worker 5 producer', worker' Kafka. 100 producer', Kafka.

Pemantauan Cluster

• Generator beban menulis statistik standar tentang jumlah pesan yang dipublikasikan dan tingkat kesalahan. Persentase kesalahan harus tetap dalam nilai 0,00%.
• Cruise Control , yang digunakan oleh operator kafka, menyediakan dasbor tempat kami juga dapat memantau keadaan cluster. Untuk melihat panel ini, lakukan:
  
  

  supertubes cluster cruisecontrol show -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file>

• Level ISR (jumlah replika in-sync) dari shrink dan ekspansi adalah 0.

Hasil pengukuran

3 broker, ukuran pesan - 512 byte

3 broker, ukuran pesan - 100 byte

4 broker, ukuran pesan - 512 byte

temuan

PS dari penerjemah

• “ Satu cerita dengan operator Redis di K8 dan tinjauan umum kecil tentang utilitas untuk menganalisis data dari database ini ”;
• “ Migrasi RabbitMQ yang tidak terhalang ke Kubernetes ”;
• " Zetcd dari CoreOS: Mengganti ZooKeeper dengan ... penyimpanan, dll ."