Determinar o tamanho apropriado para o cluster Kafka no Kubernetes

Experimente os Supertubes no seu cluster:

curl https://getsupertubes.sh | sh  supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Ou consulte a documentação . Você também pode ler sobre alguns dos recursos do Kafka, que são automatizados com a ajuda dos Supertubes e do operador Kafka. Já escrevemos sobre eles no blog:

• Ah não! Mais um operador da Kafka para a Kubernetes ;
• Monitorar e operar Kafka com base nas métricas do Prometheus ;
• Conhecimento de Kafka sobre Kubernetes ;
• Executando o Apache Kafka sobre o Istio - benchmark ;
• Usuário autenticado e acessado por clusters controlados com o operador Kafka ;
• Atualização rolante Kafka e configuração dinâmica no Kubernetes ;
• Filtro de protocolo enviado para Kafka, em malha .

Reflexões sobre a infraestrutura e a configuração do cluster Kafka

Disco

Tipos de Instância

Rede

Implantação do Broker

Versão Java

Se você quiser saber mais sobre Java / JVM no Kubernetes, consulte nossas publicações a seguir:

• Por que meu aplicativo Java é OOMKilled ;
• Como dimensionar corretamente contêineres para aplicativos Java 10 .

Configurações de memória do corretor

Configurações do processador do intermediário

Ferramenta de geração de carga

avaliação comparativa

• configuração da infraestrutura (cluster EKS, cluster Kafka, ferramenta de geração de carga, além de Prometheus e Grafana);
• geração de carga por um determinado período para filtrar desvios aleatórios nos indicadores de desempenho coletados;
• ajuste fino da infraestrutura e configuração do broker com base nos indicadores de desempenho observados;
• repetindo o processo até que o nível necessário de largura de banda do cluster Kafka seja atingido. Ao mesmo tempo, deve ser reproduzível de forma estável e demonstrar variações mínimas de largura de banda.

Ferramentas

• Banzai Cloud Pipeline EKS Amazon c Prometheus ( Kafka ) Grafana ( ). Pipeline , , , , , .
• Sangrenel — Kafka.
• Grafana Kafka : Kubernetes Kafka, Node Exporter.
• Supertubes CLI para a maneira mais fácil de configurar um cluster Kafka no Kubernetes. O Zookeeper, o operador Kafka, o Envoy e muitos outros componentes estão instalados e configurados adequadamente para executar o cluster Kafka pronto para produção no Kubernetes.
  
  • Para instalar supertubes CLI, use as instruções fornecidas aqui .

Cluster EKS

banzai cluster create -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/cluster_eks_202001.json

Componentes do sistema Kafka

supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Kafka Cluster

kubectl create -f - <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: kubernetes.io/aws-ebs
parameters:
  type: io1
  iopsPerGB: "50"
  fsType: ext4
volumeBindingMode: WaitForFirstConsumer
EOF

supertubes cluster create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/kafka_202001_3brokers.yaml --wait --timeout 600

Tópicos

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest1
spec:
  name: perftest1
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
    name: perftest2
spec:
  name: perftest2
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest3
spec:
  name: perftest3
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

Ferramenta de geração de carga

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: loadtest
  name: perf-load1
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: loadtest
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: loadtest
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: nodepool.banzaicloud.io/name
                operator: In
                values:
                - loadgen
      containers:
      - args:
        - -brokers=kafka-0:29092,kafka-1:29092,kafka-2:29092,kafka-3:29092
        - -topic=perftest1
        - -required-acks=all
        - -message-size=512
        - -workers=20
        image: banzaicloud/perfload:0.1.0-blog
        imagePullPolicy: Always
        name: sangrenel
        resources:
          limits:
            cpu: 2
            memory: 1Gi
          requests:
            cpu: 2
            memory: 1Gi
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

• O gerador de carregamento gera mensagens de 512 bytes e as publica no Kafka em lotes de 500 mensagens.
• -required-acks=all , Kafka. , , , , . (consumers) , , , .
• 20 worker' (-workers=20). worker 5 producer', worker' Kafka. 100 producer', Kafka.

Monitoramento de Cluster

• O gerador de carregamento grava estatísticas padrão no número de mensagens publicadas e no nível de erros. A porcentagem de erros deve permanecer no valor 0,00%.
• O Cruise Control , implementado pelo kafka-operator, fornece um painel no qual também podemos monitorar o estado do cluster. Para visualizar este painel, faça:
  
  

  supertubes cluster cruisecontrol show -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file>

• O nível ISR (contagem de réplicas em sincronização) de redução e expansão é 0.

Resultados de medição

3 intermediários, tamanho da mensagem - 512 bytes

3 intermediários, tamanho da mensagem - 100 bytes

4 intermediários, tamanho da mensagem - 512 bytes

achados

PS do tradutor

• “ Uma história com o operador Redis nos K8s e uma mini visão geral dos utilitários para analisar dados desse banco de dados ”;
• “ Migração desobstruída do RabbitMQ para Kubernetes ”;
• " Zetcd do CoreOS: Substituindo o ZooKeeper por ... armazenamento etcd ."