Nossa experiência trabalhando com dados no etcd Kubernetes-cluster diretamente (sem a API do K8s)

• A sub-rede é 192.168.*.*freqüentemente usada em redes de escritórios de clientes e ainda mais frequentemente em redes domésticas de desenvolvedores. E então temos conflitos: os roteadores domésticos trabalham nessa sub-rede e a VPN envia essas sub-redes do cluster para o cliente.
• Temos vários clusters (produção, estágio e / ou vários clusters de desenvolvimento). Em todos eles, por padrão, haverá as mesmas sub-redes para pods e serviços, o que cria grandes dificuldades para trabalhar com serviços em vários clusters simultaneamente.

Pesquisa de decisões

O processo a seguir apresenta um problema: depois de tudo configurado, os pods apresentam o IP antigo como servidor de nomes DNS no /etc/resolv.conf.
Como ainda não encontrei a solução, tive que redefinir todo o cluster com o kubeadm reset e iniciá-lo novamente.

• Usado por flanela;
• Existem aglomerados nas nuvens e no ferro;
• Eu gostaria de evitar a implantação repetida de todos os serviços no cluster;
• É necessário fazer tudo com um mínimo de problemas;
• A versão do Kubernetes é 1.16.6 (no entanto, outras ações serão semelhantes para outras versões);
• A principal tarefa é 192.168.0.0/16substituí-lo por um cluster implantado usando o kubeadm por uma sub-rede de serviço 172.24.0.0/16.

Adicionar etcdhelper

• crie um desserializador;
• compile uma expressão regular para substituir o CIDR;
• passamos por todos os serviços com o tipo ClusterIP no cluster:
  
  
  • decodifique o valor de etcd para o objeto Go;
  • usando uma expressão regular, substitua os dois primeiros bytes do endereço;
  • atribua ao serviço um endereço IP de uma nova sub-rede;
  • crie um serializador, converta o objeto Go em protobuf, escreva novos dados no etcd.

Prática

Alterar serviceCIDR

• instalar o software necessário e montar o etcdhelper corrigido;
• etcd de backup e /etc/kubernetes.

• Modificando manifestos apiserver e controller-manager
• reemissão de certificados;
• Serviços de clusterIP mudam no etcd;
• reinicie todos os pods em um cluster.

apt install etcd-client

• Colocamos golang:
  
  

  GOPATH=/root/golang
  mkdir -p $GOPATH/local
  curl -sSL https://dl.google.com/go/go1.14.1.linux-amd64.tar.gz | tar -xzvC $GOPATH/local
  echo "export GOPATH=\"$GOPATH\"" >> ~/.bashrc
  echo 'export GOROOT="$GOPATH/local/go"' >> ~/.bashrc
  echo 'export PATH="$PATH:$GOPATH/local/go/bin"' >> ~/.bashrc

• Nós nos salvamos etcdhelper.go, carregamos as dependências, coletamos:
  
  

  wget https://raw.githubusercontent.com/flant/examples/master/2020/04-etcdhelper/etcdhelper.go
  go get go.etcd.io/etcd/clientv3 k8s.io/kubectl/pkg/scheme k8s.io/apimachinery/pkg/runtime
  go build -o etcdhelper etcdhelper.go

backup_dir=/root/backup
mkdir ${backup_dir}
cp -rL /etc/kubernetes ${backup_dir}
ETCDCTL_API=3 etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/server.key --cert=/etc/kubernetes/pki/etcd/server.crt --endpoints https://192.168.199.100:2379 snapshot save ${backup_dir}/etcd.snapshot

1. Vejamos quais domínios e endereços IP o certificado atual é emitido:
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:dev-1-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:apiserver, IP Address:192.168.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

2. Prepare a configuração mínima para o kubeadm:
   
   

   cat kubeadm-config.yaml
   apiVersion: kubeadm.k8s.io/v1beta1
   kind: ClusterConfiguration
   networking:
     podSubnet: "10.244.0.0/16"
     serviceSubnet: "172.24.0.0/16"
   apiServer:
     certSANs:
     - "192.168.199.100" # IP-  

3. Vamos excluir o crt e a chave antigos, porque sem isso um novo certificado não será emitido:
   
   

   rm /etc/kubernetes/pki/apiserver.{key,crt}

4. Emita novamente certificados para o servidor API:
   
   

   kubeadm init phase certs apiserver --config=kubeadm-config.yaml

5. , :
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:kube-2-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, IP Address:172.24.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

6. API- :
   
   

   docker ps | grep k8s_kube-apiserver | awk '{print $1}' | xargs docker restart

7. admin.conf:
   
   

   kubeadm alpha certs renew admin.conf

8. etcd:
   
   

   ./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-service-cidr 172.24.0.0/16 

   
   ! , pod' /etc/resolv.conf CoreDNS (kube-dns), kube-proxy iptables . .
9. ConfigMap' kube-system:
   
   

   kubectl -n kube-system edit cm kubelet-config-1.16

   
   — clusterDNS IP- kube-dns: kubectl -n kube-system get svc kube-dns.
   
   

   kubectl -n kube-system edit cm kubeadm-config

   
   — data.ClusterConfiguration.networking.serviceSubnet .
10. kube-dns, kubelet :
    
    

    kubeadm upgrade node phase kubelet-config && systemctl restart kubelet

11. Resta reiniciar todos os pods no cluster:
    
    

    kubectl get pods --no-headers=true --all-namespaces |sed -r 's/(\S+)\s+(\S+).*/kubectl --namespace \1 delete pod \2/e'

Tempo de inatividade minimizado

1. Após alterar as manifestações do plano de controle, crie um novo serviço kube-dns, por exemplo, com um nome kube-dns-tmpe um novo endereço 172.24.0.10.
2. Crie ifno etcdhelper, que não modificará o serviço kube-dns.
3. Substitua o endereço em todos os kubelets ClusterDNSpor um novo, enquanto o serviço antigo continuará funcionando simultaneamente com o novo.
4. Aguarde até que os pods com aplicativos rolem sozinhos por motivos naturais ou em um horário combinado.
5. Exclua o serviço kube-dns-tmpe altere-o serviceSubnetCIDRpara o serviço kube-dns.

PodNetwork de modificação

• nós corrigimos as configurações kube-system;
• consertamos o manifesto do kube-controller-manager;
• nós mudamos o podCIDR diretamente no etcd;
• reinicie todos os nós do cluster.

kubectl -n kube-system edit cm kubeadm-config

kubectl -n kube-system edit cm kube-proxy

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-pod-cidr 10.55.0.0/16

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

Total

PS

• “ Etcd 3.4.3: confiabilidade de armazenamento e pesquisa de segurança ”;
• “ Chita para a web no Kubernetes: conhecendo e um pouco de experiência ”;
• “ 6 erros divertidos do sistema na operação do Kubernetes [e sua solução] ”;
• « Kubernetes».