Nuestra experiencia trabajando con datos en etcd Kubernetes-cluster directamente (sin API K8s)

• La subred se 192.168.*.*usa a menudo en redes de clientes de oficina, y aún más a menudo en redes domésticas de desarrolladores. Y luego tenemos conflictos: los enrutadores domésticos funcionan en esta subred y la VPN empuja estas subredes desde el clúster al cliente.
• Tenemos varios grupos (producción, etapa y / o varios grupos de desarrollo). Luego, en todos ellos, por defecto, habrá las mismas subredes para pods y servicios, lo que crea grandes dificultades para trabajar con servicios en varios clústeres simultáneamente.

Búsqueda de decisiones.

El siguiente proceso tiene un problema: después de todo lo configurado, los pods presentan la IP anterior como un servidor de nombres DNS en /etc/resolv.conf.
Como todavía no encontraba la solución, tuve que restablecer todo el clúster con kubeadm reset e iniciarlo nuevamente.

• Utilizado por franela;
• Hay racimos tanto en las nubes como en el hierro;
• Me gustaría evitar la implementación repetida de todos los servicios en el clúster;
• Es necesario hacer todo con un mínimo de problemas;
• La versión de Kubernetes es 1.16.6 (sin embargo, otras acciones serán similares para otras versiones);
• La tarea principal es 192.168.0.0/16reemplazarlo con un clúster implementado usando kubeadm con una subred de servicio 172.24.0.0/16.

Añadir etcdhelper

• crear un deserializador;
• compila una expresión regular para reemplazar CIDR;
• Pasamos por todos los servicios con el tipo ClusterIP en el clúster:
  
  
  • decodifica el valor de etcd al objeto Go;
  • usando una expresión regular, reemplace los primeros dos bytes de la dirección;
  • asignar al servicio una dirección IP desde una nueva subred;
  • cree un serializador, convierta el objeto Go en protobuf, escriba nuevos datos en etcd.

Práctica

Cambiar servicioCIDR

• instalando el software necesario y ensamblando el parche etcdhelper;
• ETCD copia de seguridad y /etc/kubernetes.

• Modificación de los manifiestos apiserver y controller-manager
• reemisión de certificados;
• Los servicios de ClusterIP cambian en etcd;
• reinicie todos los pods en un clúster.

apt install etcd-client

• Ponemos golang:
  
  

  GOPATH=/root/golang
  mkdir -p $GOPATH/local
  curl -sSL https://dl.google.com/go/go1.14.1.linux-amd64.tar.gz | tar -xzvC $GOPATH/local
  echo "export GOPATH=\"$GOPATH\"" >> ~/.bashrc
  echo 'export GOROOT="$GOPATH/local/go"' >> ~/.bashrc
  echo 'export PATH="$PATH:$GOPATH/local/go/bin"' >> ~/.bashrc

• Nos salvamos etcdhelper.go, cargamos las dependencias, recogemos:
  
  

  wget https://raw.githubusercontent.com/flant/examples/master/2020/04-etcdhelper/etcdhelper.go
  go get go.etcd.io/etcd/clientv3 k8s.io/kubectl/pkg/scheme k8s.io/apimachinery/pkg/runtime
  go build -o etcdhelper etcdhelper.go

backup_dir=/root/backup
mkdir ${backup_dir}
cp -rL /etc/kubernetes ${backup_dir}
ETCDCTL_API=3 etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/server.key --cert=/etc/kubernetes/pki/etcd/server.crt --endpoints https://192.168.199.100:2379 snapshot save ${backup_dir}/etcd.snapshot

1. Veamos qué dominios y direcciones IP se emite el certificado actual:
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:dev-1-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:apiserver, IP Address:192.168.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

2. Prepare la configuración mínima para kubeadm:
   
   

   cat kubeadm-config.yaml
   apiVersion: kubeadm.k8s.io/v1beta1
   kind: ClusterConfiguration
   networking:
     podSubnet: "10.244.0.0/16"
     serviceSubnet: "172.24.0.0/16"
   apiServer:
     certSANs:
     - "192.168.199.100" # IP-  

3. Eliminemos la clave y la clave anterior, porque sin esto no se emitirá un nuevo certificado:
   
   

   rm /etc/kubernetes/pki/apiserver.{key,crt}

4. Vuelva a emitir certificados para el servidor API:
   
   

   kubeadm init phase certs apiserver --config=kubeadm-config.yaml

5. , :
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:kube-2-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, IP Address:172.24.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

6. API- :
   
   

   docker ps | grep k8s_kube-apiserver | awk '{print $1}' | xargs docker restart

7. admin.conf:
   
   

   kubeadm alpha certs renew admin.conf

8. etcd:
   
   

   ./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-service-cidr 172.24.0.0/16 

   
   ! , pod' /etc/resolv.conf CoreDNS (kube-dns), kube-proxy iptables . .
9. ConfigMap' kube-system:
   
   

   kubectl -n kube-system edit cm kubelet-config-1.16

   
   — clusterDNS IP- kube-dns: kubectl -n kube-system get svc kube-dns.
   
   

   kubectl -n kube-system edit cm kubeadm-config

   
   — data.ClusterConfiguration.networking.serviceSubnet .
10. kube-dns, kubelet :
    
    

    kubeadm upgrade node phase kubelet-config && systemctl restart kubelet

11. Queda por reiniciar todos los pods en el clúster:
    
    

    kubectl get pods --no-headers=true --all-namespaces |sed -r 's/(\S+)\s+(\S+).*/kubectl --namespace \1 delete pod \2/e'

Tiempo de inactividad minimizado

1. Después de cambiar las manifestaciones del plano de control, cree un nuevo servicio kube-dns, por ejemplo, con un nombre kube-dns-tmpy una nueva dirección 172.24.0.10.
2. Make ifin etcdhelper, que no modificará el servicio kube-dns.
3. Reemplace la dirección en todos los kubelets ClusterDNSpor una nueva, mientras que el servicio antiguo continuará funcionando simultáneamente con el nuevo.
4. Espere a que las vainas con aplicaciones se desplieguen solas por razones naturales o en un momento acordado.
5. Elimine el servicio kube-dns-tmpy cámbielo serviceSubnetCIDRpor el servicio kube-dns.

Modificación podNetwork

• arreglamos configuraciones en kube-system;
• arreglamos el manifiesto de kube-controller-manager;
• cambiamos podCIDR directamente en etcd;
• reinicie todos los nodos del clúster.

kubectl -n kube-system edit cm kubeadm-config

kubectl -n kube-system edit cm kube-proxy

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-pod-cidr 10.55.0.0/16

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

Total

PD

• " Etcd 3.4.3: investigación de confiabilidad y seguridad de almacenamiento ";
• " Calico para la web en Kubernetes: conocer y un poco de experiencia ";
• " 6 errores entretenidos del sistema en la operación de Kubernetes [y su solución] ";
• « Kubernetes».