Notre expérience de travail avec les données dans etcd Kubernetes-cluster directement (sans K8s API)

• Le sous-réseau est 192.168.*.*souvent utilisé dans les réseaux bureautiques de clients, et encore plus souvent dans les réseaux domestiques de développeurs. Et puis nous obtenons des conflits: les routeurs domestiques fonctionnent sur ce sous-réseau et le VPN pousse ces sous-réseaux du cluster vers le client.
• Nous avons plusieurs clusters (production, étape et / ou plusieurs clusters de développement). Ensuite, dans chacun d'eux par défaut, il y aura les mêmes sous-réseaux pour les pods et les services, ce qui crée de grandes difficultés pour travailler avec des services dans plusieurs clusters simultanément.

Recherche de décisions

Le processus suivant a un problème: après tout configuré, les pods proposent l'ancien IP en tant que serveur de noms DNS dans /etc/resolv.conf.
Comme je n'ai toujours pas trouvé la solution, j'ai dû réinitialiser l'ensemble du cluster avec la réinitialisation de kubeadm et l'initier à nouveau.

• Utilisé par Flannel;
• Il y a des grappes à la fois dans les nuages ​​et sur le fer;
• Je voudrais éviter le déploiement répété de tous les services du cluster;
• Il faut tout faire avec un minimum de problèmes;
• La version de Kubernetes est 1.16.6 (cependant, d'autres actions seront similaires pour les autres versions);
• La tâche principale consiste à le 192.168.0.0/16remplacer par un cluster déployé à l'aide de kubeadm avec un sous-réseau de service 172.24.0.0/16.

Ajouter etcdhelper

• créer un désérialiseur;
• compiler une expression régulière pour remplacer CIDR;
• nous passons par tous les services avec le type ClusterIP dans le cluster:
  
  
  • décode la valeur de etcd en l'objet Go;
  • en utilisant une expression régulière, remplacez les deux premiers octets de l'adresse;
  • attribuer au service une adresse IP à partir d'un nouveau sous-réseau;
  • créer un sérialiseur, convertir l'objet Go en protobuf, écrire de nouvelles données dans etcd.

Entraine toi

Changer de serviceCIDR

• installer le logiciel nécessaire et assembler le etcdhelper patché;
• sauvegarde etcd et /etc/kubernetes.

• Modification des manifestes Apiserver et Controller-Manager
• réémission de certificats;
• Les services ClusterIP changent dans etcd;
• redémarrez tous les pods d'un cluster.

apt install etcd-client

• Nous mettons golang:
  
  

  GOPATH=/root/golang
  mkdir -p $GOPATH/local
  curl -sSL https://dl.google.com/go/go1.14.1.linux-amd64.tar.gz | tar -xzvC $GOPATH/local
  echo "export GOPATH=\"$GOPATH\"" >> ~/.bashrc
  echo 'export GOROOT="$GOPATH/local/go"' >> ~/.bashrc
  echo 'export PATH="$PATH:$GOPATH/local/go/bin"' >> ~/.bashrc

• Nous nous sauvons etcdhelper.go, chargeons les dépendances, collectons:
  
  

  wget https://raw.githubusercontent.com/flant/examples/master/2020/04-etcdhelper/etcdhelper.go
  go get go.etcd.io/etcd/clientv3 k8s.io/kubectl/pkg/scheme k8s.io/apimachinery/pkg/runtime
  go build -o etcdhelper etcdhelper.go

backup_dir=/root/backup
mkdir ${backup_dir}
cp -rL /etc/kubernetes ${backup_dir}
ETCDCTL_API=3 etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/server.key --cert=/etc/kubernetes/pki/etcd/server.crt --endpoints https://192.168.199.100:2379 snapshot save ${backup_dir}/etcd.snapshot

1. Voyons quels domaines et adresses IP le certificat actuel est émis:
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:dev-1-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:apiserver, IP Address:192.168.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

2. Préparez la configuration minimale pour kubeadm:
   
   

   cat kubeadm-config.yaml
   apiVersion: kubeadm.k8s.io/v1beta1
   kind: ClusterConfiguration
   networking:
     podSubnet: "10.244.0.0/16"
     serviceSubnet: "172.24.0.0/16"
   apiServer:
     certSANs:
     - "192.168.199.100" # IP-  

3. Supprimons l'ancien crt et la clé, car sans cela, aucun nouveau certificat ne sera émis:
   
   

   rm /etc/kubernetes/pki/apiserver.{key,crt}

4. Réémettez les certificats pour le serveur API:
   
   

   kubeadm init phase certs apiserver --config=kubeadm-config.yaml

5. , :
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:kube-2-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, IP Address:172.24.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

6. API- :
   
   

   docker ps | grep k8s_kube-apiserver | awk '{print $1}' | xargs docker restart

7. admin.conf:
   
   

   kubeadm alpha certs renew admin.conf

8. etcd:
   
   

   ./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-service-cidr 172.24.0.0/16 

   
   ! , pod' /etc/resolv.conf CoreDNS (kube-dns), kube-proxy iptables . .
9. ConfigMap' kube-system:
   
   

   kubectl -n kube-system edit cm kubelet-config-1.16

   
   — clusterDNS IP- kube-dns: kubectl -n kube-system get svc kube-dns.
   
   

   kubectl -n kube-system edit cm kubeadm-config

   
   — data.ClusterConfiguration.networking.serviceSubnet .
10. kube-dns, kubelet :
    
    

    kubeadm upgrade node phase kubelet-config && systemctl restart kubelet

11. Il reste à redémarrer tous les pods du cluster:
    
    

    kubectl get pods --no-headers=true --all-namespaces |sed -r 's/(\S+)\s+(\S+).*/kubectl --namespace \1 delete pod \2/e'

Temps d'arrêt minimisés

1. Après avoir modifié les manifestations du plan de contrôle, créez un nouveau service kube-dns, par exemple, avec un nom kube-dns-tmpet une nouvelle adresse 172.24.0.10.
2. Make ifin etcdhelper, qui ne modifiera pas le service kube-dns.
3. Remplacez l'adresse dans tous les kubelet ClusterDNSpar une nouvelle, tandis que l'ancien service continuera de fonctionner simultanément avec le nouveau.
4. Attendez que les modules contenant des applications se déplacent seuls pour des raisons naturelles ou à une heure convenue.
5. Supprimez le service kube-dns-tmpet modifiez-le serviceSubnetCIDRpour le service kube-dns.

PodNetwork de modification

• nous corrigeons les configurations kube-system;
• nous corrigeons le manifeste de kube-controller-manager;
• nous changeons podCIDR directement dans etcd;
• redémarrez tous les nœuds du cluster.

kubectl -n kube-system edit cm kubeadm-config

kubectl -n kube-system edit cm kube-proxy

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-pod-cidr 10.55.0.0/16

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

Total

PS

• « Etcd 3.4.3: recherche sur la fiabilité et la sécurité du stockage »;
• « Calico pour le web chez Kubernetes: apprendre à connaître et un peu d'expérience »;
• « 6 bugs système divertissants dans le fonctionnement de Kubernetes [et leur solution] »;
• « Kubernetes».