Unsere Erfahrung mit Daten in etcd Kubernetes-Cluster direkt zu arbeiten (ohne K8s API)

• Das Subnetz wird 192.168.*.*häufig in Büronetzwerken von Clients und noch häufiger in Heimnetzwerken von Entwicklern verwendet. Und dann kommt es zu Konflikten: Heimrouter arbeiten in diesem Subnetz und das VPN überträgt diese Subnetze vom Cluster zum Client.
• Wir haben mehrere Cluster (Produktions-, Stage- und / oder mehrere Entwicklungscluster). Dann gibt es in allen standardmäßig dieselben Subnetze für Pods und Dienste, was große Schwierigkeiten bei der gleichzeitigen Arbeit mit Diensten in mehreren Clustern verursacht.

Suche nach Entscheidungen

Der folgende Prozess hat ein Problem: Nachdem alles konfiguriert wurde, wird in den Pods die alte IP als DNS-Nameserver in /etc/resolv.conf angezeigt.
Da ich die Lösung immer noch nicht gefunden habe, musste ich den gesamten Cluster mit kubeadm reset zurücksetzen und erneut starten.

• Wird von Flanell verwendet;
• Es gibt Cluster sowohl in den Wolken als auch auf dem Eisen;
• Ich möchte die wiederholte Bereitstellung aller Dienste im Cluster vermeiden.
• Es ist notwendig, alles mit einem Minimum an Problemen zu tun.
• Die Kubernetes-Version ist 1.16.6 (weitere Aktionen sind jedoch für andere Versionen ähnlich).
• Die Hauptaufgabe besteht darin 192.168.0.0/16, es durch einen Cluster zu ersetzen , der mithilfe von kubeadm mit einem Service-Subnetz bereitgestellt wird 172.24.0.0/16.

Fügen Sie etcdhelper hinzu

• einen Deserializer erstellen;
• Kompilieren Sie einen regulären Ausdruck, um CIDR zu ersetzen.
• Wir durchlaufen alle Dienste mit dem ClusterIP-Typ im Cluster:
  
  
  • Dekodieren Sie den Wert von etcd in das Go-Objekt.
  • Ersetzen Sie mit einem regulären Ausdruck die ersten beiden Bytes der Adresse.
  • Weisen Sie dem Dienst eine IP-Adresse aus einem neuen Subnetz zu.
  • Erstellen Sie einen Serializer, konvertieren Sie das Go-Objekt in Protobuf, schreiben Sie neue Daten in etcd.

Trainieren

Ändern Sie serviceCIDR

• Installieren der erforderlichen Software und Zusammenstellen des gepatchten etcdhelper;
• Backup etcd und /etc/kubernetes.

• Ändern von Manifesten für Apiserver und Controller-Manager
• Neuausstellung von Zertifikaten;
• Änderung der ClusterIP-Dienste in etcd;
• Starten Sie alle Pods in einem Cluster neu.

apt install etcd-client

• Wir setzen Golang:
  
  

  GOPATH=/root/golang
  mkdir -p $GOPATH/local
  curl -sSL https://dl.google.com/go/go1.14.1.linux-amd64.tar.gz | tar -xzvC $GOPATH/local
  echo "export GOPATH=\"$GOPATH\"" >> ~/.bashrc
  echo 'export GOROOT="$GOPATH/local/go"' >> ~/.bashrc
  echo 'export PATH="$PATH:$GOPATH/local/go/bin"' >> ~/.bashrc

• Wir retten uns etcdhelper.go, laden die Abhängigkeiten, sammeln:
  
  

  wget https://raw.githubusercontent.com/flant/examples/master/2020/04-etcdhelper/etcdhelper.go
  go get go.etcd.io/etcd/clientv3 k8s.io/kubectl/pkg/scheme k8s.io/apimachinery/pkg/runtime
  go build -o etcdhelper etcdhelper.go

backup_dir=/root/backup
mkdir ${backup_dir}
cp -rL /etc/kubernetes ${backup_dir}
ETCDCTL_API=3 etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/server.key --cert=/etc/kubernetes/pki/etcd/server.crt --endpoints https://192.168.199.100:2379 snapshot save ${backup_dir}/etcd.snapshot

1. Schauen wir uns an, für welche Domänen und IP-Adressen das aktuelle Zertifikat ausgestellt wird:
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:dev-1-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:apiserver, IP Address:192.168.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

2. Bereiten Sie die Mindestkonfiguration für kubeadm vor:
   
   

   cat kubeadm-config.yaml
   apiVersion: kubeadm.k8s.io/v1beta1
   kind: ClusterConfiguration
   networking:
     podSubnet: "10.244.0.0/16"
     serviceSubnet: "172.24.0.0/16"
   apiServer:
     certSANs:
     - "192.168.199.100" # IP-  

3. Löschen wir die alte CRT und den alten Schlüssel, da ohne diese kein neues Zertifikat ausgestellt wird:
   
   

   rm /etc/kubernetes/pki/apiserver.{key,crt}

4. Stellen Sie Zertifikate für den API-Server erneut aus:
   
   

   kubeadm init phase certs apiserver --config=kubeadm-config.yaml

5. , :
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:kube-2-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, IP Address:172.24.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

6. API- :
   
   

   docker ps | grep k8s_kube-apiserver | awk '{print $1}' | xargs docker restart

7. admin.conf:
   
   

   kubeadm alpha certs renew admin.conf

8. etcd:
   
   

   ./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-service-cidr 172.24.0.0/16 

   
   ! , pod' /etc/resolv.conf CoreDNS (kube-dns), kube-proxy iptables . .
9. ConfigMap' kube-system:
   
   

   kubectl -n kube-system edit cm kubelet-config-1.16

   
   — clusterDNS IP- kube-dns: kubectl -n kube-system get svc kube-dns.
   
   

   kubectl -n kube-system edit cm kubeadm-config

   
   — data.ClusterConfiguration.networking.serviceSubnet .
10. kube-dns, kubelet :
    
    

    kubeadm upgrade node phase kubelet-config && systemctl restart kubelet

11. Es bleibt, alle Pods im Cluster neu zu starten:
    
    

    kubectl get pods --no-headers=true --all-namespaces |sed -r 's/(\S+)\s+(\S+).*/kubectl --namespace \1 delete pod \2/e'

Minimierte Ausfallzeiten

1. Erstellen Sie nach dem Ändern der Manifestationen der Steuerebene einen neuen kube-dns-Dienst, z. B. mit einem Namen kube-dns-tmpund einer neuen Adresse 172.24.0.10.
2. Make ifin etcdhelper, wodurch der kube-dns-Dienst nicht geändert wird.
3. Ersetzen Sie die Adresse in allen Kubelets ClusterDNSdurch eine neue, während der alte Dienst gleichzeitig mit dem neuen Dienst weiterarbeitet.
4. Warten Sie, bis die Pods mit den Anwendungen aus natürlichen Gründen oder zu einem vereinbarten Zeitpunkt von selbst rollen.
5. Löschen Sie den Dienst kube-dns-tmpund ändern Sie ihn serviceSubnetCIDRfür den kube-dns-Dienst.

Modifikation podNetwork

• wir reparieren Konfigurationen in kube-system;
• Wir korrigieren das Manifest von kube-controller-manager.
• wir ändern podCIDR direkt in etcd;
• Starten Sie alle Knoten des Clusters neu.

kubectl -n kube-system edit cm kubeadm-config

kubectl -n kube-system edit cm kube-proxy

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-pod-cidr 10.55.0.0/16

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

Gesamt

PS

• " Etcd 3.4.3: Speicherzuverlässigkeit und Sicherheitsforschung ";
• „ Calico für das Web bei Kubernetes: Kennenlernen und ein bisschen Erfahrung “;
• " 6 unterhaltsame Systemfehler beim Betrieb von Kubernetes [und deren Lösung] ";
• « Kubernetes».