Pengalaman kami bekerja dengan data di etcd Kubernetes-cluster secara langsung (tanpa API K8s)

• Subnet 192.168.*.*sering digunakan di jaringan kantor klien, dan bahkan lebih sering di jaringan rumah pengembang. Dan kemudian kita mendapatkan konflik: router rumah bekerja pada subnet ini dan VPN mendorong subnet ini dari cluster ke klien.
• Kami memiliki beberapa cluster (produksi, panggung, dan / atau beberapa cluster dev). Kemudian di semua dari mereka secara default akan ada subnet yang sama untuk pod dan layanan, yang menciptakan kesulitan besar untuk bekerja dengan layanan di beberapa cluster secara bersamaan.

Mencari keputusan

Proses berikut memiliki masalah: setelah semuanya dikonfigurasi, pod muncul dengan IP lama sebagai server nama DNS di /etc/resolv.conf.
Karena saya masih belum menemukan solusinya, saya harus mengatur ulang seluruh cluster dengan reset kubeadm dan init lagi.

• Digunakan oleh Flannel;
• Ada kelompok di awan dan di atas besi;
• Saya ingin menghindari penyebaran berulang semua layanan di cluster;
• Ada kebutuhan untuk melakukan segalanya dengan masalah minimal;
• Versi Kubernetes adalah 1.16.6 (namun, tindakan lebih lanjut akan serupa untuk versi lain);
• Tugas utama adalah untuk 192.168.0.0/16menggantinya dengan cluster yang digunakan menggunakan kubeadm dengan subnet layanan 172.24.0.0/16.

Tambahkan etcdhelper

• buat deserializer;
• kompilasi ekspresi reguler untuk menggantikan CIDR;
• kami melewati semua layanan dengan tipe ClusterIP di cluster:
  
  
  • mendekode nilai dari etcd ke objek Go;
  • menggunakan ekspresi reguler, ganti dua byte pertama dari alamat;
  • menetapkan layanan alamat IP dari subnet baru;
  • membuat serializer, mengonversi objek Go ke protobuf, menulis data baru ke etcd.

Praktek

Ubah serviceCIDR

• menginstal perangkat lunak yang diperlukan dan memasang etcdhelper yang ditambal;
• dlld cadangan dan /etc/kubernetes.

• Memodifikasi manifestasi apiserver dan pengontrol-manajer
• penerbitan kembali sertifikat;
• Layanan ClusterIP berubah di etcd;
• mulai ulang semua pod dalam sebuah cluster.

apt install etcd-client

• Kami menempatkan golang:
  
  

  GOPATH=/root/golang
  mkdir -p $GOPATH/local
  curl -sSL https://dl.google.com/go/go1.14.1.linux-amd64.tar.gz | tar -xzvC $GOPATH/local
  echo "export GOPATH=\"$GOPATH\"" >> ~/.bashrc
  echo 'export GOROOT="$GOPATH/local/go"' >> ~/.bashrc
  echo 'export PATH="$PATH:$GOPATH/local/go/bin"' >> ~/.bashrc

• Kami menyelamatkan diri etcdhelper.go, memuat dependensi, mengumpulkan:
  
  

  wget https://raw.githubusercontent.com/flant/examples/master/2020/04-etcdhelper/etcdhelper.go
  go get go.etcd.io/etcd/clientv3 k8s.io/kubectl/pkg/scheme k8s.io/apimachinery/pkg/runtime
  go build -o etcdhelper etcdhelper.go

backup_dir=/root/backup
mkdir ${backup_dir}
cp -rL /etc/kubernetes ${backup_dir}
ETCDCTL_API=3 etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/server.key --cert=/etc/kubernetes/pki/etcd/server.crt --endpoints https://192.168.199.100:2379 snapshot save ${backup_dir}/etcd.snapshot

1. Mari kita lihat domain dan alamat IP mana sertifikat saat ini dikeluarkan:
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:dev-1-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:apiserver, IP Address:192.168.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

2. Siapkan konfigurasi minimum untuk kubeadm:
   
   

   cat kubeadm-config.yaml
   apiVersion: kubeadm.k8s.io/v1beta1
   kind: ClusterConfiguration
   networking:
     podSubnet: "10.244.0.0/16"
     serviceSubnet: "172.24.0.0/16"
   apiServer:
     certSANs:
     - "192.168.199.100" # IP-  

3. Mari kita hapus crt dan kunci lama, karena tanpa ini sertifikat baru tidak akan dikeluarkan:
   
   

   rm /etc/kubernetes/pki/apiserver.{key,crt}

4. Pasang kembali sertifikat untuk server API:
   
   

   kubeadm init phase certs apiserver --config=kubeadm-config.yaml

5. , :
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:kube-2-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, IP Address:172.24.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

6. API- :
   
   

   docker ps | grep k8s_kube-apiserver | awk '{print $1}' | xargs docker restart

7. admin.conf:
   
   

   kubeadm alpha certs renew admin.conf

8. etcd:
   
   

   ./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-service-cidr 172.24.0.0/16 

   
   ! , pod' /etc/resolv.conf CoreDNS (kube-dns), kube-proxy iptables . .
9. ConfigMap' kube-system:
   
   

   kubectl -n kube-system edit cm kubelet-config-1.16

   
   — clusterDNS IP- kube-dns: kubectl -n kube-system get svc kube-dns.
   
   

   kubectl -n kube-system edit cm kubeadm-config

   
   — data.ClusterConfiguration.networking.serviceSubnet .
10. kube-dns, kubelet :
    
    

    kubeadm upgrade node phase kubelet-config && systemctl restart kubelet

11. Tetap memulai ulang semua pod di kluster:
    
    

    kubectl get pods --no-headers=true --all-namespaces |sed -r 's/(\S+)\s+(\S+).*/kubectl --namespace \1 delete pod \2/e'

Meminimalkan Downtime

1. Setelah mengubah manifestasi bidang kontrol, buat layanan kube-dns baru, misalnya, dengan nama kube-dns-tmpdan alamat baru 172.24.0.10.
2. Buat ifdi etcdhelper, yang tidak akan mengubah layanan kube-dns.
3. Ganti alamat di semua kubelet ClusterDNSdengan yang baru, sementara layanan lama akan terus bekerja secara bersamaan dengan yang baru.
4. Tunggu polong dengan aplikasi bergulir sendiri karena alasan alami, atau pada waktu yang disepakati.
5. Hapus layanan kube-dns-tmpdan ubah serviceSubnetCIDRuntuk layanan kube-dns.

Modifikasi podNetwork

• kami memperbaiki konfigurasi di kube-system;
• kami memperbaiki manifes dari kube-controller-manager;
• kami mengubah podCIDR langsung di etcd;
• reboot semua node cluster.

kubectl -n kube-system edit cm kubeadm-config

kubectl -n kube-system edit cm kube-proxy

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-pod-cidr 10.55.0.0/16

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

Total

PS

• “ Etcd 3.4.3: riset penyimpanan dan keamanan keamanan ”;
• " Calico untuk web di Kubernetes: mengenal dan sedikit pengalaman ";
• “ 6 bug sistem yang menghibur dalam pengoperasian Kubernetes [dan solusi mereka] ”;
• « Kubernetes».