خبرتنا في العمل مع البيانات في etcd Kubernetes-الكتلة مباشرة (بدون واجهة برمجة تطبيقات K8s)

• 192.168.*.*غالبًا ما يتم استخدام الشبكة الفرعية في شبكات المكاتب للعملاء ، بل وفي كثير من الأحيان في الشبكات المنزلية للمطورين. ثم نحصل على صراعات: تعمل أجهزة التوجيه المنزلية على هذه الشبكة الفرعية وتقوم شبكة VPN بدفع هذه الشبكات الفرعية من الكتلة إلى العميل.
• لدينا عدة مجموعات (الإنتاج ، المرحلة ، و / أو عدة مجموعات ديف). ثم في كل منها بشكل افتراضي ، ستكون هناك نفس الشبكات الفرعية للقرون والخدمات ، مما يخلق صعوبات كبيرة للعمل مع الخدمات في عدة مجموعات في وقت واحد.

البحث في القرارات

تواجه العملية التالية مشكلة: بعد تكوين كل شيء ، تأتي الحواشي مع IP القديم كخادم أسماء DNS في /etc/resolv.conf.
نظرًا لأنني ما زلت لم أجد الحل ، اضطررت إلى إعادة تعيين المجموعة بالكامل باستخدام إعادة تعيين kubeadm وإعادة تشغيله مرة أخرى.

• المستخدمة من قبل الفانيلا.
• هناك عناقيد في السحب وفي الحديد ؛
• أود تجنب النشر المتكرر لجميع الخدمات في المجموعة ؛
• هناك حاجة للقيام بكل شيء بحد أدنى من المشاكل ؛
• إصدار Kubernetes هو 1.16.6 (ومع ذلك ، ستكون إجراءات أخرى مماثلة للإصدارات الأخرى) ؛
• المهمة الرئيسية هي 192.168.0.0/16استبدالها بمجموعة منتشرة باستخدام kubeadm بشبكة فرعية للخدمة 172.24.0.0/16.

أضف etcdhelper

• إنشاء deserializer.
• تجميع تعبير عادي ليحل محل CIDR ؛
• نمر عبر جميع الخدمات مع نوع ClusterIP في الكتلة:
  
  
  • فك شفرة القيمة من etcd إلى كائن Go ؛
  • باستخدام تعبير عادي ، استبدل أول وحدتي بايت من العنوان ؛
  • تعيين عنوان IP للخدمة من شبكة فرعية جديدة ؛
  • قم بإنشاء مُسلسل ، قم بتحويل كائن Go إلى protobuf ، اكتب بيانات جديدة إلى etcd.

ممارسة

تغيير خدمة CIDR

• تثبيت البرامج اللازمة وتجميع الخ.
• النسخ الاحتياطي وما إلى ذلك /etc/kubernetes.

• تعديل قوائم apiserver ومدير التحكم
• إعادة إصدار الشهادات ؛
• تغيير خدمات ClusterIP في إلخ.
• إعادة تشغيل جميع القرون في كتلة.

apt install etcd-client

• نضع golang:
  
  

  GOPATH=/root/golang
  mkdir -p $GOPATH/local
  curl -sSL https://dl.google.com/go/go1.14.1.linux-amd64.tar.gz | tar -xzvC $GOPATH/local
  echo "export GOPATH=\"$GOPATH\"" >> ~/.bashrc
  echo 'export GOROOT="$GOPATH/local/go"' >> ~/.bashrc
  echo 'export PATH="$PATH:$GOPATH/local/go/bin"' >> ~/.bashrc

• نحن ننقذ أنفسنا etcdhelper.go، ونحمل التبعيات ، ونجمع:
  
  

  wget https://raw.githubusercontent.com/flant/examples/master/2020/04-etcdhelper/etcdhelper.go
  go get go.etcd.io/etcd/clientv3 k8s.io/kubectl/pkg/scheme k8s.io/apimachinery/pkg/runtime
  go build -o etcdhelper etcdhelper.go

backup_dir=/root/backup
mkdir ${backup_dir}
cp -rL /etc/kubernetes ${backup_dir}
ETCDCTL_API=3 etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/server.key --cert=/etc/kubernetes/pki/etcd/server.crt --endpoints https://192.168.199.100:2379 snapshot save ${backup_dir}/etcd.snapshot

1. دعونا نلقي نظرة على المجالات وعناوين IP التي يتم إصدار الشهادة الحالية:
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:dev-1-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:apiserver, IP Address:192.168.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

2. قم بإعداد الحد الأدنى للتكوين لـ kubeadm:
   
   

   cat kubeadm-config.yaml
   apiVersion: kubeadm.k8s.io/v1beta1
   kind: ClusterConfiguration
   networking:
     podSubnet: "10.244.0.0/16"
     serviceSubnet: "172.24.0.0/16"
   apiServer:
     certSANs:
     - "192.168.199.100" # IP-  

3. دعونا نحذف crt والمفتاح القديم ، لأنه بدون هذا لن يتم إصدار شهادة جديدة:
   
   

   rm /etc/kubernetes/pki/apiserver.{key,crt}

4. إعادة إصدار الشهادات لخادم API:
   
   

   kubeadm init phase certs apiserver --config=kubeadm-config.yaml

5. , :
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:kube-2-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, IP Address:172.24.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

6. API- :
   
   

   docker ps | grep k8s_kube-apiserver | awk '{print $1}' | xargs docker restart

7. admin.conf:
   
   

   kubeadm alpha certs renew admin.conf

8. etcd:
   
   

   ./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-service-cidr 172.24.0.0/16 

   
   ! , pod' /etc/resolv.conf CoreDNS (kube-dns), kube-proxy iptables . .
9. ConfigMap' kube-system:
   
   

   kubectl -n kube-system edit cm kubelet-config-1.16

   
   — clusterDNS IP- kube-dns: kubectl -n kube-system get svc kube-dns.
   
   

   kubectl -n kube-system edit cm kubeadm-config

   
   — data.ClusterConfiguration.networking.serviceSubnet .
10. kube-dns, kubelet :
    
    

    kubeadm upgrade node phase kubelet-config && systemctl restart kubelet

11. يبقى إعادة تشغيل جميع القرون في المجموعة:
    
    

    kubectl get pods --no-headers=true --all-namespaces |sed -r 's/(\S+)\s+(\S+).*/kubectl --namespace \1 delete pod \2/e'

تقليل وقت التوقف عن العمل

1. بعد تغيير مظاهر مستوى التحكم ، قم بإنشاء خدمة kube-dns جديدة ، على سبيل المثال ، باسم kube-dns-tmpوعنوان جديد 172.24.0.10.
2. جعل ifفي etcdhelper ، والتي لن تعدل خدمة kube-dns.
3. استبدل العنوان في جميع kubelets بأخرى ClusterDNSجديدة ، بينما ستستمر الخدمة القديمة في العمل في وقت واحد مع الجديدة.
4. انتظر ظهور القرون التي بها تطبيقات إما بمفردها لأسباب طبيعية ، أو في وقت متفق عليه.
5. حذف الخدمة kube-dns-tmpوتغييرها serviceSubnetCIDRلخدمة kube-dns.

تعديل podNetwork

• نقوم بإصلاح التكوينات في kube-system؛
• نقوم بإصلاح بيان kube-controller-manager ؛
• نغير podCIDR مباشرة في إلخ.
• إعادة تشغيل كافة عقد الكتلة.

kubectl -n kube-system edit cm kubeadm-config

kubectl -n kube-system edit cm kube-proxy

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-pod-cidr 10.55.0.0/16

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

مجموع

ملاحظة

• " Etcd 3.4.3: موثوقية التخزين والبحث الأمني " ؛
• " كاليكو لشبكة الويب في Kubernetes: التعرف وقليلاً من الخبرة " ؛
• " 6 أخطاء نظام مسلية في تشغيل Kubernetes [وحلها] " ؛
• « Kubernetes».