डेटा के साथ काम करने का हमारा अनुभव सीधे आदि Kubernetes-क्लस्टर में (K8s API के बिना)

• सबनेट का 192.168.*.*उपयोग अक्सर ग्राहकों के कार्यालय नेटवर्क में किया जाता है, और यहां तक ​​कि डेवलपर्स के घरेलू नेटवर्क में भी। और फिर हम संघर्ष करते हैं: होम रनर इस सबनेट पर काम करते हैं और वीपीएन इन सबनेट को क्लस्टर से क्लाइंट तक पहुंचाते हैं।
• हमारे पास कई क्लस्टर (उत्पादन, चरण और / या कई देव क्लस्टर) हैं। फिर उन सभी में डिफ़ॉल्ट रूप से फली और सेवाओं के लिए एक ही सबनेट होगा, जो एक साथ कई समूहों में सेवाओं के साथ काम करने के लिए बहुत मुश्किलें पैदा करता है।

निर्णयों की खोज

निम्नलिखित प्रक्रिया में एक समस्या है: सब कुछ कॉन्फ़िगर किए जाने के बाद, पॉड पुराने आईपी के साथ /etc/resolv.conf में DNS नेमसेवर के रूप में आते हैं।
चूंकि मुझे अभी भी समाधान नहीं मिला है, इसलिए मुझे पूरे क्लस्टर को kubeadm रीसेट के साथ रीसेट करना पड़ा और फिर से इनिट करना पड़ा।

• फलालैन द्वारा प्रयुक्त;
• बादलों में और लोहे पर दोनों क्लस्टर होते हैं;
• मैं क्लस्टर में सभी सेवाओं की बार-बार तैनाती से बचना चाहूंगा;
• कम से कम समस्याओं के साथ सब कुछ करने की आवश्यकता है;
• कुबेरनेट्स संस्करण 1.16.6 है (हालांकि, आगे की कार्रवाई अन्य संस्करणों के लिए समान होगी);
• मुख्य कार्य एक सबनेट के साथ कुबेदम का उपयोग करके तैनात क्लस्टर में ए के साथ 192.168.0.0/16इसे बदलना है 172.24.0.0/16।

आदि जोड़ें

• एक deserializer बनाएँ;
• CIDR को बदलने के लिए एक नियमित अभिव्यक्ति संकलित करें;
• हम क्लस्टर में क्लस्टर प्रकार के साथ सभी सेवाओं से गुजरते हैं:
  
  
  • डीओडी से गो ऑब्जेक्ट पर मूल्य को डीकोड करें;
  • एक नियमित अभिव्यक्ति का उपयोग करते हुए, पते के पहले दो बाइट्स को बदलें;
  • सेवा को एक नए सबनेट से आईपी पता प्रदान करें;
  • एक सीरियल बनाने वाला, गो ऑब्जेक्ट को प्रोटोबुफ़ में परिवर्तित करें, आदि को नया डेटा लिखें।

अभ्यास

सर्विससीआईडीआर बदलें

• आवश्यक सॉफ़्टवेयर स्थापित करना और पैचेड हेंडलपर को इकट्ठा करना;
• बैकअप वगैरह और /etc/kubernetes।

• संशोधनकर्ता और नियंत्रक-प्रबंधक मेनिफ़ेस्ट करता है
• प्रमाणपत्रों की पुन: जांच;
• क्लस्टर आदि में क्लस्टर सेवाओं में परिवर्तन;
• क्लस्टर में सभी पॉड्स को पुनरारंभ करें।

apt install etcd-client

• हम गोलगप्पे डालते हैं:
  
  

  GOPATH=/root/golang
  mkdir -p $GOPATH/local
  curl -sSL https://dl.google.com/go/go1.14.1.linux-amd64.tar.gz | tar -xzvC $GOPATH/local
  echo "export GOPATH=\"$GOPATH\"" >> ~/.bashrc
  echo 'export GOROOT="$GOPATH/local/go"' >> ~/.bashrc
  echo 'export PATH="$PATH:$GOPATH/local/go/bin"' >> ~/.bashrc

• हम खुद को बचाते हैं etcdhelper.go, निर्भरता को लोड करते हैं, इकट्ठा करते हैं:
  
  

  wget https://raw.githubusercontent.com/flant/examples/master/2020/04-etcdhelper/etcdhelper.go
  go get go.etcd.io/etcd/clientv3 k8s.io/kubectl/pkg/scheme k8s.io/apimachinery/pkg/runtime
  go build -o etcdhelper etcdhelper.go

backup_dir=/root/backup
mkdir ${backup_dir}
cp -rL /etc/kubernetes ${backup_dir}
ETCDCTL_API=3 etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/server.key --cert=/etc/kubernetes/pki/etcd/server.crt --endpoints https://192.168.199.100:2379 snapshot save ${backup_dir}/etcd.snapshot

1. आइए देखें कि वर्तमान प्रमाणपत्र जारी करने वाले कौन से डोमेन और आईपी पते हैं:
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:dev-1-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:apiserver, IP Address:192.168.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

2. Kubeadm के लिए न्यूनतम विन्यास तैयार करें:
   
   

   cat kubeadm-config.yaml
   apiVersion: kubeadm.k8s.io/v1beta1
   kind: ClusterConfiguration
   networking:
     podSubnet: "10.244.0.0/16"
     serviceSubnet: "172.24.0.0/16"
   apiServer:
     certSANs:
     - "192.168.199.100" # IP-  

3. चलो पुराने crt और कुंजी को हटा दें, क्योंकि इसके बिना एक नया प्रमाणपत्र जारी नहीं किया जाएगा:
   
   

   rm /etc/kubernetes/pki/apiserver.{key,crt}

4. API सर्वर के लिए प्रमाणपत्र जारी करें:
   
   

   kubeadm init phase certs apiserver --config=kubeadm-config.yaml

5. , :
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:kube-2-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, IP Address:172.24.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

6. API- :
   
   

   docker ps | grep k8s_kube-apiserver | awk '{print $1}' | xargs docker restart

7. admin.conf:
   
   

   kubeadm alpha certs renew admin.conf

8. etcd:
   
   

   ./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-service-cidr 172.24.0.0/16 

   
   ! , pod' /etc/resolv.conf CoreDNS (kube-dns), kube-proxy iptables . .
9. ConfigMap' kube-system:
   
   

   kubectl -n kube-system edit cm kubelet-config-1.16

   
   — clusterDNS IP- kube-dns: kubectl -n kube-system get svc kube-dns.
   
   

   kubectl -n kube-system edit cm kubeadm-config

   
   — data.ClusterConfiguration.networking.serviceSubnet .
10. kube-dns, kubelet :
    
    

    kubeadm upgrade node phase kubelet-config && systemctl restart kubelet

11. यह क्लस्टर में सभी पॉड्स को पुनरारंभ करने के लिए बनी हुई है:
    
    

    kubectl get pods --no-headers=true --all-namespaces |sed -r 's/(\S+)\s+(\S+).*/kubectl --namespace \1 delete pod \2/e'

न्यूनतम डाउनटाइम

1. नियंत्रण विमान की अभिव्यक्तियों को बदलने के बाद, एक नया क्यूब-डीएनएस सेवा बनाएं, उदाहरण के लिए, एक नाम kube-dns-tmpऔर एक नया पता 172.24.0.10।
2. ifहेंडिल में बनाओ , जो क्यूब-डीएनएस सेवा को संशोधित नहीं करेगा।
3. सभी क्यूबलेट में पते ClusterDNSको एक नए के साथ बदलें , जबकि पुरानी सेवा नए के साथ एक साथ काम करना जारी रखेगी।
4. प्राकृतिक कारणों से या सहमत समय पर स्वयं के द्वारा रोल करने के लिए अनुप्रयोगों के साथ फली की प्रतीक्षा करें।
5. सेवा को हटाएं kube-dns-tmpऔर इसे serviceSubnetCIDRक्यूब-डीएनएस सेवा के लिए बदलें ।

संशोधन podNetwork

• हम कॉन्फ़िगर को ठीक करते हैं kube-system;
• हम घन-नियंत्रक-प्रबंधक के प्रकटन को ठीक करते हैं;
• हम poddIDR को सीधे etcd में बदलते हैं;
• क्लस्टर के सभी नोड्स को रिबूट करें।

kubectl -n kube-system edit cm kubeadm-config

kubectl -n kube-system edit cm kube-proxy

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-pod-cidr 10.55.0.0/16

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

संपूर्ण

पुनश्च

• " Etcd 3.4.3: भंडारण विश्वसनीयता और सुरक्षा अनुसंधान ";
• " कुबेरनेट्स पर वेब के लिए कैलिको: जानने के लिए और थोड़ा अनुभव प्राप्त करना ";
• " कुबेरनेट्स [और उनके समाधान] के संचालन में 6 मनोरंजक प्रणाली कीड़े ";
• « Kubernetes».