我们在etcd Kubernetes-cluster中直接处理数据的经验（不使用K8s API）

• 子192.168.*.*网通常用于客户端的办公网络，甚至更经常用于开发人员的家庭网络。然后我们遇到了冲突：家用路由器在该子网上工作，VPN将这些子网从群集推送到客户端。
• 我们有几个集群（生产，阶段和/或几个开发集群）。然后，默认情况下，所有这些容器中的pod和服务都将具有相同的子网，这给同时使用多个群集中的服务带来了很大的困难。

搜寻决策

以下过程存在问题：配置完所有内容后，pod在/etc/resolv.conf中将旧IP用作DNS名称服务器。
由于仍然找不到解决方案，因此我不得不使用kubeadm reset重置整个集群，然后再次将其初始化。

• 被法兰绒使用；
• 云层和铁块上都有团簇;
• 我想避免在集群中重复部署所有服务；
• 需要以最小的问题来做所有事情；
• Kubernetes版本为1.16.6（但是，其他版本的其他操作将类似）；
• 主要任务是将其192.168.0.0/16替换为使用带有服务子网的kubeadm部署的群集172.24.0.0/16。

添加etcdhelper

• 创建一个反序列化器；
• 编译正则表达式以替换CIDR；
• 我们通过集群中所有具有ClusterIP类型的服务：
  
  
  • 将etcd中的值解码为Go对象；
  • 使用正则表达式替换地址的前两个字节；
  • 从新子网为服务分配IP地址；
  • 创建一个序列化器，将Go对象转换为protobuf，将新数据写入etcd。

实践

变更服务CIDR

• 安装必要的软件并组装修补的etcdhelper；
• 备份etcd和/etc/kubernetes。

• 修改apiserver和控制器管理器清单
• 重新签发证书；
• etcd中的ClusterIP服务发生了变化；
• 重新启动集群中的所有Pod。

apt install etcd-client

• 我们把golang：
  
  

  GOPATH=/root/golang
  mkdir -p $GOPATH/local
  curl -sSL https://dl.google.com/go/go1.14.1.linux-amd64.tar.gz | tar -xzvC $GOPATH/local
  echo "export GOPATH=\"$GOPATH\"" >> ~/.bashrc
  echo 'export GOROOT="$GOPATH/local/go"' >> ~/.bashrc
  echo 'export PATH="$PATH:$GOPATH/local/go/bin"' >> ~/.bashrc

• 我们保存自己etcdhelper.go，加载依赖项，收集：
  
  

  wget https://raw.githubusercontent.com/flant/examples/master/2020/04-etcdhelper/etcdhelper.go
  go get go.etcd.io/etcd/clientv3 k8s.io/kubectl/pkg/scheme k8s.io/apimachinery/pkg/runtime
  go build -o etcdhelper etcdhelper.go

backup_dir=/root/backup
mkdir ${backup_dir}
cp -rL /etc/kubernetes ${backup_dir}
ETCDCTL_API=3 etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/server.key --cert=/etc/kubernetes/pki/etcd/server.crt --endpoints https://192.168.199.100:2379 snapshot save ${backup_dir}/etcd.snapshot

1. 让我们看一下当前证书的颁发域和IP地址：
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:dev-1-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:apiserver, IP Address:192.168.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

2. 准备kubeadm的最低配置：
   
   

   cat kubeadm-config.yaml
   apiVersion: kubeadm.k8s.io/v1beta1
   kind: ClusterConfiguration
   networking:
     podSubnet: "10.244.0.0/16"
     serviceSubnet: "172.24.0.0/16"
   apiServer:
     certSANs:
     - "192.168.199.100" # IP-  

3. 让我们删除旧的crt和密钥，因为没有它，将不会颁发新证书：
   
   

   rm /etc/kubernetes/pki/apiserver.{key,crt}

4. 重新颁发API服务器的证书：
   
   

   kubeadm init phase certs apiserver --config=kubeadm-config.yaml

5. , :
   
   

   openssl x509 -noout -ext subjectAltName </etc/kubernetes/pki/apiserver.crt
   X509v3 Subject Alternative Name:
       DNS:kube-2-master, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, IP Address:172.24.0.1, IP Address:10.0.0.163, IP Address:192.168.199.100

6. API- :
   
   

   docker ps | grep k8s_kube-apiserver | awk '{print $1}' | xargs docker restart

7. admin.conf:
   
   

   kubeadm alpha certs renew admin.conf

8. etcd:
   
   

   ./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-service-cidr 172.24.0.0/16 

   
   ! , pod' /etc/resolv.conf CoreDNS (kube-dns), kube-proxy iptables . .
9. ConfigMap' kube-system:
   
   

   kubectl -n kube-system edit cm kubelet-config-1.16

   
   — clusterDNS IP- kube-dns: kubectl -n kube-system get svc kube-dns.
   
   

   kubectl -n kube-system edit cm kubeadm-config

   
   — data.ClusterConfiguration.networking.serviceSubnet .
10. kube-dns, kubelet :
    
    

    kubeadm upgrade node phase kubelet-config && systemctl restart kubelet

11. 仍然可以重新启动集群中的所有Pod：
    
    

    kubectl get pods --no-headers=true --all-namespaces |sed -r 's/(\S+)\s+(\S+).*/kubectl --namespace \1 delete pod \2/e'

停机时间最少

1. 更改控制平面的表示后，例如，使用名称kube-dns-tmp和新地址创建一个新的kube-dns服务172.24.0.10。
2. 请if在etcdhelper，这不会修改KUBE-DNS服务。
3. 用ClusterDNS新的kubelet替换所有kubelet中的地址，而旧的服务将继续与新的kubelet 同时工作。
4. 等待带有应用程序的pod出于自然原因自己或在约定的时间滚动。
5. 删除服务kube-dns-tmp并将其更改serviceSubnetCIDR为kube-dns服务。

修改podNetwork

• 我们修复了配置kube-system;
• 我们修复了kube-controller-manager的清单；
• 我们直接在etcd中更改podCIDR；
• 重新启动群集的所有节点。

kubectl -n kube-system edit cm kubeadm-config

kubectl -n kube-system edit cm kube-proxy

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.244.0.0/24",
    "podCIDRs": [
      "10.244.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.244.1.0/24",
    "podCIDRs": [
      "10.244.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

./etcdhelper -cacert /etc/kubernetes/pki/etcd/ca.crt -cert /etc/kubernetes/pki/etcd/server.crt -key /etc/kubernetes/pki/etcd/server.key -endpoint https://127.0.0.1:2379 change-pod-cidr 10.55.0.0/16

kubectl get no -o json | jq '[.items[] | {"name": .metadata.name, "podCIDR": .spec.podCIDR, "podCIDRs": .spec.podCIDRs, "InternalIP": (.status.addresses[] | select(.type == "InternalIP") | .address)}]'

[
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "192.168.199.2"
  },
  {
    "name": "kube-2-master",
    "podCIDR": "10.55.0.0/24",
    "podCIDRs": [
      "10.55.0.0/24"
    ],
    "InternalIP": "10.0.1.239"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "192.168.199.222"
  },
  {
    "name": "kube-2-worker-01f438cf-579f9fd987-5l657",
    "podCIDR": "10.55.1.0/24",
    "podCIDRs": [
      "10.55.1.0/24"
    ],
    "InternalIP": "10.0.4.73"
  }
]

总

聚苯乙烯

• “ Etcd 3.4.3：存储可靠性和安全性研究 ”；
• “ Kubernetes上的Calico for web：了解和一点经验 ”；
• “ Kubernetes [及其解决方案]操作中的6个有趣的系统错误 ”；
• « Kubernetes».