安装高可用集群(手动分发证书)

一、主机准备

准备三台主机，和一个VIP

• master1：192.168.2.104

• master2：192.168.2.105

• master3：192.168.2.106

• vip：192.168.2.110

在每台主机的/etc/hosts中添加记录

192.168.2.110    apiserver.dcos.com

二、安装docker、kubeadm、kubelet、keepalived

略

三、安装Master

3.1 下载镜像

下载镜像到各master节点，参考《安装单Master集群》

3.2 安装Master1

执行以下命令，安装Master，安装成功后会有类似如下输出

$ kubeadm init --control-plane-endpoint apiserver.dcos.com:6443 --pod-network-cidr 172.26.0.0/16 --kubernetes-version 1.17.0

...
You can now join any number of control-plane nodes by copying certificate authorities
and service account keys on each node and then running the following as root:

  kubeadm join apiserver.dcos.com:6443 --token hcqgtn.l3915wh83gxktkl0 \
    --discovery-token-ca-cert-hash sha256:0acd092192699c3743ba1af4e6f24aa9bffcde265f3f60cee172a9fea0889376 \
    --control-plane 

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join apiserver.dcos.com:6443 --token hcqgtn.l3915wh83gxktkl0 \
    --discovery-token-ca-cert-hash sha256:0acd092192699c3743ba1af4e6f24aa9bffcde265f3f60cee172a9fea0889376

然后设置kubectl与安装Calico，参考《安装单Master集群》。

3.3 分发证书文件

在其他两个Master节点上，创建目录/etc/kubernetes/pki与/etc/kubernetes/pki/etcd，然后把Master1上的以下证书文件拷贝到其余Master相同的目录下：

/etc/kubernetes/pki/ca.key
/etc/kubernetes/pki/ca.crt
/etc/kubernetes/pki/sa.key
/etc/kubernetes/pki/sa.pub
/etc/kubernetes/pki/front-proxy-ca.key
/etc/kubernetes/pki/front-proxy-ca.crt
/etc/kubernetes/pki/etcd/ca.key
/etc/kubernetes/pki/etcd/ca.crt

3.4 安装其他master

根据上面的输出，可以执行下面的命令安装其他的master

$ kubeadm join apiserver.dcos.com:6443 --token hcqgtn.l3915wh83gxktkl0 --discovery-token-ca-cert-hash sha256:0acd092192699c3743ba1af4e6f24aa9bffcde265f3f60cee172a9fea0889376 --control-plane

安装成功后， 查看节点的状态，发现新节点添加成功

kubectl get node
NAME     STATUS   ROLES    AGE   VERSION
peng04   Ready    master   17h   v1.17.0
peng05   Ready    master   35s   v1.17.0

四、安装Node

略

附录

在该文中，每个Master节点的上面八个文件必须一致

ca.key与ca.crt

ca.key与ca.crt是指/etc/kubernetes/pki/ca.key与/etc/kubernetes/pki/ca.crt。

ca.crt出现在apiserver的启动参数中--client-ca-file=/etc/kubernetes/pki/ca.crt，它的作用就是apiserver用来认证客户端证书，原理具体见《认证》。

首先，为什么每个master节点的ca.key与ca.crt为什么需要一致？

因为，我们要的效果是，当有多个Master时，客户端携带一个客户证书访问其中任何一个都是可以的。而如果三个Master上的ca.key与ca.crt不一致，那么客户端的证书应该由哪个CA签署呢？所以，三个节点的必须一致。

第二，apiserver的启动参数没有用到ca.key，为什么还要从第一台master同步到其他master呢？

因为，每个Master上都会生成一个/etc/kubernetes/admin.conf文件，里面的内容其实就是一个客户证书，由ca.key和ca.crt签署的，所以还需要ca.key。

sa.key与sa.pub

sa.key出现在kube-controller-manager的启动参数--service-account-private-key-file=/etc/kubernetes/pki/sa.key，sa.pub出现在kube-apiserver的启动参数--service-account-key-file=/etc/kubernetes/pki/sa.pub，这两个参数的原理见《ServiceAccount》

与上面的原因类似。

其实，启动参数的内容，由于没有存储在etcd中，所以每个节点都必须要指定，且一致。

front-proxy-ca.key与front-proxy-ca.crt

???

etc/ca.key与/etc/ca.crt

参考 《启动参数解析》 之 《ETCD相关参数》