Kubernetes 组件都是无状态的,所有的群集状态都储存在 etcd 集群中。

本部分内容将部署一套三节点的 etcd 群集,并配置高可用以及远程加密访问。

事前准备

本部分的命令需要在每个控制节点上都运行一遍,包括 controller-0controller-1controller-2。可以使用 gcloud 命令登录每个控制节点,比如

  1. gcloud compute ssh controller-0

可以使用 tmux 同时登录到三点控制节点上,加快部署步骤。

部署 etcd 集群成员

下载并安装 etcd 二进制文件

coreos/etcd GitHub 中下载 etcd 发布文件:

  1. wget -q --show-progress --https-only --timestamping \
  2. "https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gz"

解压缩并安装 etcd 服务与 etcdctl 命令行工具:

  1. tar -xvf etcd-v3.3.9-linux-amd64.tar.gz
  2. sudo mv etcd-v3.3.9-linux-amd64/etcd* /usr/local/bin/

配置 etcd Server

  1. sudo mkdir -p /etc/etcd /var/lib/etcd
  2. sudo cp ca.pem kubernetes-key.pem kubernetes.pem /etc/etcd/

使用虚拟机的内网 IP 地址来作为 etcd 集群的服务地址。查询当前节点的内网 IP 地址:

  1. INTERNAL_IP=$(curl -s -H "Metadata-Flavor: Google" \
  2. http://metadata.google.internal/computeMetadata/v1/instance/network-interfaces/0/ip)

每个 etcd 成员必须有一个整集群中唯一的名字,使用 hostname 作为 etcd name:

  1. ETCD_NAME=$(hostname -s)

生成 etcd.service 的 systemd 配置文件

  1. cat <<EOF | sudo tee /etc/systemd/system/etcd.service
  2. [Unit]
  3. Description=etcd
  4. Documentation=https://github.com/coreos
  5. [Service]
  6. ExecStart=/usr/local/bin/etcd \\
  7. --name ${ETCD_NAME} \\
  8. --cert-file=/etc/etcd/kubernetes.pem \\
  9. --key-file=/etc/etcd/kubernetes-key.pem \\
  10. --peer-cert-file=/etc/etcd/kubernetes.pem \\
  11. --peer-key-file=/etc/etcd/kubernetes-key.pem \\
  12. --trusted-ca-file=/etc/etcd/ca.pem \\
  13. --peer-trusted-ca-file=/etc/etcd/ca.pem \\
  14. --peer-client-cert-auth \\
  15. --client-cert-auth \\
  16. --initial-advertise-peer-urls https://${INTERNAL_IP}:2380 \\
  17. --listen-peer-urls https://${INTERNAL_IP}:2380 \\
  18. --listen-client-urls https://${INTERNAL_IP}:2379,https://127.0.0.1:2379 \\
  19. --advertise-client-urls https://${INTERNAL_IP}:2379 \\
  20. --initial-cluster-token etcd-cluster-0 \\
  21. --initial-cluster controller-0=https://10.240.0.10:2380,controller-1=https://10.240.0.11:2380,controller-2=https://10.240.0.12:2380 \\
  22. --initial-cluster-state new \\
  23. --data-dir=/var/lib/etcd
  24. Restart=on-failure
  25. RestartSec=5
  26. [Install]
  27. WantedBy=multi-user.target
  28. EOF

启动 etcd Server

  1. sudo systemctl daemon-reload
  2. sudo systemctl enable etcd
  3. sudo systemctl start etcd

不要忘记在所有控制节点上都运行上述命令,包括 controller-0controller-1controller-2 等。

验证

列出 etcd 的群集成员:

  1. sudo ETCDCTL_API=3 etcdctl member list \
  2. --endpoints=https://127.0.0.1:2379 \
  3. --cacert=/etc/etcd/ca.pem \
  4. --cert=/etc/etcd/kubernetes.pem \
  5. --key=/etc/etcd/kubernetes-key.pem

输出

  1. 3a57933972cb5131, started, controller-2, https://10.240.0.12:2380, https://10.240.0.12:2379
  2. f98dc20bce6225a0, started, controller-0, https://10.240.0.10:2380, https://10.240.0.10:2379
  3. ffed16798470cab5, started, controller-1, https://10.240.0.11:2380, https://10.240.0.11:2379

下一步:部署 Kubernetes 控制节点