Kubernetes 需要一些机器去搭建管理 Kubernetes 的控制平台, 也需要一些工作节点（work node）来运行容器。在这个实验中你将会创建一些虚拟机，并利用 GCE Compute Zone 来运行安全且高可用的 Kubernetes 集群。

请确定默认 Compute Zone 和 Region 已按照 事前准备 的设定步骤完成。

网络

Kubernetes 网络模型 假设使用扁平网路能让每个容器与节点都可以相互通信。 在这里我们先忽略用于控制容器网络隔离的 Network policies（Network Policies 不在本指南的范围内）。

虚拟私有网络（VPC）

本节将会创建一个专用的 Virtual Private Cloud (VPC) 网络来搭建我们的 Kubernetes 集群。

首先创建一个名为 kubernetes-the-hard-way 的 VPC 网络：

  1. gcloud compute networks create kubernetes-the-hard-way --subnet-mode custom

为了给 Kubernetes 集群的每个节点分配私有 IP 地址，需要创建一个含有足够大 IP 地址池的子网。 在 kubernetes-the-hard-way VPC 网络中创建 kubernetes 子网：

  1. gcloud compute networks subnets create kubernetes \
  2.   --network kubernetes-the-hard-way \
  3.   --range 10.240.0.0/24

10.240.0.0/24 IP 地址范围, 可以分配 254 个计算节点。

防火墙规则

创建一个防火墙规则允许内部网路通过所有协议进行通信：

  1. gcloud compute firewall-rules create kubernetes-the-hard-way-allow-internal \
  2.   --allow tcp,udp,icmp \
  3.   --network kubernetes-the-hard-way \
  4.   --source-ranges 10.240.0.0/24,10.200.0.0/16

创建一个防火墙规则允许外部 SSH、ICMP 以及 HTTPS 等通信：

  1. gcloud compute firewall-rules create kubernetes-the-hard-way-allow-external \
  2.   --allow tcp:22,tcp:6443,icmp \
  3.   --network kubernetes-the-hard-way \
  4.   --source-ranges 0.0.0.0/0

外部负载均衡器 被用来暴露 Kubernetes API Servers 给远端客户端。

列出在 kubernetes-the-hard-way VPC 网络中的防火墙规则：

  1. gcloud compute firewall-rules list --filter="network:kubernetes-the-hard-way"

输出为

  1. NAME                                    NETWORK                  DIRECTION  PRIORITY  ALLOW                 DENY
  2. kubernetes-the-hard-way-allow-external  kubernetes-the-hard-way  INGRESS    1000      tcp:22,tcp:6443,icmp
  3. kubernetes-the-hard-way-allow-internal  kubernetes-the-hard-way  INGRESS    1000      tcp,udp,icmp

Kubernetes 公网 IP 地址

分配固定的 IP 地址, 被用来连接外部的负载平衡器至 Kubernetes API Servers:

  1. gcloud compute addresses create kubernetes-the-hard-way \
  2.   --region $(gcloud config get-value compute/region)

验证 kubernetes-the-hard-way 固定 IP 地址已经在默认的 Compute Region 中创建出来：

  1. gcloud compute addresses list --filter="name=('kubernetes-the-hard-way')"

输出为

  1. NAME                     REGION    ADDRESS        STATUS
  2. kubernetes-the-hard-way  us-west1  XX.XXX.XXX.XX  RESERVED

计算实例

本节将会创建基于 Ubuntu Server 18.04 的计算实例，原因是它对 containerd 容器引擎有很好的支持。每个虚拟机将会分配一个私有 IP 地址用以简化 Kubernetes 的设置。

Kubernetes 控制节点

建立三个控制节点用以配置 Kubernetes 控制平面：

  1. for i in 0 1 2; do
  2.   gcloud compute instances create controller-${i} \
  3.     --async \
  4.     --boot-disk-size 200GB \
  5.     --can-ip-forward \
  6.     --image-family ubuntu-1804-lts \
  7.     --image-project ubuntu-os-cloud \
  8.     --machine-type n1-standard-1 \
  9.     --private-network-ip 10.240.0.1${i} \
  10.     --scopes compute-rw,storage-ro,service-management,service-control,logging-write,monitoring \
  11.     --subnet kubernetes \
  12.     --tags kubernetes-the-hard-way,controller
  13. done

Kubernetes 工作节点

每台 worker 节点都需要从 Kubernetes 集群 CIDR 范围中分配一个 Pod 子网。 Pod 子网分配将会在之后的容器网路章节做练习。在 worker 节点内部可以通过 pod-cidr 元数据来获得 Pod 子网的分配结果。

Kubernetes 集群 CIDR 的范围可以通过 Controller Manager 的 --cluster-cidr 参数来设定。在本次教学中我们会设置为 10.200.0.0/16，它支持 254 个子网。

创建三个计算节点用来作为 Kubernetes Worker 节点：

  1. for i in 0 1 2; do
  2.   gcloud compute instances create worker-${i} \
  3.     --async \
  4.     --boot-disk-size 200GB \
  5.     --can-ip-forward \
  6.     --image-family ubuntu-1804-lts \
  7.     --image-project ubuntu-os-cloud \
  8.     --machine-type n1-standard-1 \
  9.     --metadata pod-cidr=10.200.${i}.0/24 \
  10.     --private-network-ip 10.240.0.2${i} \
  11.     --scopes compute-rw,storage-ro,service-management,service-control,logging-write,monitoring \
  12.     --subnet kubernetes \
  13.     --tags kubernetes-the-hard-way,worker
  14. done

验证

列出所有在默认 Compute Zone 的计算节点：

  1. gcloud compute instances list

输出为：

  1. NAME          ZONE        MACHINE_TYPE   PREEMPTIBLE  INTERNAL_IP  EXTERNAL_IP     STATUS
  2. controller-0  us-west1-c  n1-standard-1               10.240.0.10  XX.XXX.XXX.XXX  RUNNING
  3. controller-1  us-west1-c  n1-standard-1               10.240.0.11  XX.XXX.X.XX     RUNNING
  4. controller-2  us-west1-c  n1-standard-1               10.240.0.12  XX.XXX.XXX.XX   RUNNING
  5. worker-0      us-west1-c  n1-standard-1               10.240.0.20  XXX.XXX.XXX.XX  RUNNING
  6. worker-1      us-west1-c  n1-standard-1               10.240.0.21  XX.XXX.XX.XXX   RUNNING
  7. worker-2      us-west1-c  n1-standard-1               10.240.0.22  XXX.XXX.XX.XX   RUNNING

配置 SSH

本教程使用 SSH 来配置控制节点和工作节点。当通过 gcloud compute ssh 第一次连接计算实例时，会自动生成 SSH 证书，并保存在项目或者实例的元数据中。

验证 controller-0 的 SSH 访问

  1. gcloud compute ssh controller-0

因为这是第一次访问，此时会生成 SSH 证书。按照提示操作

  1. WARNING: The public SSH key file for gcloud does not exist.
  2. WARNING: The private SSH key file for gcloud does not exist.
  3. WARNING: You do not have an SSH key for gcloud.
  4. WARNING: SSH keygen will be executed to generate a key.
  5. Generating public/private rsa key pair.
  6. Enter passphrase (empty for no passphrase):
  7. Enter same passphrase again:

此时，SSH 证书回保存在你的项目中：

  1. Your identification has been saved in /home/$USER/.ssh/google_compute_engine.
  2. Your public key has been saved in /home/$USER/.ssh/google_compute_engine.pub.
  3. The key fingerprint is:
  4. SHA256:nz1i8jHmgQuGt+WscqP5SeIaSy5wyIJeL71MuV+QruE $USER@$HOSTNAME
  5. The key's randomart image is:
  6. +---[RSA 2048]----+
  7. |                 |
  8. |                 |
  9. |                 |
  10. |        .        |
  11. |o.     oS        |
  12. |=... .o .o o     |
  13. |+.+ =+=.+.X o    |
  14. |.+ ==O*B.B = .   |
  15. | .+.=EB++ o      |
  16. +----[SHA256]-----+
  17. Updating project ssh metadata...-Updated [https://www.googleapis.com/compute/v1/projects/$PROJECT_ID].
  18. Updating project ssh metadata...done.
  19. Waiting for SSH key to propagate.

SSH 证书更新后，你就可以登录到 controller-0 实例中了：

  1. Welcome to Ubuntu 18.04 LTS (GNU/Linux 4.15.0-1006-gcp x86_64)
  3. ...
  5. Last login: Sun May 13 14:34:27 2018 from XX.XXX.XXX.XX

下一步：配置 CA 和创建 TLS 证书