概述

参考文档

Kubernetes
Docker

基础环境和配置要求

硬件及系统

  • 2Core
  • 4G内存
  • CentOS7.6

软件

  • Kubernetes v1.18.x
    • calico v3.13.1
    • nginx-ingress v1.5.5
  • Docker v19.03.8

网络

角色 主机名 IP地址
master k8s-master 10.1.1.205
worker1 k8s-slave1 10.1.1.161
worker2 k8s-slave2 10.1.1.158

关闭一些服务

关闭selinux

  1. sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
  2. setenforce 0

关闭防火墙

  1. systemctl stop firewalld
  2. systemctl disable firewalld

关闭swap

  1. swapoff -a
  2. yes | cp /etc/fstab /etc/fstab_bak
  3. cat /etc/fstab_bak |grep -v swap > /etc/fstab

修改内核参数

  1. cp /etc/sysctl.conf{,.bak}
  3. echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
  4. echo "net.bridge.bridge-nf-call-ip6tables = 1" >> /etc/sysctl.conf
  5. echo "net.bridge.bridge-nf-call-iptables = 1" >> /etc/sysctl.conf
  6. echo "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.conf
  7. echo "net.ipv6.conf.default.disable_ipv6 = 1" >> /etc/sysctl.conf
  8. echo "net.ipv6.conf.lo.disable_ipv6 = 1" >> /etc/sysctl.conf
  9. echo "net.ipv6.conf.all.forwarding = 1"  >> /etc/sysctl.conf

配置Docker源

  1. yum install -y yum-utils wget
  2. yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

配置K8S源

  1. cat <<EOF > /etc/yum.repos.d/kubernetes.repo
  2. [kubernetes]
  3. name=Kubernetes
  4. baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
  5. enabled=1
  6. gpgcheck=0
  7. repo_gpgcheck=0
  8. gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
  9.        http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  10. EOF

重启操作系统

  1. reboot

安装软件

卸载旧版本

卸载Docker

  1. yum remove docker \
  2.           docker-client \
  3.           docker-client-latest \
  4.           docker-common \
  5.           docker-latest \
  6.           docker-latest-logrotate \
  7.           docker-logrotate \
  8.           docker-engine

卸载kubelet|kubeadm|kubectl

  1. yum remove -y kubelet kubeadm kubectl

安装软件

安装Docker

  1. version='19.03.8'
  2. yum install -y docker-ce-${version} docker-ce-cli-${version} containerd.io
  3. systemctl enable docker
  4. systemctl start docker

安装kubelet|kubeadm|kubectl

  1. version='1.18.2'
  2. yum install -y kubelet-${version} kubeadm-${version} kubectl-${version}

修改’Docker Cgroup Driver’为systemd

  • 将/usr/lib/systemd/system/docker.service文件中的这一行：
    • ExecStart=/usr/bin/dockerd -H fd:// —containerd=/run/containerd/containerd.sock
  • 修改为：
    • ExecStart=/usr/bin/dockerd -H fd:// —containerd=/run/containerd/containerd.sock —exec-opt native.cgroupdriver=systemd
  • 如果不修改，在添加 worker 节点时可能会碰到如下错误：
    • [WARNING IsDockerSystemdCheck]: detected “cgroupfs” as the Docker cgroup driver. The recommended driver is “systemd”.
    • Please follow the guide at https://kubernetes.io/docs/setup/cri/
  1. sed -i "s#^ExecStart=/usr/bin/dockerd.*#ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --exec-opt native.cgroupdriver=systemd#g" /usr/lib/systemd/system/docker.service

加速Docker

  1. export REGISTRY_MIRROR=https://registry.cn-hangzhou.aliyuncs.com
  2. curl -sSL https://kuboard.cn/install-script/set_mirror.sh | sh -s ${REGISTRY_MIRROR}

加速脚本另一个下载地址：

Aliyun

重启docker并启动kubelet

  1. systemctl daemon-reload
  2. systemctl restart docker
  3. systemctl enable kubelet && systemctl start kubelet

WARNING：如果此时执行 service status kubelet 命令，将得到 kubelet 启动失败的错误提示，请忽略此错误，因为必须完成后续步骤中 kubeadm init 的操作，kubelet 才能正常启动。

初始化master节点

重要说明

关于初始化时用到的环境变量

  • APISERVER_NAME 不能是 master 的 hostname。
  • APISERVER_NAME 必须全为小写字母、数字、小数点，不能包含减号。
  • POD_SUBNET 所使用的网段不能与 master节点/worker节点 所在的网段重叠。该字段的取值为一个 CIDR 值，如果您对 CIDR 这个概念还不熟悉，请仍然执行 export POD_SUBNET=10.100.0.1/16 命令，不做修改。
  1. # 只在 master 节点执行
  2. # 替换 10.1.1.205 为 master 节点的内网IP
  3. # export 命令只在当前 shell 会话中有效，开启新的 shell 窗口后，如果要继续安装过程，请重新执行此处的 export 命令
  4. export MASTER_IP=10.1.1.205
  5. # 替换 apiserver.demo 为 您想要的 dnsName
  6. export APISERVER_NAME=apiserver.iuskye.com
  7. # Kubernetes 容器组所在的网段，该网段安装完成后，由 kubernetes 创建，事先并不存在于您的物理网络中
  8. export POD_SUBNET=10.100.0.1/16
  9. echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts

将如下内容写成一个脚本文件并执行

  1. vim init_master.sh
  1. #!/bin/bash
  3. # 只在 master 节点执行
  5. # 脚本出错时终止执行
  6. set -e
  8. export APISERVER_NAME=apiserver.iuskye.com
  9. export POD_SUBNET=10.100.0.1/16
  11. if [ ${#POD_SUBNET} -eq 0 ] || [ ${#APISERVER_NAME} -eq 0 ]; then
  12.   echo -e "\033[31;1m请确保您已经设置了环境变量 POD_SUBNET 和 APISERVER_NAME \033[0m"
  13.   echo "当前POD_SUBNET=$POD_SUBNET"
  14.   echo "当前APISERVER_NAME=$APISERVER_NAME"
  15.   exit 1
  16. fi
  18. # 查看完整配置选项 https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta2
  19. rm -f ./kubeadm-config.yaml
  20. cat <<EOF > ./kubeadm-config.yaml
  21. apiVersion: kubeadm.k8s.io/v1beta2
  22. kind: ClusterConfiguration
  23. kubernetesVersion: v${1}
  24. imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
  25. controlPlaneEndpoint: "${APISERVER_NAME}:6443"
  26. networking:
  27.   serviceSubnet: "10.96.0.0/16"
  28.   podSubnet: "${POD_SUBNET}"
  29.   dnsDomain: "cluster.local"
  30. EOF
  32. # kubeadm init
  33. # 根据您服务器网速的情况，您需要等候 3 - 10 分钟
  34. kubeadm init --config=kubeadm-config.yaml --upload-certs
  36. # 配置 kubectl
  37. rm -rf /root/.kube/
  38. mkdir /root/.kube/
  39. cp -i /etc/kubernetes/admin.conf /root/.kube/config
  41. # 安装 calico 网络插件
  42. # 参考文档 https://docs.projectcalico.org/v3.13/getting-started/kubernetes/self-managed-onprem/onpremises
  43. echo "安装calico-3.13.1"
  44. rm -f calico-3.13.1.yaml
  45. wget https://kuboard.cn/install-script/calico/calico-3.13.1.yaml
  46. # 备用下载地址:https://picture-bed-iuskye.oss-cn-beijing.aliyuncs.com/kubernetes-deploy/calico-3.13.1.yaml
  47. kubectl apply -f calico-3.13.1.yaml
chmod +x init_master.sh
./init_master.sh 1.18.2

执行脚本报错

W0523 05:12:57.137964   20806 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
[init] Using Kubernetes version: v1.18.2
[preflight] Running pre-flight checks
error execution phase preflight: [preflight] Some fatal errors occurred:
    [ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
To see the stack trace of this error execute with --v=5 or higher

手动进行设置：

echo '1' >/proc/sys/net/bridge/bridge-nf-call-iptables

重新执行脚本，在执行前先重置一下：

kubeadm reset -f

继续执行脚本：

./init_master.sh 1.18.2

重要提示

  • 请确保您的环境符合 安装docker及kubelet 中所有勾选框的要求
  • 请确保您使用 root 用户执行初始化命令
  • 不能下载 kubernetes 的 docker 镜像
    • 安装文档中，默认使用阿里云的 docker 镜像仓库，然而，有时候，该镜像会罢工
    • 如碰到不能下载 docker 镜像的情况，请尝试手工初始化，并修改手工初始化脚本里的第22行（文档中已高亮）为：
      imageRepository: gcr.azk8s.cn/google-containers
  • 检查环境变量，执行如下命令
    echo MASTER_IP=${MASTER_IP} && echo APISERVER_NAME=${APISERVER_NAME} && echo POD_SUBNET=${POD_SUBNET}
    请验证如下几点：
    • 环境变量 MASTER_IP 的值应该为 master 节点的 内网IP，如果不是，请重新 export
    • APISERVER_NAME 不能是 master 的 hostname
    • APISERVER_NAME 必须全为小写字母、数字、小数点，不能包含减号
    • POD_SUBNET 所使用的网段不能与 master节点/worker节点 所在的网段重叠。该字段的取值为一个 CIDR 值，如果您对 CIDR 这个概念还不熟悉，请仍然执行 export POD_SUBNET=10.100.0.1/16 命令，不做修改
  • 重新初始化 master 节点前，请先执行 kubeadm reset -f 操作

检查master初始化结果

# 只在 master 节点执行
# 执行如下命令，等待 3-10 分钟，直到所有的容器组处于 Running 状态
watch kubectl get pod -n kube-system -o wide
# 查看 master 节点初始化结果
kubectl get nodes -o wide

初始化worker节点

在master节点获取joi命令参数

kubeadm token create --print-join-command

可获取kubeadm join 命令及参数，如下所示:

W0523 05:28:49.539913   34507 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
kubeadm join apiserver.iuskye.com:6443 --token 6r673c.rzkuzbtl3ksa6jil     --discovery-token-ca-cert-hash sha256:7dbdf0c776b6c98dcf741485767cc8e2f3e6849690d25f834540ceca7523b9f8

Tips:该 token 的有效时间为 2 个小时，2小时内，您可以使用此 token 初始化任意数量的 worker 节点。

初始化worker

针对所有worker节点：

# 只在 worker 节点执行
# 替换 10.1.1.205 为 master 节点的内网 IP
export MASTER_IP=10.1.1.205
# 替换 apiserver.demo 为初始化 master 节点时所使用的 APISERVER_NAME
export APISERVER_NAME=apiserver.iuskye.com
echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts

# 替换为 master 节点上 kubeadm token create 命令的输出
kubeadm join apiserver.iuskye.com:6443 --token 6r673c.rzkuzbtl3ksa6jil     --discovery-token-ca-cert-hash sha256:7dbdf0c776b6c98dcf741485767cc8e2f3e6849690d25f834540ceca7523b9f8

这里又报了同上面一样的错误：

kubeadm join apiserver.iuskye.com:6443 --token 6r673c.rzkuzbtl3ksa6jil     --discovery-token-ca-cert-hash sha256:7dbdf0c776b6c98dcf741485767cc8e2f3e6849690d25f834540ceca7523b9f8

W0523 05:33:28.473590   21608 join.go:346] [preflight] WARNING: JoinControlPane.controlPlane settings will be ignored when control-plane flag is not set.
[preflight] Running pre-flight checks
error execution phase preflight: [preflight] Some fatal errors occurred:
    [ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
To see the stack trace of this error execute with --v=5 or higher

手动解决这个问题：

echo '1' >/proc/sys/net/bridge/bridge-nf-call-iptables

继续加入worker节点：

kubeadm join apiserver.iuskye.com:6443 --token 6r673c.rzkuzbtl3ksa6jil     --discovery-token-ca-cert-hash sha256:7dbdf0c776b6c98dcf741485767cc8e2f3e6849690d25f834540ceca7523b9f8

检查初始化结果

在master节点上查看

kubectl get nodes -o wide

输出结果如下所示：

NAME         STATUS   ROLES    AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION          CONTAINER-RUNTIME
k8s-master   Ready    master   32m   v1.18.2   10.1.1.205    <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8
k8s-slave1   Ready    <none>   99s   v1.18.2   10.1.1.161    <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8
k8s-slave2   Ready    <none>   77s   v1.18.2   10.1.1.158    <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8

安装 Ingress Controller

# 只在 master 节点执行
kubectl apply -f https://kuboard.cn/install-script/v1.18.x/nginx-ingress.yaml

备用下载地址

配置域名解析

将域名 kuber.iuskye.com 解析到 k8s-slave2 的 IP 地址 10.1.1.158 （也可以是 k8s-slave1 的地址 10.1.1.161）。

验证配置

在浏览器访问 kuber.iuskye.com，将得到 404 NotFound 错误页面，如下图：

单Master节点的Kubernetes集群环境实战 - 图1