概述

官方源码网站 https://github.com/kubernetes/kubeadm

Kubeadm是一种常用的kubernetes集群安装方式，可以在生产环境中安装高可用集群，需要注意的是，这种方式安装的集群证书有效期只有一年，需要定期轮换。使用kubeadm部署高可用集群的时候，etcd集群可以放到master节点上，也可以使用外部的etcd集群。前者节约资源，方便管理，后者可用性更高：
image.png
image.png

基础环境配置

在开始之前，部署Kubernetes集群机器需要满足以下几个条件：

  • 硬件配置：至少2GBRAM，至少2个CPU。
  • 集群中所有机器之间网络互通
  • 可以访问外网，需要拉取镜像
  • 禁止swap分区
  • 关闭防火墙
  • 关闭selinux

环境准备

172.16.0.1 master
172.16.0.2 node1
172.16.0.3 node2

以下操作需要在master以及node节点都操作

修改主机名称

  1. hostnamectl set-hostname  master/node1/node2
  3. hostnamectl status

修改hosts

  1. cat >> /etc/hosts << EOF
  2. 172.16.0.1  master       
  3. 172.16.0.2  node1         
  4. 172.16.0.3  node2 
  5. EOF

关闭防火墙

关闭防火墙

  1. systemctl stop firewalld 
  3. systemctl disable firewalld

关闭swap

临时关闭swap

  1. swapoff -a

永久关闭swap

  1. sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

查看现在虚拟内存情况

  1. free -h
  2.               total        used        free      shared  buff/cache   available
  3. Mem:           943M        109M        472M        6.2M        360M        676M
  4. Swap:            0B          0B          0B

关闭selinux

临时关闭

  1. setenforce 0
  3. getenforce

永久关闭 

  1. sed -i 's/enforcing/disabled/' /etc/selinux/config

bridge网络

桥接的IPv4流量传递到iptables的链

  1. cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
  2. net.bridge.bridge-nf-call-ip6tables = 1
  3. net.bridge.bridge-nf-call-iptables = 1
  4. EOF
  6. sysctl --system

生效

  1. modprobe br_netfilter
  2. lsmod | grep br_netfilter
  3. sysctl -p /etc/sysctl.d/k8s.conf

开启ipvs

  • 在kubernetes中service有两种代理模型，一种是基于iptables，另一种是基于ipvs的。ipvs的性能要高于iptables的，但是如果要使用它，需要手动载入ipvs模块。
  • 在每个节点安装ipset和ipvsadm：
  1. yum -y install ipset ipvsadm
  • 在所有节点执行如下脚本：
  1. cat > /etc/sysconfig/modules/ipvs.modules <<EOF
  2. #!/bin/bash
  3. modprobe -- ip_vs
  4. modprobe -- ip_vs_rr
  5. modprobe -- ip_vs_wrr
  6. modprobe -- ip_vs_sh
  7. modprobe -- nf_conntrack_ipv4
  8. EOF
  • 授权、运行、检查是否加载：
  1. chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
  • 检查是否加载：
  1. lsmod | grep -e ipvs -e nf_conntrack_ipv4

Docker 安装

  • 安装Docker：
  1. wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
  1. yum -y install docker-ce-18.06.3.ce-3.el7
  1. systemctl enable docker && systemctl start docker
  1. docker version
  • 设置Docker镜像加速器：
  1. mkdir -p /etc/docker
  1. sudo tee /etc/docker/daemon.json <<-'EOF'
  2. {
  3.   "exec-opts": ["native.cgroupdriver=systemd"],    
  4.   "registry-mirrors": ["https://du3ia00u.mirror.aliyuncs.com"],    
  5.   "live-restore": true,
  6.   "log-driver":"json-file",
  7.   "log-opts": {"max-size":"500m", "max-file":"3"},
  8.   "storage-driver": "overlay2"
  9. }
  10. EOF
  1. sudo systemctl daemon-reload
  1. sudo systemctl restart docker

添加阿里云的YUM软件源

  • 由于kubernetes的镜像源在国外，非常慢，这里切换成国内的阿里云镜像源：
  1. cat > /etc/yum.repos.d/kubernetes.repo << EOF
  2. [kubernetes]
  3. name=Kubernetes
  4. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
  5. enabled=1
  6. gpgcheck=0
  7. repo_gpgcheck=0
  8. gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  9. EOF

安装kubeadm、kubelet和kubectl

  • 由于版本更新频繁，这里指定版本号部署：
  1. yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
  • 为了实现Docker使用的cgroup drvier和kubelet使用的cgroup drver一致，建议修改”/etc/sysconfig/kubelet”文件的内容：
  1. vim /etc/sysconfig/kubelet
  1. # 修改
  2. KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
  3. KUBE_PROXY_MODE="ipvs"
  • 设置为开机自启动即可，由于没有生成配置文件，集群初始化后自动启动：
  1. systemctl enable kubelet

查看k8s所需镜像

  • 查看k8s所需镜像：
  1. kubeadm config images list

image.png

部署k8s的Master节点

  • 部署k8s的Master节点（172.16.0.1）：
  1. # 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里需要指定阿里云镜像仓库地址
  2. kubeadm init \
  3.   --apiserver-advertise-address=172.16.0.1 \
  4.   --image-repository registry.aliyuncs.com/google_containers \
  5.   --kubernetes-version v1.18.0 \
  6.   --service-cidr=10.96.0.0/12 \
  7.   --pod-network-cidr=10.244.0.0/16

image.png
框中信息重点

  • 根据提示消息，在Master节点上使用kubectl工具：
  1.   mkdir -p $HOME/.kube
  2.   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  3.   sudo chown $(id -u):$(id -g) $HOME/.kube/config

部署k8s的Node节点

  • 根据提示，在172.16.0.2和172.16.0.3上添加如下的命令：
  1. kubeadm join 172.16.0.1:6443 --token 6h0o19.xk6lopzbxhvycwe2 \
  2.     --discovery-token-ca-cert-hash sha256:787795a877ef7265a533fd0e4365ad18f1b5c9e1e0da361fe646ef40236239d6

image.png
image.png

  • 默认的token有效期为2小时，当过期之后，该token就不能用了，这时可以使用如下的命令创建token：
  1. kubeadm token create --print-join-command
  1. # 生成一个永不过期的token
  2. kubeadm token create --ttl 0 --print-join-command

image.png

部署CNI网络插件

  • 根据提示，在Master节点上使用kubectl工具查看节点状态：
  1. kubectl get nodes

image.png

  • kubernetes支持多种网络插件，比如flannel、calico、canal等，任选一种即可，本次选择flannel，如果网络不行，可以使用本人提供的kube-flannel.yml，当然，你也可以安装calico，请点这里calico.yaml，推荐安装calico。
  • 在Master节点上获取flannel配置文件(可能会失败，如果失败，请下载到本地，然后安装)：
  1. wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
  • 使用配置文件启动flannel：
  1. kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
  • 查看部署CNI网络插件进度：
  1. kubectl get pods -n kube-system

image.png

  • 再次在Master节点使用kubectl工具查看节点状态：
  1. kubectl get nodes
  • 查看集群健康状况：
  1. kubectl get cs
  1. kubectl cluster-info

image.png

kubernetes中kubectl命令自动补全

  1. yum install -y bash-completion
  1. source /usr/share/bash-completion/bash_completion
  1. source <(kubectl completion bash)
  1. echo “source <(kubectl completion bash)” >> ~/.bashrc
  1.  vim /root/.bashrc
  1. source /usr/share/bash-completion/bash_completion
  1. source <(kubectl completion bash)