k8s 部署安装

1、kube-proxy 开启 ipvs 的前置条件

$ modprobe br_netfilter 
cat > /etc/sysconfig/modules/ipvs.modules <<EOF 
# !/bin/bash 
modprobe -- ip_vs 
modprobe -- ip_vs_rr 
modprobe -- ip_vs_wrr 
modprobe -- ip_vs_sh 
modprobe -- nf_conntrack_ipv4 
EOF 
$ chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&  
lsmod  | grep -e ip_vs -e nf_conntrack_ipv4

2、安装 Docker 软件

$ yum install -y yum-utils device-mapper-persistent-data lvm2
$ yum-config-manager \
  --add-repo \
  http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
$ yum update -y && yum install -y docker-ce
## 创建 /etc/docker 目录
$ mkdir /etc/docker
# 配置 daemon.
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}
EOF
$ mkdir -p /etc/systemd/system/docker.service.d
# 重启docker服务
$ systemctl daemon-reload && systemctl restart docker && systemctl enable docker

3、安装 Kubeadm （主从配置）

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg 
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
$ yum -y  install  kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
$ systemctl enable kubelet.service

kubeadm 初始化工具 kubectl 命令行管理工具 kubelet 和docker CRI交互 创建容器

4、镜像操作

提前导入 k8s 需要的镜像，不然启动时再拉取因网络原因会很慢

$ tar -zxvf kubeadm-basic.images.tar.gz
$ vim load-images.sh

load-images.sh

cat <<EOF > ./load-images.sh
#!/bin/bash
ls /root/kubeadm-basic.images > /tmp/image-list.txt
cd /root/kubeadm-basic.images
for i in $( cat /tmp/image-list.txt )
do
    docker load -i $i
done
rm -rf /tmp/image-list.txt
EOF

$ sh ./load-images.sh

文件拷贝到其它节点并执行

$ scp -r kubeadm-basic.images load-images.sh root@k8s-node01:/root/
$ scp -r kubeadm-basic.images load-images.sh root@k8s-node02:/root/

5、初始化主节点

# 获取 kubeadm 默认的配置文件内容打印至 kubeadm-config.yaml
$ kubeadm config print init-defaults > kubeadm-config.yaml

修改 kubeadm-config.yaml 内容：

  localAPIEndpoint:
    advertiseAddress: 192.168.66.10  # 修改为本机IP
  kubernetesVersion: v1.15.1    # 修改为当前的k8s版本
  networking:
    podSubnet: "10.244.0.0/16"    # 指定pod网段
    serviceSubnet: 10.96.0.0/12
# 在最后追加，把默认调度方式改为 ipvs 方式
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
  SupportIPVSProxyMode: true
mode: ipvs

$ kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs  | tee kubeadm-init.log

PS： kubeadm-config.yaml 配置文件 kubeadm-init.log 输出日志 /etc/kubernetes/pki 证书目录

6、加入主节点以及其余工作节点

# 执行安装日志中的加入命令即可
$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

7、部署网络

$ mkdir -p install-k8s/core/ install-k8s/plugin/flannel/
# 备份
$ mv kubeadm-init.log kubeadm-config.yaml install-k8s/core/
[root@k8s-master01 flannel]
# 下载 flannel 配置文件
$ wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 按照配置文件安装 flannel
$ kubectl create -f kube-flannel.yml
# 查看 flannel 组件运行状态
$ kubectl get pod -n kube-system

查看状态结果：

启动失败原因：

k8s在使用编排（manifest）工具进行yaml文件启动pod时，会遇到官方所给例子中spec.containers.image包含：

quay.io/coreos/example_
gcr.io/google_containers/example_

也就是说，从quay.io和gcr.io进行镜像拉取，国内访问外网是被屏蔽了的，需要替换镜像源。 例如： 下拉镜像：quay.io/coreos/flannel:v0.10.0-s390x 如果拉取较慢，可以改为：quay-mirror.qiniu.com/coreos/flannel:v0.10.0-s390x 下拉镜像：gcr.io/google_containers/kube-proxy 可以改为： registry.aliyuncs.com/google_containers/kube-proxy

解决：替换 kube-flannel.yml 中所有 quay.io 为 quay-mirror.qiniu.com

[root@k8s-master01 flannel]$ 
$ vim kube-flannel.yml
# 全局替换操作
%s/quay.io/quay-mirror.qiniu.com/g
$ kubectl apply -f kube-flannel.yml

将其它节点加入

[root@k8s-node01 ~]$ 
kubeadm join 192.168.5.80:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:a9d3e7ec54046e863832fff64549915d46574ce943681dd33a9be00da481300b
[root@k8s-node02 ~]$ 
kubeadm join 192.168.5.80:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:a9d3e7ec54046e863832fff64549915d46574ce943681dd33a9be00da481300b