1.master安装步骤

<1> 前置

安装docker

文档地址:https://www.yuque.com/u22270414/ro51c2/qgtpwd

配置防火墙等

  1. # 开放k8s所需端口
  2. firewall-cmd --permanent --add-port=6443/tcp
  3. firewall-cmd --permanent --add-port=2379/tcp
  4. firewall-cmd --permanent --add-port=2380/tcp
  5. firewall-cmd --permanent --add-port=10250/tcp
  6. firewall-cmd --permanent --add-port=10251/tcp
  7. firewall-cmd --permanent --add-port=10252/tcp
  8. firewall-cmd --permanent --add-port=30000-32767/tcp
  9. firewall-cmd --permanent --add-port=8472/udp
  10. firewall-cmd --permanent --add-port=443/tcp
  11. firewall-cmd --permanent --add-port=9099/tcp
  12. firewall-cmd --permanent --add-port=22/tcp
  13. firewall-cmd --permanent --add-port=179/tcp
  14. firewall-cmd --permanent --add-port=6666-6667/tcp
  15. firewall-cmd --permanent --add-port=68/tcp
  16. firewall-cmd --permanent --add-port=53/tcp
  17. firewall-cmd --permanent --add-port=67/tcp
  18. # 开启 Firewalld 的伪装 ip:如果不开启此功能,那将无法进行 ip 转发,会导致 DNS 插件不起作用
  19. firewall-cmd --add-masquerade --permanent
  20. firewall-cmd --reload
  21. # 关闭selinux
  22. sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
  23. # 时间同步
  24. systemctl start chronyd
  25. systemctl enable chronyd
  26. yum install ntpdate -y
  27. ntpdate time.windows.com
  28. # swap关闭
  29. swapoff -a
  30. sed -ri 's/.*swap.*/#&/' /etc/fstab
  31. #允许 iptables 检查桥接流量
  32. cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
  33. br_netfilter
  34. EOF
  35. cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
  36. net.bridge.bridge-nf-call-ip6tables = 1
  37. net.bridge.bridge-nf-call-iptables = 1
  38. EOF
  39. sudo sysctl --system
  40. # 重启
  41. # reboot

时间同步-使用自动任务
crontab -e
/1 * /usr/sbin/ntpdate time.windows.com

<2> 配置yum仓库

  1. cat <<EOF > /etc/yum.repos.d/kubernetes.repo
  2. [kubernetes]
  3. name=Kubernetes
  4. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
  5. enabled=1
  6. gpgcheck=1
  7. repo_gpgcheck=1
  8. gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  9. EOF

<3> 使用yum安装

  1. yum install -y kubelet-1.20.9 kubeadm-1.20.9 kubectl-1.20.9 --disableexcludes=kubernetes

<4>设置自启动

  1. systemctl enable kubelet && systemctl start kubelet
  2. echo "192.168.2.20 cluster-endpoint" >> /etc/hosts

<5> 初始化

  1. kubeadm init \
  2. --apiserver-advertise-address=192.168.2.20 \
  3. --control-plane-endpoint=cluster-endpoint \
  4. --image-repository registry.aliyuncs.com/google_containers \
  5. --kubernetes-version v1.20.9 \
  6. --service-cidr=10.96.0.0/12 \
  7. --pod-network-cidr=10.244.0.0/16 \
  8. --ignore-preflight-errors=all
  • —apiserver-advertise-address 当前ip地址
  • —image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问,这里指定阿里云镜像仓库地址
  • —kubernetes-version K8s版本,与上面安装的一致
  • —service-cidr 集群内部虚拟网络,Pod统一访问入口 (自定义)
  • —pod-network-cidr Pod网络,,与下面部署的CNI网络组件yaml中保持一致 (自定义)
    1. mkdir -p $HOME/.kube
    2. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    3. sudo chown $(id -u):$(id -g) $HOME/.kube/config

* 记录下来执行成功后的kubeadm join命令

  1. kubeadm join 192.168.2.20:6443 --token ozaf1q.txqw84ts2314xef5 \
  2. --discovery-token-ca-cert-hash sha256:0e22861ac1597880d19199f70d26b0f51d78be5d079e90c5fa642664a7ab5717

有效期24小时,过期后在master重新执行命令: kubeadm token create —print-join-command
* 如果失败,执行kubeadm reset, 再重新初始化

<6> 设置网络

Calico是一个纯三层的数据中心网络方案,是目前Kubernetes主流的网络方案。
下载YAML:

  1. wget https://docs.projectcalico.org/manifests/calico.yaml
  2. vim calico.yaml
  3. #下载完后还需要修改里面定义Pod网络(CALICO_IPV4POOL_CIDR),与前面kubeadm init的 --pod-network-cidr指定的一样。
  4. #修改完后文件后,部署
  5. - name: CALICO_IPV4POOL_CIDR
  6. value: "10.244.0.0/16"
  7. # 完成后 需要等待2分钟 等Calico Pod都Running,节点也会准备就绪:
  8. kubectl apply -f calico.yaml
  9. kubectl get pods -n kube-system
  10. # 查看 STATUS 是否是 Ready
  11. kubectl get nodes

2.node1/node2安装步骤

见master安装步骤<1><2><3><5>
执行kubeadm join命令

  1. kubeadm join 192.168.2.20:6443 --token 5icxr6.3lu6la396hih12r5 --discovery-token-ca-cert-hash sha256:0e22861ac1597880d19199f70d26b0f51d78be5d079e90c5fa642664a7ab5717

* 如果失败,执行kubeadm reset, 再重新执行kubeadm join命令

3.验证

  1. systemctl status kubelet
  2. // 查看日志
  3. journalctl -xefu kubelet

启动成功
image.png

4.问题

遇到问题先查看日志:journalctl -xefu kubelet
ps: 由于官网未开放同步方式, 可能会有索引gpg检查失败的情况, 这时请用 yum install -y —nogpgcheck kubelet kubeadm kubectl 安装

1> failed to run Kubelet: misconfiguration: kubelet cgroup driver: “systemd” is different from docker cgroup driver: “cgroupfs”

解决方法: 修改docker的cgroup driver

  1. vim /etc/docker/daemon.json
  2. # 添加"exec-opts": ["native.cgroupdriver=systemd"]即可
  3. systemctl restart docker

2> The connection to the server localhost:8080 was refused - did you specify the right host or port?

解决方法:修改环境变量

  1. # 追加配置
  2. echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profile
  3. # 使生效
  4. source /etc/profile

3> “Unable to update cni config” err=”no networks found in /etc/cni/net.d”

解决方法:安装网络插件

  1. yum install flannel -y

5.卸载

  1. # 重置
  2. kubeadm reset
  3. systemctl daemon-reload
  4. systemctl restart kubelet
  5. # 卸载
  6. yum erase kubeadm* kubectl* kubelet*

6.参考

1.阿里开源mirrors:https://developer.aliyun.com/mirror/kubernetes?spm=a2c6h.13651102.0.0.3e221b11DCGrIB
2.kubernetes官网:https://kubernetes.io/zh/docs/tasks/tools/install-kubectl-linux/
3.小强饲养员/学习笔记/k8s 安装 https://www.yuque.com/xiaoqiangsiyangyuan/duwp8m/aoora1
4.yaml编写: https://www.cnblogs.com/-wenli/p/13632474.html

7.yaml编写

Pod YAML参数定义

Pod是K8S的最小单元,它的信息都记录在了一个YAML文件里。那么这个YAML文件到底怎么写呢?里面有哪些参数?如何去修改YAML文件?带着这几个问题我们来了解下。
Pod YAML有哪些参数?
K8S的YAML配置文件我们初学者看了后都觉得很长,然后也觉得没什么规律。其实,我们可以梳理下从两个方面去了解。第一个是哪些是必写项,第二个是YAML包含哪些主要参数对象。

哪些是必写项

注意,一个YAML文件,下面几个参数是必须要声明,不然绝对会出错:

参数名 字段类型 说明
version String 这里是指的是K8S API的版本,目前基本上是v1,可以用kubectl api-versions命令查询
kind String 这里指的是yaml文件定义的资源类型和角色,比如:Pod
metadata Object 元数据对象,固定值就写metadata
metadata.name String 元数据对象的名字,这里由我们编写,比如命名Pod的名字
metadata.namespace String 元数据对象的命名空间,由我们自身定义
Spec Object 详细定义对象,固定值就写Spec
spec.containers[] list 这里是Spec对象的容器列表定义,是个列表
spec.containers[].name String 这里定义容器的名字
spec.containers[].image String 这里定义要用到的镜像名称

以上这些都是编写一个YAML文件的必写项,一个最基本的YAML文件就包含它们。

主要参数对象

第一小点里讲的都是必选参数,那么还是否有其他参数呢?其他功能的参数,虽然不是必选项,但是为了让YAML定义得更详细、功能更丰富,这里其他参数也需要了解下。接下来的参数都是Spec对象下面的,主要分了两大块:spec.containers 和 spec.volumes。
spec.containers
spec.containers 是个list数组,很明显,它代表的是描述container容器方面的参数。所以它下面的参数是非常多的,具体参数看如下表格:

参数名 字段类型 说明
spec.containers[].name String 定义容器的名字
spec.containers[].image String 定义要用到的镜像名称
spec.containers[].imagePullPolicy String 定义镜像拉取策略,有Always、Never、IfNotPresent三个值可选(1)Always:意思是每次都尝试重新拉取镜像 (2)Never:表示仅使用本地镜像 (3)IfNotPresent:如果本地有镜像就使用本地镜像,没有就拉取在线镜像。 上面三个值都没设置的话,默认是Always。
spec.containers[].command[] List 指定容器启动命令,因为是数组可以指定多个,不指定则使用镜像打包时使用的启动命令。
spec.containers[].args[] List 指定容器启动命令参数,因为是数组可以指定多个。
spec.containers[].workingDir String 指定容器的工作目录
spec.containers[].volumeMounts[] List 指定容器内部的存储卷配置
spec.containers[].volumeMounts[].name String 指定可以被容器挂载的存储卷的名称
spec.containers[].volumeMounts[].mountPath String 指定可以被容器挂载的存储卷的路径
spec.containers[].volumeMounts[].readOnly String 设置存储卷路径的读写模式,ture 或者false,默认为读写模式
spec.containers[].ports[] List 指定容器需要用到的端口列表
spec.containers[].ports[].name String 指定端口名称
spec.containers[].ports[].containerPort String 指定容器需要监听的端口号
spec.containers[].ports[].hostPort String 指定容器所在主机需要监听的端口号,默认跟上面containerPort相同,注意设置了hostPort 同一台主机无法启动该容器的相同副本(因为主机的端口号不能相同,这样会冲突)
spec.containers[].ports[].protocol String 指定端口协议,支持TCP和UDP,默认值为TCP
spec.containers[].env[] List 指定容器运行前需设置的环境变量列表
spec.containers[].env[].name String 指定环境变量名称
spec.containers[].env[].value String 指定环境变量值
spec.containers[].resources Object 指定资源限制和资源请求的值(这里开始就是设置容器的资源上限)
spec.containers[].resources.limits Object 指定设置容器运行时资源的运行上限
spec.containers[].resources.limits.cpu String 指定CPU的限制,单位为core数,将用于 docker run —cpu-shares参数(这里前面文章Pod资源限制有讲过)
spec.containers[].resources.limits.memory String 指定MEM内存的限制,单位为MIB、GiB
spec.containers[].resources.requests Object 指定容器启动和调度时的限制设置
spec.containers[].resources.requests.cpu String CPU请求,单位为core数,容器启动时初始化可用数量
spec.containers[].resources.requests.memory String 内存请求,单位为MIB、GiB,容器启动的初始化可用数量

spec.volumes
spec.volumes是个list数组,很明显,看名字就知道它是定义同步存储方面的参数。它下面的参数是非常多,具体参数看如下表格:

参数名 字段类型 说明
spec.volumes[].name String 定义Pod的共享存储卷的名称,容器定义部分的spec.containers[].volumeMounts[].name的值跟这里是一样的。
spec.volumes[].emptyDir Object 指定Pod的临时目录,值为一个空对象:emptyDir:{}
spec.volumes[].hostPath Object 指定挂载Pod所在宿主机的目录
spec.volumes[].hostPath.path String 指定Pod所在主机的目录,将被用于容器中mount的目录
spec.volumes[].secret Object 指定类型为secret的存储卷,secret意为私密、秘密的意思,很容易理解,它存储一些密码,token或者秘钥等敏感安全文件。挂载集群预定义的secret对象到容器内部。
spec.volumes[].configMap Object 指定类型为configMap的存储卷,表示挂载集群预定义的configMap对象到容器内部。
spec.volumes[].livenessProbe Object 指定Pod内容器健康检查的设置,当探测无响应几次后,系统将自动重启该容器。这个在前面的文章中有说,具体可以设置:exec、httpGet、tcpSocket。
spec.volumes[].livenessProbe.exec Object 指定Pod内容器健康检查的设置,确定是exec方式
spec.volumes[].livenessProbe.exec.command[] String 指定exec方式后需要指定命令或者脚本,用这个参数设置
spec.volumes[].livenessProbe.httpGet Object 指定Pod内容器健康检查的设置,确定是httpGet方式
spec.volumes[].livenessProbe.tcpSocket Object 指定Pod内容器健康检查的设置,确定是tcpSocket方式
spec.volumes[].livenessProbe.initialDelaySeconds Number 容器启动完成后手册探测的时间设置,单位为s
spec.volumes[].livenessProbe.timeoutSeconds Number 对容器健康检查的探测等待响应的超时时间设置,单位为S,默认为1s。若超过该超时时间设置,则认为该容器不健康,会重启该容器。
spec.volumes[].livenessProbe.periodSeconds Number 对容器健康检查的定期探测时间设置,单位为S,默认10s探测一次。

额外参数对象

除了上面containers和volumes两个主要参数,剩下有几个参数:

参数名 字段类型 说明
spec.restartPolicy String 定义Pod的重启策略,可选值为Always、OnFailure,默认值为Always。 1.Always:Pod一旦终止运行,则无论容器是如何终止的,kubelet服务都将重启它。 2.OnFailure:只有Pod以非零退出码终止时,kubelet才会重启该容器。如果容器正常结束(退出码为0),则kubelet将不会重启它。 3. Never:Pod终止后,kubelet将退出码报告给Master,不会重启该Pod。
spec.nodeSelector Object 定义Node的Label过滤标签,以key:value格式指定
spec.imagePullSecrets Object 定义pull镜像时使用secret名称,以name:secretkey格式指定
spec.hostNetwork Boolean 定义是否使用主机网络模式,默认值为false。设置true表示使用宿主机网络,不使用docker网桥,同时设置了true将无法在同一台宿主机上启动第二个副本。

yaml举例

  1. # yaml格式的pod定义文件完整内容:
  2. apiVersion: v1 #必选,版本号,例如v1
  3. kind: Pod #必选,Pod
  4. metadata: #必选,元数据
  5. name: string #必选,Pod名称
  6. namespace: string #必选,Pod所属的命名空间
  7. labels: #自定义标签
  8. - name: string #自定义标签名字
  9. annotations: #自定义注释列表
  10. - name: string
  11. spec: #必选,Pod中容器的详细定义
  12. containers: #必选,Pod中容器列表
  13. - name: string #必选,容器名称
  14. image: string #必选,容器的镜像名称
  15. imagePullPolicy: [Always | Never | IfNotPresent] #获取镜像的策略 Alawys表示下载镜像 IfnotPresent表示优先使用本地镜像,否则下载镜像,Nerver表示仅使用本地镜像
  16. command: [string] #容器的启动命令列表,如不指定,使用打包时使用的启动命令
  17. args: [string] #容器的启动命令参数列表
  18. workingDir: string #容器的工作目录
  19. volumeMounts: #挂载到容器内部的存储卷配置
  20. - name: string #引用pod定义的共享存储卷的名称,需用volumes[]部分定义的的卷名
  21. mountPath: string #存储卷在容器内mount的绝对路径,应少于512字符
  22. readOnly: boolean #是否为只读模式
  23. ports: #需要暴露的端口库号列表
  24. - name: string #端口号名称
  25. containerPort: int #容器需要监听的端口号
  26. hostPort: int #容器所在主机需要监听的端口号,默认与Container相同
  27. protocol: string #端口协议,支持TCP和UDP,默认TCP
  28. env: #容器运行前需设置的环境变量列表
  29. - name: string #环境变量名称
  30. value: string #环境变量的值
  31. resources: #资源限制和请求的设置
  32. limits: #资源限制的设置
  33. cpu: string #Cpu的限制,单位为core数,将用于docker run --cpu-shares参数
  34. memory: string #内存限制,单位可以为Mib/Gib,将用于docker run --memory参数
  35. requests: #资源请求的设置
  36. cpu: string #Cpu请求,容器启动的初始可用数量
  37. memory: string #内存清楚,容器启动的初始可用数量
  38. livenessProbe: #对Pod内个容器健康检查的设置,当探测无响应几次后将自动重启该容器,检查方法有exec、httpGet和tcpSocket,对一个容器只需设置其中一种方法即可
  39. exec: #对Pod容器内检查方式设置为exec方式
  40. command: [string] #exec方式需要制定的命令或脚本
  41. httpGet: #对Pod内个容器健康检查方法设置为HttpGet,需要制定Path、port
  42. path: string
  43. port: number
  44. host: string
  45. scheme: string
  46. HttpHeaders:
  47. - name: string
  48. value: string
  49. tcpSocket: #对Pod内个容器健康检查方式设置为tcpSocket方式
  50. port: number
  51. initialDelaySeconds: 0 #容器启动完成后首次探测的时间,单位为秒
  52. timeoutSeconds: 0 #对容器健康检查探测等待响应的超时时间,单位秒,默认1秒
  53. periodSeconds: 0 #对容器监控检查的定期探测时间设置,单位秒,默认10秒一次
  54. successThreshold: 0
  55. failureThreshold: 0
  56. securityContext:
  57. privileged:false
  58. restartPolicy: [Always | Never | OnFailure]#Pod的重启策略,Always表示一旦不管以何种方式终止运行,kubelet都将重启,OnFailure表示只有Pod以非0退出码退出才重启,Nerver表示不再重启该Pod
  59. nodeSelector: obeject #设置NodeSelector表示将该Pod调度到包含这个label的node上,以key:value的格式指定
  60. imagePullSecrets: #Pull镜像时使用的secret名称,以key:secretkey格式指定
  61. - name: string
  62. hostNetwork:false #是否使用主机网络模式,默认为false,如果设置为true,表示使用宿主机网络
  63. volumes: #在该pod上定义共享存储卷列表
  64. - name: string #共享存储卷名称 (volumes类型有很多种)
  65. emptyDir: {} #类型为emtyDir的存储卷,与Pod同生命周期的一个临时目录。为空值
  66. hostPath: string #类型为hostPath的存储卷,表示挂载Pod所在宿主机的目录
  67. path: string #Pod所在宿主机的目录,将被用于同期中mount的目录
  68. secret: #类型为secret的存储卷,挂载集群与定义的secre对象到容器内部
  69. scretname: string
  70. items:
  71. - key: string
  72. path: string
  73. configMap: #类型为configMap的存储卷,挂载预定义的configMap对象到容器内部
  74. name: string
  75. items:
  76. - key: string
  77. path: string

8.部署dashboard

1、部署

kubernetes官方提供的可视化界面 https://github.com/kubernetes/dashboard

  1. kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml

2、设置访问端口

  1. kubectl edit svc kubernetes-dashboard -n kubernetes-dashboard
  2. # type: ClusterIP 改为 type: NodePort
  3. kubectl get svc -A |grep kubernetes-dashboard
  4. ## 找到端口,在安全组放行
  5. # 访问: https://集群任意IP:端口 https://192.168.2.21:31246