前导

docker自己的编排工具：docker compose+docker swarm+docker machine
mesos,marathon
kubernetes
CI：持续集成
CD：持续交互，Delivery
CD：持续部署，Deployment
DevOps流程：
程序开发->代码提交->构建->部署->测试（自动化测试）->测试通过提交仓库交互给运维->部署发布到线上
容器的出现使DevOps成为可能，特别是在构建部署的过程中，在传统的应用部署时我们通常会遇到的问题是——部署的环境异常复杂，底层的系统可能是windows，centos，FreeBSD，ubuntu以及各自的不同版本等等，在以往我们可能需要针对每一种环境都要做部署，然后进行测试，这个过程是非常繁琐的，但是容器技术解决了这个问题，只要我们将提交的代码构建出容器镜像，就可以再容器环境之上直接run起来，不管底层是什么样的系统，所以容器技术的出现极大的简化了代码的构建和部署过程，使DevOps这一理念的落地成为可能
K8S源自于google公司内部的Borg编排系统
特性：自动装箱，自我修复，水平扩展，服务发现和负载均衡，自动发布和回滚，密钥和配置管理，存储编排，任务的批量执行

1 K8S基本概念

1.1 K8S概述和特性

1.1.1 K8S概述

kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效(powerful) ,Kubernetes提供了应用部署，规划，更新，维护的一种机制。
传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等操作，当然也可以通过创建虚拟机的方式来实现某些功能，但是虚拟机非常重，并不利于可移植性。
新的方式是通过部署容器方式实现，每个容器之间互相隔离，每个容器有自己的文件系统，容器之间进程不会相互影响，能区分计算资源。相对于虚拟机，容器能快速部署，由于容器与底层设施、机器文件系统解耦的，所以它能在不同云、不同版本操作系统间进行迁移。
容器占用资源少、部署快，每个应用可以被打包成一个容器镜像，每个应用与容器间成一对一关系也使容器有更大优势，使用容器可以在build或release 的阶段，为应用创建容器镜像，因为每个应用不需要与其余的应用堆栈组合，也不依赖于生产环境基础结构，这使得从研发到测试、生产能提供一致环境。类似地，容器比虚拟机轻量、更“透明这更便于监控和管理。
Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。
在Kubernetes 中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。

1.1.2 K8S特性

1）自动装箱
基于容器对应用运行环境的资源配置要求自动部署应用容器
2）自我修复（自愈能力）
当容器发生故障，会对容器进行重启，当所部署的Node节点有问题时，会对容器进行重新部署和重新调度
当容器未通过检查时，会关闭此容器直到容器正常运行时，才会对外提供服务
3）水平扩展
通过简单的命令，用户UI界面或基于CPU等资源使用情况，对应用容器进行规模扩大或规模剪裁
4）服务发现
用户不需要使用额外的服务发现机制，就能够基于K8S自身能力实现服务发现和负载均衡
5）滚动更新
可以更具应用的变化，对应用容器运行的应用，进行一次性或批量式的更新
6）版本回退
可以根据应用部署情况，对应用容器运行的应用，进行历史版本即时回退
7）密钥和配置管理
在不需要重新构建镜像的情况下，可以部署和更新密钥和应用配置，类似热部署
8）存储编排
自动实现存储系统挂载及应用，特别对有状态应用实现数据持久化非常重要，存储系统可以来自于本地目录，网络存储（NFS，Cluster，Ceph等），公有云存储服务
9）批处理
提供一次性服务，定时服务，满足批量数据处理和分析的场景

1.2 K8S架构组件

K8S部署与原理介绍 - 图1

1.2.1 Master

1）apiserver
集群统一入口，以resetful方式，交给etcd存储
2）scheduler
节点调度，选择node节点应用部署
3）controller-manager
处理集群中常规后台任务，一个资源对应一个控制器
4）etcd
存储系统，用于保存集群相关的数据

1.2.2 Node

1）kubelet
master分派到node节点的代表，管理本节点容器,接收任务,触发容器引擎启动容器
2）kubeproxy
系统网络代理，负载均衡等操作

1.3 K8S核心概念

1.3.1 POD

Pod是K8S集群的最小单元，一组容器的集合，Pod内各个容器共享网络栈，生命周期是短暂的
Pod：

  • 自主式Pod
  • 控制器管理的Pod

同一个Pod内多个容器的通信：lo口（共享网络名称空间）
各个Pod之间的通信：
Pod与Service之间的通信

1.3.2 Controller

确保预期的pod副本数量
无状态应用部署
有状态应用部署
确保所有的node运行同一个Pod
一次性任务和定时任务
如：ReplicationController,ReplicaSet,Deployment,StatefulSet,DaemonSet,Job,Cronjob

1.3.3 Service

定义一组Pod的访问规则
Label：
Label Seletor：
Scheduler：

2 搭建K8S集群

规划
单master集群
多master场景
硬件要求
测试
Master ：2 vCPU 4G内存 20G存储
Node：4vCPU 8G内存 40G存储
生产
更高要求

2.1 基于集群部署工具kubeadmin搭建

2.1.1 介绍

kubeadmin是官方社区推出的一个用于快速部署kubernetes集群的工具，这个工具能通过两条指令完成一个k8s集群的部署：
1.创建一个Master节点，kubeadmin init
2.将Node节点加入到当前集群中，$kubeadmin join

2.1.2 配置要求

3台虚拟机，CentOS7系统，2GB或更多的RAM，2个CPU或更多，30GB硬盘或更多
3台虚拟机网络互通且可以访问外网

  • 禁止SWAP分区，关闭防火墙，关闭SElinux，配置好A记录
  • 安装必要的工具wget,lrzsz,ethtools等
  • 将桥接的IPV4流量传递到iptables的链，并开启核心转发

cat >/etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl —system

  • 时间同步

yum install ntpdate -y
ntpdate time.windows.com

2.1.3 安装docker

1）添加阿里的docker源

  1. # step 1: 安装必要的一些系统工具
  2. sudo yum install -y yum-utils device-mapper-persistent-data lvm2
  3. # Step 2: 添加软件源信息
  4. sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  5. # Step 3
  6. sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
  7. # Step 4: 更新并安装Docker-CE
  8. sudo yum makecache fast

2）安装docker
yum install -y docker-ce-18.06.1.ce-3.el7
systemctl enable docker && systemctl start docker
3）添加镜像加速站
cat >/etc/docker/daemon.json <{
“registry-mirrors”: [“https://b9pmyelo.mirror.aliyuncs.com“]
}
EOF
systemctl restart docker

2.1.4 安装kubeadm，kubelet和kubectl

1）添加K8S镜像站

  1. cat <<EOF > /etc/yum.repos.d/kubernetes.repo
  2. [kubernetes]
  3. name=Kubernetes
  4. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
  5. enabled=1
  6. gpgcheck=1
  7. repo_gpgcheck=1
  8. gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  9. EOF

2）安装kubeadm,kubelet,kubectl
yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
systemctl enable kubelet

2.1.5 部署kubenetes Master

1）在master上执行初始化
kubeadm init —apiserver-advertise-address=10.0.0.46 —image-repository registry.aliyuncs.com/google_containers —kubernetes-version v1.18.0 —service-cidr=10.96.0.0/12 —pod-network-cidr=10.224.0.0/16

  1. Your Kubernetes control-plane has initialized successfully!
  2. To start using your cluster, you need to run the following as a regular user:
  3.   mkdir -p $HOME/.kube
  4.   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  5.   sudo chown $(id -u):$(id -g) $HOME/.kube/config
  6. You should now deploy a pod network to the cluster.
  7. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  8.   https://kubernetes.io/docs/concepts/cluster-administration/addons/
  9. Then you can join any number of worker nodes by running the following on each as root:
  10. kubeadm join 10.0.0.46:6443 --token p8n12v.ydqkz36w8nt2yw5y \
  11.     --discovery-token-ca-cert-hash sha256:69e94bef7f58c19fd508102029a23cb23b8d284011c1995f2fb1561228a20bc7

如果初始化过程中发生错误，可以使用kubeadm reset 清楚初始化产生的数据
2） 在master上执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
3）在node节点上执行
kubeadm join 10.0.0.46:6443 —token p8n12v.ydqkz36w8nt2yw5y —discovery-token-ca-cert-hash sha256:69e94bef7f58c19fd508102029a23cb23b8d284011c1995f2fb1561228a20bc7
4）添加网络插件
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
在安装插件时可能提示无法连接，这里可以将raw.githubusercontent.com的A记录添加到hosts文件中便可以解决
在 https://www.ipaddress.com/网站可以查找到raw.githubusercontent.com对应的IP地址，让后将其添加到hosts文件中
如果拉取失败，可以手动拉取flannel镜像，然后在执行
[root@master ~]# docker pull quay.io/coreos/flannel:v0.13.1-rc2
5） 测试k8s集群
kubectl create deployment nginx —image=nginx
kubectl expose deployment nginx —port=80 —type=NodePort
kubectl get pod,svc

3 常用命令

1、快速删除所有pod

  1. [root@cce-p-master01 ~]# kubectl get pod -A  | awk '{system("kubectl delete pod " $2 " -n " $1)}'