image.png

Author:Eric

Version:9.0.1

一、引言


1.1 环境不一致

我本地运行没问题啊:由于环境不一致,导致相同的程序,运行结果却不一致。

1.2 隔离性

哪个哥们又写死循环了,怎么这么卡:在多用户的操作系统下,会因为其他用户的操作失误影响到你自己编些的程序。

1.3 弹性伸缩

淘宝在双11的时候,用户量暴增:需要很多很多的运维人员去增加部署的服务器,运维成本过高的问题。

1.4 学习成本

学习一门技术,得先安装啊:学习每一门技术都要先安装响应的软件,但是还有他所依赖的各种环境,安装软件成本快高过学习成本啦。

二、Docker介绍


2.1 Docker的由来

一帮年轻人创业,创办了一家公司,2010年的专门做PAAS平台。但是到了2013年的时候,像亚马逊,微软,Google都开始做PAAS平台。到了2013年,公司资金链断裂,不得不倒闭,于是将公司内的核心技术对外开源,核心技术就是Docker。由于开源了Docker,到了2014年的时候,得到了C轮的融资 $4000W,2015年的时候,得到了D轮的融资.$9500W。于是公司开始全神贯注的维护Docker。

Docker主要作者-所罗门
image.png
Docker的作者已经离开了维护Docker的团队
image.png

2.2 Docker的思想

  • 集装箱:会将所有需要的内容放到不同的集装箱中,谁需要这些环境就直接拿到这个集装箱就可以了。
  • 标准化:
    • 运输的标准化:Docker有一个码头,所有上传的集装箱都放在了这个码头上,当谁需要某一个环境,就直接指派大海疼去搬运这个集装箱就可以了。
    • 命令的标准化:Docker提供了一些列的命令,帮助我们去获取集装箱等等操作。
    • 提供了REST的API:衍生出了很多的图形化界面,Rancher。
  • 隔离性:Docker在运行集装箱内的内容时,会在Linux的内核中,单独的开辟一片空间,这片空间不会影响到其他程序。
  • 中央仓库|注册中心:超级码头,上面放的就是集装箱
  • 镜像:就是集装箱
  • 容器:运行起来的镜像

三、Docker的安装


3.1 下载Docker依赖的环境

想安装Docker,需要先将依赖的环境全部下载,就像Maven依赖JDK一样

  1. yum -y install yum-utils device-mapper-persistent-data lvm2

3.2 指定Docker镜像源

默认下载Docker回去国外服务器下载,速度较慢,我们可以设置为阿里云镜像源,速度更快

  1. yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

3.3 安装Docker

依然采用yum的方式安装

  1. yum makacache fast
  2. yum -y install docker-ce

3.4 启动Docker并测试

安装成功后,需要手动启动,设置为开机自启,并测试一下Docker

  1. # 启动Docker服务
  2. systemctl start docker
  3. # 设置开机自动启动
  4. systemctl enable docker
  5. # 测试
  6. (命令去测试:docker ps)查询docker内部的进程(ps -ef
  7. docker run hello-world

image.png

四、Docker的中央仓库【重点


  1. # 需要创建/etc/docker/daemon.json,并添加如下内容
  2. {
  3. "registry-mirrors": ["https://registry.docker-cn.com"],
  4. "insecure-registries": ["ip:port"]
  5. }
  6. # 重启两个服务
  7. systemctl daemon-reload
  8. systemctl restart docker

五、镜像的操作【重点


5.1 拉取镜像

从中央仓库拉取镜像到本地

  1. docker pull 镜像名称[:tag 版本] (远程仓库的地址或者本地仓库的地址)
  2. # 举个栗子:docker pull daocloud.io/library/tomcat:8.5.15-jre8 daocloud.io/library/tomcat:8.5.16-jre8-alpine

5.2 查看本地全部镜像

查看本地已经安装过的镜像信息,包含标识,名称,版本,更新时间,大小

  1. docker images

5.3 删除本地镜像

镜像会占用磁盘空间,可以直接手动删除,表示通过查看获取

  1. docker rmi(remove image) 镜像的标识(images id

5.4 镜像的导入导出(重点)

如果因为网络原因可以通过硬盘的方式传输镜像,虽然不规范,但是有效,但是这种方式导出的镜像名称和版本都是null,需要手动修改

  1. # 将本地的镜像导出
  2. docker save -o 导出的路径 镜像id
  3. # 加载本地的镜像文件
  4. docker load -i 镜像文件
  5. # 修改镜像名称
  6. docker tag 镜像id 新镜像名称:版本

六、容器操作【重点


6.1 运行容器

运行容器需要制定具体镜像,如果镜像不存在,会直接下载

  1. # 简单操作
  2. docker run 镜像的标识|镜像名称[:tag]
  3. # 常用的参数
  4. docker run -d -p 宿主机端口:容器端口 --name 容器名称 镜像的标识|镜像名称[:tag]
  5. # -d:代表后台运行容器
  6. # -p 宿主机端口:容器端口:为了映射当前Linux的端口和容器的端口
  7. # --name 容器名称:指定容器的名称
  8. docker run -d -p 8081:8080 --name tomcat b8

6.2 查看正在运行的容器

查看全部正在运行的容器信息

  1. docker ps [-qa]
  2. # -a:查看全部的容器,包括没有运行
  3. # -q:只查看容器的标识

6.3 查看容器日志

查看容器日志,以查看容器运行的信息

  1. docker logs -f 容器id
  2. # -f:可以滚动查看日志的最后几行

6.4 进入容器内容部(重中重)

可以进入容器内部进行操作

  1. docker exec -it 容器id bash
  2. 退出容器:exit

如果出现:starting container process caused: exec: “bash”: executable file not found in $PATH: unknown

请使用

  1. docker exec -it 容器ID sh

6.5 复制内容到容器

将宿主机的文件复制到容器内部的指定目录

  1. docker cp 文件名称 容器id:容器内部路径
  2. docker cp index.html 982:/usr/local/tomcat/webapps/ROOT

6.6 重启&启动&停止&删除容器

容器的启动,停止,删除等操作,后续经常会使用到

  1. # 重新启动容器
  2. docker restart 容器id# 启动停止运行的容器
  3. docker start 容器id# 停止指定的容器(删除容器前,需要先停止容器)
  4. docker stop 容器id# 停止全部容器
  5. docker stop $(docker ps -qa)# 删除指定容器
  6. docker rm 容器id# 删除全部容器docker rm $(docker ps -qa)

七、Docker应用


7.1 Docker安装Tomcat

运行Tomcat容器,为部署SSM工程做准备

  1. docker run -d -p 8080:8080 --name tomcat daocloud.io/library/tomcat:8.5.15-jre8

7.2 Docker安装MySQL

运行MySQL容器,为部署SSM工程做准备

  1. docker run -d -p 3306:3306 --name mysql -e MYSQL_ROOT_PASSWORD=root daocloud.io/library/mysql:5.7.4

7.3 部署SSM工程

  • 修改SSM工程环境,设置为Linux中Docker容器的信息
  • 通过Maven的package重新打成war包
  • 讲Windows下的war包复制到Linux中
  • 通过docker命令将宿主机的war包复制到容器内部
  • 测试访问SSM工程

八、数据卷【重点


为了部署SSM的工程,需要使用到cp的命令将宿主机内的ssm.war文件复制到容器内部。

数据卷:将宿主机的一个目录映射到容器的一个目录中。

可以在宿主机中操作目录中的内容,那么容器内部映射的文件,也会跟着一起改变。

8.1 创建数据卷

创建数据卷之后,默认会存放在一个目录下 /var/lib/docker/volumes/数据卷名称/_data

  1. docker volume create 数据卷名称

8.2 查看数据卷详情

查看数据卷的详细信息,可以查询到存放路径,创建时间等等

  1. docker volume inspect 数据卷名称

8.3 查看全部数据卷

image.png

查看全部数据卷信息

  1. docker volume ls

8.4 删除数据卷

删除指定数据卷

  1. docker volume rm 数据卷名称

8.5 容器映射数据卷

映射有两种方式:

  • 通过数据卷名称映射,如果数据卷不存在。Docker会帮你自动创建,会将容器内部自带的文件,存储在默认的存放路径中。
  • 通过路径映射数据卷,直接指定一个路径作为数据卷的存放位置。但是这个路径下是空的。
  1. # 通过数据卷名称映射docker run -v 数据卷名称:容器内部的路径 镜像id
  2. # 通过路径映射数据卷docker run -v 路径:容器内部的路径 镜像id
  3. 重点一定要记住
  4. docker run -d -p 8081:8080 --name tomcat -v[volume] /opt/tocmat:/usr/local/tomcat/webapps/ROOT b8
  5. 作业:用docker 部署jboss oracle

九、Dockerfile自定义镜像【重点】盗版


我们可以从中央仓库下载一个镜像,也可以自己手动去制作一个镜像,需要通过Dockerfile去指定自定义镜像的信息

不能随便乱取名字

9.1 Dockerfile(properties)

创建自定义镜像就需要创建一个Dockerfile,如下为Dockerfile的语言

  1. from: 指定当前自定义镜像依赖的环境 tocmat
  2. copy: 将相对路径下的内容复制到自定义镜像中 /opt/springboot.jar
  3. workdir: 声明镜像的默认工作目录 /opt/resource
  4. run: 执行的命令,可以编写多个
  5. cmd: 需要执行的命令(在workdir下执行的,cmd可以写多个,只以最后一个为准) java -jar
  6. # 举个例子,制作SSM容器镜像,而且ssm.war要放在Dockerfile的同级目录下
  7. from daocloud.io/library/tomcat:8.5.15-jre8
  8. copy ssm.war /usr/local/tomcat/webapps

9.2 通过Dockerfile制作镜像

编写完Dockerfile后需要通过命令将其制作为镜像,并且要在Dockerfile的当前目录下,之后即可在镜像中查看到指定的镜像信息,注意最后的 .

  1. docker build -t 镜像名称[:tag] .

十. Docker-Compose【重点


之前运行一个镜像,需要添加大量的参数,可以通过Docker-Compose编写这些参数。而且Docker-Compose可以帮助我们批量的管理容器。这些信息只需要通过一个docker-compose.yml文件去维护即可。

10.1 下载并安装Docker-Compose

10.1.1 下载Docker-Compose

去github官网搜索docker-compose,下载1.24.1版本的Docker-Compose

下载路径:https://github.com/docker/compose/releases/download/1.24.1/docker-compose-Linux-x86_64

在线安装:curl -L https://get.daocloud.io/docker/compose/releases/download/1.24.0/docker-compose-`uname -s-uname -m` > /usr/local/bin/docker-compose

  1. chmod +x /usr/local/bin/docker-compose

chmod 777 /usr/local/bin/docker-compose

10.1.2 设置权限

需要将DockerCompose文件的名称修改一下,给予DockerCompose文件一个可执行的权限

  1. mv docker-compose-Linux-x86_64 docker-compose
  2. chmod 777 docker-compose

10.1.3 配置环境变量

方便后期操作,配置一个环境变量

将docker-compose文件移动到了/usr/local/bin , 修改了/etc/profile文件,给/usr/local/bin配置到了PATH中

  1. mv docker-compose /usr/local/bin
  2. vi /etc/profile
  3. # 添加内容: export PATH=$JAVA_HOME:/usr/local/bin:$PATH
  4. source /etc/profile

10.1.4 测试

在任意目录下输入docker-compose

测试效果
image.png

10.2 Docker-Compose管理MySQL和Tomcat容器

yml文件以key: value方式来指定配置信息

多个配置信息以换行+缩进的方式来区分

在docker-compose.yml文件中,不要使用制表符 不能乱取

一个目录里面只能放一个docker-compose.yml

  1. version: '3.1'
  2. services:
  3. mysql: # 服务的名称
  4. restart: always # 代表只要docker启动,那么这个容器就跟着一起启动
  5. image: daocloud.io/library/mysql:5.7.4 # 指定镜像路径
  6. container_name: mysql # 指定容器名称
  7. ports:
  8. - 3306:3306 # 指定端口号的映射
  9. environment:
  10. MYSQL_ROOT_PASSWORD: root # 指定MySQL的ROOT用户登录密码
  11. TZ: Asia/Shanghai # 指定时区
  12. volumes:
  13. - /opt/docker_mysql_tomcat/mysql_data:/var/lib/mysql # 映射数据卷
  14. tomcat:
  15. restart: always
  16. image: daocloud.io/library/tomcat:8.5.15-jre8
  17. container_name: tomcat
  18. ports:
  19. - 8080:8080
  20. environment:
  21. TZ: Asia/Shanghai
  22. volumes:
  23. - /opt/docker_mysql_tomcat/tomcat_webapps:/usr/local/tomcat/webapps
  24. - /opt/docker_mysql_tomcat/tomcat_logs:/usr/local/tomcat/logs

10.3 使用docker-compose命令管理容器

在使用docker-compose的命令时 ,默认会在当前目录下找docker-compose.yml文件

  1. # 1. 基于docker-compose.yml启动管理的容器
  2. docker-compose up -d
  3. # 2. 关闭并删除容器
  4. docker-compose down
  5. # 3. 开启|关闭|重启已经存在的由docker-compose维护的容器
  6. docker-compose start|stop|restart
  7. # 4. 查看由docker-compose管理的容器
  8. docker-compose ps
  9. # 5. 查看日志
  10. docker-compose logs -f

image.png

10.4 docker-compose配合Dockerfile使用

使用docker-compose.yml文件以及Dockerfile文件在生成自定义镜像的同时启动当前镜像,并且由docker-compose去管理容器

10.4.1 docker-compose文件

编写docker-compose.yml文件

  1. # yml文件
  2. version: '3.1'
  3. services:
  4. ssm:
  5. restart: always
  6. build: # 构建自定义镜像
  7. context: ../ # 指定dockerfile文件的所在路径
  8. dockerfile: Dockerfile # 指定Dockerfile文件名称
  9. image: ssm:1.0.1
  10. container_name: ssm
  11. ports:
  12. - 8081:8080
  13. environment:
  14. TZ: Asia/Shanghai

10.4.2 Dockerfile文件

编写Dockerfile文件

  1. from daocloud.io/library/tomcat:8.5.15-jre8
  2. copy ssm.war /usr/local/tomcat/webapps

10.4.3 运行

测试效果

  1. # 可以直接启动基于docker-compose.yml以及Dockerfile文件构建的自定义镜像
  2. docker-compose up -d
  3. # 如果自定义镜像不存在,会帮助我们构建出自定义镜像,如果自定义镜像已经存在,会直接运行这个自定义镜像
  4. # 重新构建的话。
  5. # 重新构建自定义镜像
  6. docker-compose build
  7. # 运行当前内容,并重新构建
  8. docker-compose up -d --build

十一. Docker CI、CD


11.1 CI、CD引言

项目部署

  • 将项目通过maven进行编译打包
  • 将文件上传到指定的服务器中
  • 将war包放到tomcat的目录中
  • 通过Dockerfile将Tomcat和war包转成一个镜像,由DockerCompose去运行容器

项目更新后,需要将上述流程再次的从头到尾的执行一次,如果每次更新一次都执行一次上述操作,很费时,费力。我们就可以通过CI、CD帮助我们实现持续集成,持续交付和部署。

11.2 CI介绍

CI(continuous intergration)持续集成

持续集成:编写代码时,完成了一个功能后,立即提交代码到Git仓库中,将项目重新的构建并且测试。

  • 快速发现错误。
  • 防止代码偏离主分支。

11.3 搭建Gitlab服务器

实现CI,需要使用到Gitlab远程仓库,先通过Docker搭建Gitlab

11.3.1 准备工作
  • 创建一个全新的虚拟机,并且至少指定4G的运行内存,4G运行内存是Gitlab推荐的内存大小。
  • 并且安装Docker以及Docker-Compose

11.3.2 修改ssh的22端口

将ssh的默认22端口,修改为60022端口,因为Gitlab需要占用22端口

  1. vi /etc/ssh/sshd_config
  2. PORT 22 -> 60022
  3. systemctl restart sshd

11.3.3 编写docker-compose.yml

docker-compose.yml文件去安装gitlab(下载和运行的时间比较长的)

  1. version: '3.1'
  2. services:
  3. gitlab:
  4. image: 'twang2218/gitlab-ce-zh:11.1.4'
  5. container_name: "gitlab"
  6. restart: always
  7. privileged: true
  8. hostname: 'gitlab'
  9. environment:
  10. TZ: 'Asia/Shanghai'
  11. GITLAB_OMNIBUS_CONFIG: |
  12. external_url 'http://192.168.199.110'
  13. gitlab_rails['time_zone'] = 'Asia/Shanghai'
  14. gitlab_rails['smtp_enable'] = true
  15. gitlab_rails['gitlab_shell_ssh_port'] = 22
  16. ports:
  17. - '80:80'
  18. - '443:443'
  19. - '22:22'
  20. volumes:
  21. - /opt/docker_gitlab/config:/etc/gitlab
  22. - /opt/docker_gitlab/data:/var/opt/gitlab
  23. - /opt/docker_gitlab/logs:/var/log/gitlab

11.4 搭建GitlabRunner

查看资料中的gitlab-runner文件即可安装

11.5 整合项目入门测试

11.5.1 创建项目

创建maven工程,添加web.xml文件,编写html页面

11.5.2 编写.gitlab-ci.yml

编写.gitlab-ci.yml文件

  1. stages:
  2. - test
  3. test:
  4. stage: test
  5. script:
  6. - echo first test ci # 输入的命令

11.5.3 将maven工程推送到gitlab中

执行git命令推送到Gitlab

  1. git push origin master

11.5.4 查看效果

可以在gitlab中查看到gitlab-ci.yml编写的内容

效果图
image.png

11.6 完善项目配置

添加Dockerfile以及docker-compose.yml, 并修改.gitlab-ci.yml文件

11.6.1 创建Dockerfile
  1. # Dockerfile
  2. FROM daocloud.io/library/tomcat:8.5.15-jre8
  3. COPY testci.war /usr/local/tomcat/webapps

11.6.2 创建docker-compose.yml
  1. # docker-compose.yml
  2. version: "3.1"
  3. services:
  4. testci:
  5. build: docker
  6. restart: always
  7. container_name: testci
  8. ports:
  9. - 8080:8080

11.6.3 修改.gitlab-ci.yml
  1. # ci.yml
  2. stages:
  3. - test
  4. test:
  5. stage: test
  6. script:
  7. - echo first test ci
  8. - /usr/local/maven/apache-maven-3.6.3/bin/mvn package
  9. - cp target/testci-1.0-SNAPSHOT.war docker/testci.war
  10. - docker-compose down
  11. - docker-compose up -d --build
  12. - docker rmi $(docker images -qf dangling=true)

11.6.4 测试
测试效果
image.png

11.7 CD介绍

CD(持续交付,持续部署)

持续交付:将代码交付给专业的测试团队去测试

持续部署:可以直接将指定好tag的代码直接部署到生产环境中

CICD图
image.png

11.8 安装Jenkins

11.8.1 编写docker-compose.yml

官网:https://www.jenkins.io/

  1. version: "3.1"
  2. services:
  3. jenkins:
  4. image: jenkins/jenkins
  5. restart: always
  6. container_name: jenkins
  7. ports:
  8. - 8888:8080
  9. - 50000:50000
  10. volumes:
  11. - ./data:/var/jenkins_home

11.8.2 运行并访问Jenkins

第一次运行时,会因为data目录没有权限,导致启动失败

  1. chmod 777 data

访问http://192.168.199.109:8888

  1. 访问速度奇慢无比。。。。。

访问成功后,需要输入密码,可在日志中查看

image.png

手动指定插件安装:指定下面两个插件即可

publish ssh.

git param.

image.png

安装成功后,需要指定上用户名和密码,登陆成功

image.png

11.9 配置Jenkins的目标服务器

执行过程为代码提交到Gitlab,Jenkins会从Gitlab中拉取代码,并在Jenkins中打包并发布到目标服务器中。

11.9.1 点击左侧的系统设置
左侧导航
image.png

11.9.2 选中中间区域的系统设置
系统设置
image.png

11.9.3 搜索Publish over SSH
Publish over SSH
image.png

11.9.4 点击上图新增
新增SSH连接
image.png

11.10 配置GitLab免密码登录

链接Gitlab需要使用密码,我们可以通过SSH的方式,免密码登陆Gitlab拉取代码,避免每次都输入密码。

11.10.1登录Jenkins容器内部
  1. docker exec -it jenkins bash

11.10.2 输入生成SSH秘钥命令
  1. ssh-keygen -t rsa -C "邮箱(随便写)"

11.10.3将秘钥复制到GitLab的SSH中
配置密钥
image.png

11.11 配置JDK和Maven

我们需要再Jenkins中将代码打包,需要依赖JDK和Maven的环境

11.11.1 复制软件到data目录下
效果
image.png

11.11.2 在监控界面中配置JDK和Maven
配置环境变量
image.png

11.11.3 手动拉取gitlab项目

使用SSH无密码连接时,第一次连接需要手动确定

手动拉取一次
image.png

11.12 创建maven任务

实现通过Jenkins的Maven任务,自动去Gitlab拉取代码,并在本地打包,发布到目标服务器上

11.12.1 创建maven工程,推送到GitLab中

随便创建一个即可……

11.12.2 Jenkins的监控页面中创建maven任务
指定GitLab地址
image.png
指定maven打包方式
image.png

11.12.3 执行maven任务
立即构建,并查看日志
image.png
控制台查看日志信息
image.png

11.12.4 最终效果
打包成功
image.png

11.13 实现持续交付持续部署

实现根据tag标签,实现持续交付和持续部署

11.13.1 安装Persistent Parameter的插件
安装插件
image.png

11.13.2 重新指定构建项目的方式
根据标签构建项目
image.png
自定义构建
image.png

11.13.3 构建项目成功后,需要将内容发布到目标服务器
发布服务器后执行的命令
image.png

11.13.4 添加程序代码
  1. # Dockerfile 文件
  2. FROM daocloud.io/library/tomcat:8.5.15-jre8
  3. COPY testcd-1.0-SNAPSHOT.war /usr/local/tomcat/webapps
  4. # docker-compose.yml文件
  5. version: "3.1"
  6. services:
  7. testcd:
  8. build: docker
  9. restart: always
  10. container_name: testcd
  11. ports:
  12. - 8081:8080

11.13.5 测试
根据标签修改发布版本
image.png