1 Jenkins-Master-Slave架构图回顾

Jenkins-Master-Slave架构图回顾.png

2 安装和配置NFS

2.1 前提说明

  • NFS安装在k8s-master节点上,即192.168.18.100。

2.2 简介

  • NFS(Network File System),它最大的功能就是可以通过网络,让不同的机器、不同的操作系统可以共享彼此的文件。我们可以利用NFS共享Jenkins运行的配置文件、Maven的仓库依赖文件等。

2.3 NFS的安装

  • 安装NFS服务:
  1. yum install -y nfs-utils rpcbind
  • 创建共享目录:
  1. mkdir -pv /usr/local/jenkins
  • 将共享目录以读写权限暴露给其他主机:
  1. vim /etc/exports
  1. # * 表示对所有的IP都开放,rw是读写权限
  2. /usr/local/jenkins *(rw,no_root_squash)
  • 修改共享目录的权限:
  1. chmod 777 -R /usr/local/jenkins
  • 启动服务:
  1. systemctl start rpcbind
  1. systemctl enable rpcbind
  1. systemctl start nfs
  1. systemctl enable nfs
  • 查看NFS共享目录:
  1. showmount -e 192.168.18.100
  • 如果其他节点也需要使用NFS,需要安装NFS服务器。
  1. yum install -y nfs-utils rpcbind

3 在kubernetes中安装Jenkins-Master

3.1 安装NFS Client Provisior

3.1.1 概述

  • NFS Client Provisior是一个kubernetes的简易NFS的外部provisior,本身不提供NFS,需要现有的NFS服务器提供存储。

3.1.2 上传nfs client provisior构建文件

  • 本人是将这些资源文件上传到/root/nfs-client-provisior目录下(资源点这里nfs-client-provisior.zip)。

上传nfs client provisior构建文件.png

  • 需要修改deployment.yaml文件,使用之前配置的NFS服务器和目录:

需要修改deployment.yaml文件,使用之前配置的NFS服务器和目录.png

3.1.3 构建nsf-client-provisior的Pod资源

  1. cd /root/nfs-client-provisior
  1. kubectl create -f .

3.1.4 查看Pod是否创建成功

  1. kubectl get pod

查看nfs-client-provisior的Pod是否创建成功.png

3.2 安装Jenkins-Master

3.2.1 上传Jenkins-Master构建文件

  • 本人是将这些资源文件上传到/root/jenkins-master目录下(资源点这里Jenkins-Master.zip)。

上传Jenkins-Master构建文件.png

  • 需要注意:
    • ①在Stateful.yaml文件中,声明利用了nfs-client-provisioner进行Jenkins-Master文件存储。

在Stateful.yaml文件中,声明利用了nfs-client-provisioner进行Jenkins-Master文件存储.png

  • ②Service发布方法采用NodePort,会随机产生节点访问端口,当然你也可以自定指定端口。

Service发布方法采用NodePort,会随机产生节点访问端口.png

3.2.2 创建命名空间

  1. kubectl create ns kube-ops

3.2.3 构建Jenkins-Master的Pod资源

  1. cd /root/jenkins-master
  1. kubectl create -f .

3.2.4 查看Pod是否创建成功

  1. kubectl get pod -n kube-ops

安装Jenkins-Master之查看Pod是否创建成功.png

3.2.5 查看Service

  1. kubectl get svc -n kube-ops

安装Jenkins-Master之查看Service.png

3.2.6 访问Jenkins

安装Jenkins-Master之访问Jenkins.png

3.2.7 安装基本插件

  • Localization:Chinese。
  • Git。
  • Pipeline。
  • Extended Choice Parameter。
  • ……

4 Jenkins和kubernetes的整合

4.1 安装kubernetes插件

  • Manage Jenkins—>插件管理—>可选插件。

安装kubernetes插件.png

4.2 实现Jenkins和kubernetes的整合

  • Manage Jenkins—>系统配置—>Cloud。

实现Jenkins和kubernetes的整合.png

  • Add a new Cloud—>kubernetes。

实现Jenkins和kubernetes的整合2.png

  • 配置kubernetes的信息。

配置kubernetes的信息.png

5 构建Jenkins-Slave自定义镜像

5.1 概述

  • Jenkins-Master在构建Job的时候,kubernetes会创建Jenkins-Slave的Pod来完成Job的构建。我们选择运行Jenkins-Slave的镜像为官方推荐镜像:jenkins/jnlp-slave:latest,遗憾的是,这个镜像里面并没有Maven环境,为了方便使用,我们需要自定义一个新的镜像。
  • 资源点这里jenkins-slave.zip

5.2 准备工作

  • apache-maven-3.6.2-bin.tar.gz。
  • Dockerfile。
  • settings.xml。

构建Jenkins-Slave自定义镜像之准备工作.png

  • Dockerfile的内容如下:
  1. # jenkins/jnlp-slave:latest # 这是基于JDK8的
  2. # 这是基于JDK11的
  3. FROM jenkins/jnlp-slave:latest-jdk11
  4. MAINTAINER xudaxian
  5. # 切换到 root 账户进行操作
  6. USER root
  7. # 安装 maven
  8. COPY apache-maven-3.6.2-bin.tar.gz .
  9. RUN tar -zxf apache-maven-3.6.2-bin.tar.gz && \
  10. mv apache-maven-3.6.2 /usr/local && \
  11. rm -f apache-maven-3.6.2-bin.tar.gz && \
  12. ln -s /usr/local/apache-maven-3.6.2/bin/mvn /usr/bin/mvn && \
  13. ln -s /usr/local/apache-maven-3.6.2 /usr/local/apache-maven && \
  14. mkdir -p /usr/local/apache-maven/repo
  15. COPY settings.xml /usr/local/apache-maven/conf/settings.xml
  16. USER jenkins

5.3 构建jenkins-slave-maven:latest镜像

  1. docker build -t jenkins-slave-maven:latest .

5.4 将镜像上传到Harbor的公共库library中

  1. docker tag jenkins-slave-maven:latest 192.168.18.104:85/library/jenkins-slave-maven:latest
  1. docker login -u admin -p Harbor12345 192.168.18.104:85
  1. docker push 192.168.18.104:85/library/jenkins-slave-maven:latest

6 测试Jenkins-Slave是否可以创建

6.1 创建一个Jenkins流水线项目

测试Jenkins-Slave是否可以创建之创建流水线项目.png

6.2 编写Pipeline,从Gitlab拉取代码

  • 可以直接在项目中配置Pipeline脚本:
  1. def git_address = "http://192.168.18.103/dev_group/jenkinscloud.git"
  2. def git_auth = "3fd39bb6-c0dc-425f-9ce7-21341a4ea8a1"
  3. //创建一个Pod的模板,label为jenkins-slave
  4. podTemplate(label: 'jenkins-slave', cloud: 'kubernetes', containers: [
  5. containerTemplate(
  6. name: 'jnlp',
  7. image: "192.168.18.104:85/library/jenkins-slave-maven:latest"
  8. )
  9. ]
  10. )
  11. {
  12. //引用jenkins-slave的pod模块来构建Jenkins-Slave的pod
  13. node("jenkins-slave"){
  14. // 第一步
  15. stage('拉取代码'){
  16. checkout([$class: 'GitSCM', branches: [[name: 'master']], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_address}"]]])
  17. }
  18. }
  19. }

测试Jenkins-Slave是否可以创建之编写Pipeline,从Gitlab拉取代码.png

6.3 查看构建日志

测试Jenkins-Slave是否可以创建之查看构建日志.png

7 Jenkins+kubernetes+Docker完成微服务的持续集成

7.1 前提说明

  • 需要在Docker中信任Harbor仓库。
  • 关闭防火墙。

7.2 拉取代码,构建镜像

7.2.1 创建NFS共享目录

  • 让所有的Jenkins-Slave构建指向NFS的Maven共享仓库目录:
  1. mkdir -pv /user/local/maven
  1. chmod 777 -R /user/local/maven
  1. vim /etc/exports
  1. # 添加内容:
  2. /user/local/jenkins *(rw,no_root_squash)
  3. /user/local/maven *(rw,no_root_squash)
  1. # 重启NFS
  2. systemctl daemon-reload
  3. systemctl restart rpcbind.socket
  4. systemctl restart nfs

7.2.2 创建项目,编写构建Pipeline

  • 更改Docker命令的执行权限(注意 k8s所在的所有节点都必须执行下面的命令,因为你不知道k8s会指定那台机器上的Docker的命令):
  1. # 注意 k8s所在的所有节点都必须执行下面的命令
  2. chmod 777 -R /var/run/docker.sock
  • 在项目中添加Extended Choice Parameter:

拉取代码,构建镜像之添加Extended Choice Parameter.png

  • 可以直接在项目中配置Pipeline脚本:
  1. def git_address = "http://192.168.18.103/dev_group/jenkinscloud.git"
  2. def git_auth = "3fd39bb6-c0dc-425f-9ce7-21341a4ea8a1"
  3. //构建版本的名称
  4. def tag = "1.0"
  5. //Harbor私服地址
  6. def harbor_url = "192.168.18.104:85"
  7. //Harbor的项目名称
  8. def harbor_project_name = "jenkinscloud"
  9. //Harbor的凭证
  10. def harbor_auth = "5ecd7673-290f-4fab-b163-63bc98ff14ad"
  11. //创建一个Pod的模板,label为jenkins-slave
  12. podTemplate(label: 'jenkins-slave', cloud: 'kubernetes', containers: [
  13. containerTemplate(
  14. name: 'jnlp',
  15. image: "192.168.18.104:85/library/jenkins-slave-maven:latest"
  16. ),
  17. containerTemplate(
  18. name: 'docker',
  19. image: "docker:stable",
  20. ttyEnabled: true,
  21. command: 'cat'
  22. ),
  23. ],
  24. volumes: [
  25. hostPathVolume(mountPath: '/var/run/docker.sock', hostPath: '/var/run/docker.sock'),
  26. nfsVolume(mountPath: '/usr/local/apache-maven/repo', serverAddress: '192.168.18.100' , serverPath: '/usr/local/maven'),
  27. ],
  28. )
  29. {
  30. node("jenkins-slave"){
  31. // 第一步
  32. stage('拉取代码'){
  33. checkout([$class: 'GitSCM', branches: [[name: 'master']], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_address}"]]])
  34. }
  35. // 第二步
  36. // stage('代码编译'){
  37. // //编译并安装公共工程
  38. // sh "mvn -f jenkinscloud-common clean install"
  39. // }
  40. // 第三步
  41. stage('构建镜像,部署项目'){
  42. // 把选择的项目信息转为数组
  43. def selectedProjects = "${project_name}".split(',')
  44. for(int i=0;i<selectedProjects.size();i++){
  45. //取出每个项目的名称和端口
  46. def currentProject = selectedProjects[i];
  47. //项目名称
  48. def currentProjectName = currentProject.split('@')[0]
  49. //项目启动端口
  50. def currentProjectPort = currentProject.split('@')[1]
  51. //定义镜像名称
  52. def imageName = "${currentProjectName}:${tag}"
  53. //编译,构建本地镜像
  54. sh "mvn -f ${currentProjectName} clean package dockerfile:build"
  55. container('docker') {
  56. //给镜像打标签
  57. sh "docker tag ${imageName} ${harbor_url}/${harbor_project_name}/${imageName}"
  58. //登录Harbor,并上传镜像
  59. withCredentials([usernamePassword(credentialsId:"${harbor_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {
  60. //登录
  61. sh "docker login -u ${username} -p ${password} ${harbor_url}"
  62. //上传镜像
  63. sh "docker push ${harbor_url}/${harbor_project_name}/${imageName}"
  64. }
  65. //删除本地镜像
  66. sh "docker rmi -f ${imageName}"
  67. sh "docker rmi -f ${harbor_url}/${harbor_project_name}/${imageName}"
  68. }
  69. }
  70. }
  71. }
  72. }

7.3 微服务部署到k8s中

7.3.1 Jenkins安装Kubernetes Continuous Deploy插件

  • 略。

7.3.2 查看kubernetes的kubeconfig文件的内容

  1. cat /root/.kube/config

查看kubernetes的kubeconfig文件的内容.png

7.3.3 在Jenkins中新建kubernetes的凭证

在Jenkins中新建k8s的凭证信息.png

在Jenkins中新建k8s的凭证信息2.png

4a565527-cbb9-4fff-91ef-aefc03581f48

7.3.4 修改流水线脚本

  1. def git_address = "http://192.168.18.103/dev_group/jenkinscloud.git"
  2. def git_auth = "3fd39bb6-c0dc-425f-9ce7-21341a4ea8a1"
  3. //构建版本的名称
  4. def tag = "1.0"
  5. //Harbor私服地址
  6. def harbor_url = "192.168.18.104:85"
  7. //Harbor的项目名称
  8. def harbor_project_name = "jenkinscloud"
  9. //Harbor的凭证
  10. def harbor_auth = "5ecd7673-290f-4fab-b163-63bc98ff14ad"
  11. //k8s的凭证
  12. def k8s_auth = "4a565527-cbb9-4fff-91ef-aefc03581f48"
  13. // 定义k8s-harbor的凭证
  14. def secret_name = "registry-auth-secret"
  15. //创建一个Pod的模板,label为jenkins-slave
  16. podTemplate(label: 'jenkins-slave', cloud: 'kubernetes', containers: [
  17. containerTemplate(
  18. name: 'jnlp',
  19. image: "192.168.18.104:85/library/jenkins-slave-maven:latest"
  20. ),
  21. containerTemplate(
  22. name: 'docker',
  23. image: "docker:stable",
  24. ttyEnabled: true,
  25. command: 'cat'
  26. ),
  27. ],
  28. volumes: [
  29. hostPathVolume(mountPath: '/var/run/docker.sock', hostPath: '/var/run/docker.sock'),
  30. nfsVolume(mountPath: '/usr/local/apache-maven/repo', serverAddress: '192.168.18.100' , serverPath: '/usr/local/maven'),
  31. ],
  32. )
  33. {
  34. node("jenkins-slave"){
  35. // 第一步
  36. stage('拉取代码'){
  37. checkout([$class: 'GitSCM', branches: [[name: 'master']], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_address}"]]])
  38. }
  39. // 第二步
  40. // stage('代码编译'){
  41. // //编译并安装公共工程
  42. // sh "mvn -f jenkinscloud-common clean install"
  43. // }
  44. // 第三步
  45. stage('构建镜像,部署项目'){
  46. // 把选择的项目信息转为数组
  47. def selectedProjects = "${project_name}".split(',')
  48. for(int i=0;i<selectedProjects.size();i++){
  49. //取出每个项目的名称和端口
  50. def currentProject = selectedProjects[i];
  51. //项目名称
  52. def currentProjectName = currentProject.split('@')[0]
  53. //项目启动端口
  54. def currentProjectPort = currentProject.split('@')[1]
  55. //定义镜像名称
  56. def imageName = "${currentProjectName}:${tag}"
  57. //编译,构建本地镜像
  58. sh "mvn -f ${currentProjectName} clean package dockerfile:build"
  59. container('docker') {
  60. //给镜像打标签
  61. sh "docker tag ${imageName} ${harbor_url}/${harbor_project_name}/${imageName}"
  62. //登录Harbor,并上传镜像
  63. withCredentials([usernamePassword(credentialsId:"${harbor_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {
  64. //登录
  65. sh "docker login -u ${username} -p ${password} ${harbor_url}"
  66. //上传镜像
  67. sh "docker push ${harbor_url}/${harbor_project_name}/${imageName}"
  68. }
  69. //删除本地镜像
  70. sh "docker rmi -f ${imageName}"
  71. sh "docker rmi -f ${harbor_url}/${harbor_project_name}/${imageName}"
  72. }
  73. //部署到k8s中
  74. def deploy_image_name = "${harbor_url}/${harbor_project_name}/${imageName}"
  75. sh """
  76. sed -i 's#\$IMAGE_NAME#${deploy_image_name}#' ${currentProjectName}/deploy.yml
  77. sed -i 's#\$SECRET_NAME#${secret_name}#' ${currentProjectName}/deploy.yml
  78. """
  79. kubernetesDeploy configs: "${currentProjectName}/deploy.yml", kubeconfigId: "${k8s_auth}"
  80. }
  81. }
  82. }
  83. }

7.3.5 生成Docker的凭证

  • Docker的凭证,用于kubernetes到Docker的私服拉取镜像:
  1. docker login -u admin -p Harbor12345 192.168.18.104:85
  1. kubectl create secret docker-registry registry-auth-secret --docker-server=192.168.18.104:85 --docker-username='admin' --docker-password='Harbor12345' --docker-email='1900919313@qq.com'
  • 查看密钥:
  1. kubectl get secret

生成Docker的凭证之查看密钥.png

  • 查看Secret中的内容:
  1. kubectl get secrets registry-auth-secret --output="jsonpath={.data.\.dockerconfigjson}" | base64 -d

7.3.6 修改每个微服务的application.yaml,并在其根目录中添加deploy.yaml文件

  • 基于kubernetes构建Jenkins持续集成平台(下) - 图24jenkinscloud-eureka:
    • application.yaml: ```yaml server: port: ${PORT:10086} spring: application: name: eureka

eureka: server:

  1. # 续期时间,即扫描失效服务的间隔时间(缺省为60*1000ms)
  2. eviction-interval-timer-in-ms: 5000
  3. enable-self-preservation: false
  4. use-read-only-response-cache: false

client:

  1. # eureka client间隔多久去拉取服务注册信息 默认30s
  2. registry-fetch-interval-seconds: 5
  3. serviceUrl:
  4. defaultZone: ${EUREKA_SERVER:http://127.0.0.1:${server.port}/eureka/}

instance:

  1. # 心跳间隔时间,即发送一次心跳之后,多久在发起下一次(缺省为30s)
  2. lease-renewal-interval-in-seconds: 5
  3. # 在收到一次心跳之后,等待下一次心跳的空档时间,大于心跳间隔即可,即服务续约到期时间(缺省为90s)
  4. lease-expiration-duration-in-seconds: 10
  5. instance-id: ${EUREKA_INSTANCE_HOSTNAME:${spring.application.name}}:${server.port}@${random.long(1000000,9999999)}
  6. hostname: ${EUREKA_INSTANCE_HOSTNAME:${spring.application.name}}
  1. - deploy.yaml
  2. ```yaml
  3. apiVersion: v1
  4. kind: Service
  5. metadata:
  6. name: eureka
  7. labels:
  8. app: eureka
  9. spec:
  10. type: NodePort
  11. ports:
  12. - port: 10086
  13. name: eureka
  14. targetPort: 10086
  15. selector:
  16. app: eureka
  17. ---
  18. apiVersion: apps/v1
  19. kind: StatefulSet
  20. metadata:
  21. name: eureka
  22. spec:
  23. serviceName: "eureka"
  24. replicas: 2
  25. selector:
  26. matchLabels:
  27. app: eureka
  28. template:
  29. metadata:
  30. labels:
  31. app: eureka
  32. spec:
  33. imagePullSecrets:
  34. - name: $SECRET_NAME
  35. containers:
  36. - name: eureka
  37. image: $IMAGE_NAME
  38. ports:
  39. - containerPort: 10086
  40. env:
  41. - name: MY_POD_NAME
  42. valueFrom:
  43. fieldRef:
  44. fieldPath: metadata.name
  45. - name: EUREKA_SERVER
  46. value: "http://eureka-0.eureka:10086/eureka/,http://eureka-1.eureka:10086/eureka/"
  47. - name: EUREKA_INSTANCE_HOSTNAME
  48. value: ${MY_POD_NAME}.eureka
  49. podManagementPolicy: "Parallel"
  • 基于kubernetes构建Jenkins持续集成平台(下) - 图25jenkinscloud-product:
    • application.yaml ```yaml server: port: 9001 # 微服务的端口号

spring: application: name: service-product # 微服务的名称

配置 eureka

eureka: client: service-url: # Eureka Server的地址 defaultZone: http://eureka-0.eureka:10086/eureka/,http://eureka- 1.eureka:10086/eureka/ # Eureka访问地址 instance: instance-id: service-product prefer-ip-address: true

  1. - deploy.yaml
  2. ```yaml
  3. apiVersion: v1
  4. kind: Service
  5. metadata:
  6. name: product
  7. labels:
  8. app: product
  9. spec:
  10. type: NodePort
  11. ports:
  12. - port: 9001
  13. name: product
  14. targetPort: 9001
  15. selector:
  16. app: product
  17. ---
  18. apiVersion: apps/v1
  19. kind: StatefulSet
  20. metadata:
  21. name: product
  22. spec:
  23. serviceName: "product"
  24. replicas: 2
  25. selector:
  26. matchLabels:
  27. app: product
  28. template:
  29. metadata:
  30. labels:
  31. app: product
  32. spec:
  33. imagePullSecrets:
  34. - name: $SECRET_NAME
  35. containers:
  36. - name: product
  37. image: $IMAGE_NAME
  38. ports:
  39. - containerPort: 9001
  40. podManagementPolicy: "Parallel"

转载 https://www.yuque.com/fairy-era/yg511q/xo3bmu