1 Jenkins+Docker+SpringCloud部署方案优化

  • 前面部署方案存在的问题：
    • Jenkins Docker SpringCloud微服务持续集成（下） - 图1一次只能选择一个微服务部署。
    • Jenkins Docker SpringCloud微服务持续集成（下） - 图2只有一条生产部署服务器。
    • Jenkins Docker SpringCloud微服务持续集成（下） - 图3每个微服务只有一个实例，容错率低。
  • 优化方案：
    • Jenkins Docker SpringCloud微服务持续集成（下） - 图4在一个Jenkins工程中可以选择多个微服务同时发布。
    • Jenkins Docker SpringCloud微服务持续集成（下） - 图5在一个Jenkins工程中可以选择多台生产服务器同时部署。
    • Jenkins Docker SpringCloud微服务持续集成（下） - 图6每个微服务都是以集群高可用的形式部署。

2 Jenkins+Docker+SpringCloud集群部署流程说明

Jenkins+Docker+SpringCloud集群部署流程说明.png

3 修改所有微服务配置

3.1 修改注册中心的配置

  • application.yaml
  1. # 集群版
  2. spring:
  3.   application:
  4.     name: Eureka-HA
  6. ---
  7. server:
  8.   port: 10086
  9. spring:
  10.   # 指定当profile=eureka-server1
  11.   profiles: eureka-server1
  12. eureka:
  13.   instance:
  14.     # 指定当profile=eureka-server1，主机名是eureka-server1
  15.     hostname: 192.168.18.103
  16.   client:
  17.     service-url:
  18.       defaultZone: http://192.168.18.103:10086/eureka,http://192.168.18.104:10086/eureka
  20. ---
  21. server:
  22.   port: 10086
  23. spring:
  24.   profiles: eureka-server2
  25. eureka:
  26.   instance:
  27.     hostname: 192.168.18.104
  28.   client:
  29.     service-url:
  30.       defaultZone: http://192.168.18.103:10086/eureka,http://192.168.18.104:10086/eureka
  • 在启动微服务的时候，加入参数spring.profile.active来读取对应的配置。

3.2 其他微服务配置

  • 除了Eureka注册中心以外，其他微服务的配置都需要加入所有Eureka的服务。
  • 商品微服务的配置：
  1. server:
  2.   port: 9001 # 微服务的端口号
  4. spring:
  5.   application:
  6.     name: service-product # 微服务的名称
  8. # 配置 eureka
  9. eureka:
  10.   client:
  11.     service-url: # Eureka Server的地址
  12.       defaultZone: http://192.168.18.103:10086/eureka,http://192.168.18.104:10086/eureka
  13.   instance:
  14.     instance-id: service-product
  15.     prefer-ip-address: true
  • 订单微服务的配置：
  1. server:
  2.   port: 9002 # 微服务的端口号
  4. spring:
  5.   application:
  6.     name: service-order # 微服务的名称
  8. # 配置 eureka
  9. eureka:
  10.   client:
  11.     service-url: # Eureka Server的地址
  12.       defaultZone: http://192.168.18.103:10086/eureka,http://192.168.18.104:10086/eureka
  13.   instance:
  14.     instance-id: service-order
  15.     prefer-ip-address: true

3.3 提交代码到Gitlab中

  • 略。

4 设计Jenkins集群项目的构建参数

4.1 Jenkins安装Extended Choice Parameter插件

  • 略。

4.2 创建流水线项目

设计Jenkins集群项目的构建参数之创建流水线项目.png

4.3 添加参数

4.3.1 项目名称

设计Jenkins集群项目的构建参数之添加参数.png

设计Jenkins集群项目的构建参数之添加参数2.png

设计Jenkins集群项目的构建参数之添加参数3.png

设计Jenkins集群项目的构建参数之添加参数4.png

设计Jenkins集群项目的构建参数之添加参数5.png

4.3.2 最后效果

设计Jenkins集群项目的构建参数之添加参数6.png

5 把多个项目提交SonarQube进行代码审核

  • 修改Jenkinsfile文件，内容如下：
  1. //定义git凭证ID
  2. def git_auth = "7d5c4945-2533-41e2-bd47-5dd97eb37f38"
  3. //git的url地址
  4. def git_url = "git@192.168.18.100:develop_group/jenkinscloud.git"
  5. //定义tag
  6. def tag = "1.0"
  7. // 定义Harbor的URL地址
  8. def harbor_url = "192.168.18.102:85"
  9. // 镜像库项目名称
  10. def harbor_project = "xudaxian-mall"
  11. // Harbor的登录凭证id
  12. def harbor_auth = "b6cf3cb5-8a33-457d-93da-65c46f0135b2"
  13. node {
  14.     // == 修改部分 获取当前选择的项目名称 ==
  15.     def selectedProjectNames = "${project_name}".split(",")
  16.     // == 修改部分
  17.     stage('拉取代码') {
  18.         checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_url}"]]])
  19.     }
  20.     stage('代码审查') {
  21.         // == 修改部分
  22.         for(int i  = 0 ; i< selectedProjectNames.length ; i++) {
  23.             //jenkinscloud-eureka@10086
  24.             def projectInfo = selectedProjectNames[i];
  25.             //当前的项目名称 jenkinscloud-eureka
  26.             def currentProjectName = "${projectInfo}".split("@")[0]
  27.             //当前的项目端口 10086
  28.             def currentProjectPort = "${projectInfo}".split("@")[1]
  29.              //定义当前Jenkins的SonarQubeScanner工具的环境
  30.             def scannerHome = tool 'sonarqube-scanner'
  31.             //引用当前Jenkins的SonarQube环境
  32.             withSonarQubeEnv('sonarqube-8.6.0') {
  33.               sh """
  34.                    cd ${currentProjectName}
  35.                    ${scannerHome}/bin/sonar-scanner
  36.               """
  37.             }
  38.         }
  39.         // == 修改部分
  41.     }
  42.     //如果有公共子工程
  43. //     stage('编译，安装公共的子工程') {
  44. //        sh "mvn -f jenkinscloud-common clean install"
  45. //     }
  46.     stage('编译，打包微服务工程') {
  47.        // dockerfile:build 可以触发插件的执行
  48.        sh "mvn -f ${project_name} clean install dockerfile:build "
  49.     }
  51.     stage('上传镜像') {
  52.        //定义镜像的名称
  53.        def imageName = "${project_name}:${tag}"
  54.        //给镜像打上标签
  55.        sh "docker tag ${imageName} ${harbor_url}/${harbor_project}/${imageName}"
  56.        //把镜像推送到Harbor
  57.        withCredentials([usernamePassword(credentialsId: "${harbor_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {
  58.            // 登录到Harbor
  59.            sh "docker login -u ${username} -p ${password} ${harbor_url}"
  60.            //镜像的上传
  61.            sh "docker push ${harbor_url}/${harbor_project}/${imageName}"
  63.            sh "echo '镜像上传到Harbor仓库中成功'"
  65.        }
  66.        //删除本地镜像
  67.        sh "docker rmi -f ${imageName}"
  68.        sh "docker rmi -f ${harbor_url}/${harbor_project}/${imageName}"
  70.     }
  71.     // 定义远程执行命令
  72.     def execCommand = "/usr/local/deploy.sh $harbor_url $harbor_project $project_name $tag $port"
  73.     stage('拉取镜像和发布应用') {
  74.         // 远程部署调用进行项目部署
  75.         sshPublisher(publishers: [sshPublisherDesc(configName: '192.168.18.103', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "${execCommand}", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
  76.     }
  77. }

6 多个项目打包及构建镜像、上传私服

  • 修改Jenkinsfile文件，内容如下：
  1. //定义git凭证ID
  2. def git_auth = "7d5c4945-2533-41e2-bd47-5dd97eb37f38"
  3. //git的url地址
  4. def git_url = "git@192.168.18.100:develop_group/jenkinscloud.git"
  5. //定义tag
  6. def tag = "1.0"
  7. // 定义Harbor的URL地址
  8. def harbor_url = "192.168.18.102:85"
  9. // 镜像库项目名称
  10. def harbor_project = "xudaxian-mall"
  11. // Harbor的登录凭证id
  12. def harbor_auth = "b6cf3cb5-8a33-457d-93da-65c46f0135b2"
  13. node {
  14.     // == 获取当前选择的项目名称 ==
  15.     def selectedProjectNames = "${project_name}".split(",")
  17.     stage('拉取代码') {
  18.         checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_url}"]]])
  19.     }
  20.     stage('代码审查') {
  21.         for(int i  = 0 ; i< selectedProjectNames.length ; i++) {
  22.             //jenkinscloud-eureka@10086
  23.             def projectInfo = selectedProjectNames[i];
  24.             //当前的项目名称 jenkinscloud-eureka
  25.             def currentProjectName = "${projectInfo}".split("@")[0]
  26.             //当前的项目端口 10086
  27.             def currentProjectPort = "${projectInfo}".split("@")[1]
  28.              //定义当前Jenkins的SonarQubeScanner工具的环境
  29.             def scannerHome = tool 'sonarqube-scanner'
  30.             //引用当前Jenkins的SonarQube环境
  31.             withSonarQubeEnv('sonarqube-8.6.0') {
  32.               sh """
  33.                    cd ${currentProjectName}
  34.                    ${scannerHome}/bin/sonar-scanner
  35.               """
  36.             }
  37.         }
  38.     }
  39.     //如果有公共子工程
  40. //     stage('编译，安装公共的子工程') {
  41. //        sh "mvn -f jenkinscloud-common clean install"
  42. //     }
  43.     stage('编译，打包微服务工程') {
  44.        // == 修改部分 ==
  45.        for(int i  = 0 ; i< selectedProjectNames.length ; i++) {
  46.             //jenkinscloud-eureka@10086
  47.            def projectInfo = selectedProjectNames[i];
  48.            //当前的项目名称 jenkinscloud-eureka
  49.            def currentProjectName = "${projectInfo}".split("@")[0]
  50.            //当前的项目端口 10086
  51.            def currentProjectPort = "${projectInfo}".split("@")[1]
  52.           // dockerfile:build 可以触发插件的执行
  53.           sh "mvn -f ${currentProjectName} clean install dockerfile:build "
  54.        }
  55.        // == 修改部分 ==
  57.     }
  59.     stage('上传镜像') {
  60.          // == 修改部分 ==
  61.          for(int i  = 0 ; i< selectedProjectNames.length ; i++) {
  62.            //jenkinscloud-eureka@10086
  63.           def projectInfo = selectedProjectNames[i];
  64.           //当前的项目名称 jenkinscloud-eureka
  65.           def currentProjectName = "${projectInfo}".split("@")[0]
  66.           //当前的项目端口 10086
  67.           def currentProjectPort = "${projectInfo}".split("@")[1]
  68.            //定义镜像的名称
  69.            def imageName = "${currentProjectName}:${tag}"
  70.            //给镜像打上标签
  71.            sh "docker tag ${imageName} ${harbor_url}/${harbor_project}/${imageName}"
  72.            //把镜像推送到Harbor
  73.            withCredentials([usernamePassword(credentialsId: "${harbor_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {
  74.                // 登录到Harbor
  75.                sh "docker login -u ${username} -p ${password} ${harbor_url}"
  76.                //镜像的上传
  77.                sh "docker push ${harbor_url}/${harbor_project}/${imageName}"
  79.                sh "echo '镜像上传到Harbor仓库中成功'"
  81.            }
  82.            //删除本地镜像
  83.            sh "docker rmi -f ${imageName}"
  84.            sh "docker rmi -f ${harbor_url}/${harbor_project}/${imageName}"
  85.          }
  86.          // == 修改部分 ==
  87.     }
  88.     // 定义远程执行命令
  89.     def execCommand = "/usr/local/deploy.sh $harbor_url $harbor_project $project_name $tag $port"
  90.     stage('拉取镜像和发布应用') {
  91.         // 远程部署调用进行项目部署
  92.         // sshPublisher(publishers: [sshPublisherDesc(configName: '192.168.18.103', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "${execCommand}", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
  93.     }
  94. }

7 完成微服务多服务器远程发布

7.1 前提说明

  • Jenkins Docker SpringCloud微服务持续集成（下） - 图15远程部署服务器（192.168.18.103和192.168.18.104）已安装Docker，并信任Harbor私有仓库。
  • Jenkins Docker SpringCloud微服务持续集成（下） - 图16关闭了防火墙。
  • Jenkins Docker SpringCloud微服务持续集成（下） - 图17在Publish over SSH那边增加一台远程部署服务器。

在Publish over SSH那边增加一台远程部署服务器.png

7.2 在Jenkins项目中增加一个Extended Choice Parameter参数

  • 在Jenkins项目中增加一个Extended Choice Parameter参数的目的是可以选择部署到那个服务器，选择Check 。

在Publish over SSH那边增加一台远程部署服务器.png

7.3 在192.168.18.103和192.168.18.104服务器中创建deployCluster.sh

  • 在远程部署服务器的/usr/local目录下，创建deployCluster.sh文件：
  1. cd /usr/local
  1. vim deployCluster.sh
  1. #! /bin/sh
  2. #接收外部参数
  3. harbor_url=$1
  4. harbor_project_name=$2
  5. project_name=$3
  6. tag=$4
  7. port=$5
  8. profile=$6
  10. imageName=$harbor_url/$harbor_project_name/$project_name:$tag
  12. echo "$imageName"
  14. #查询容器是否存在，存在则删除
  15. containerId=`docker ps -a | grep -w ${project_name}:${tag}  | awk '{print $1}'`
  17. if [ "$containerId" !=  "" ] ; then
  18.     #停掉容器
  19.     docker stop $containerId
  21.     #删除容器
  22.     docker rm $containerId
  24.     echo "成功删除容器"
  25. fi
  27. #查询镜像是否存在，存在则删除
  28. imageId=`docker images | grep -w $project_name  | awk '{print $3}'`
  30. if [ "$imageId" !=  "" ] ; then
  32.     #删除镜像
  33.     docker rmi -f $imageId
  35.     echo "成功删除镜像"
  36. fi
  39. # 登录Harbor
  40. docker login -u xudaxian -p Xudaxian12345678 $harbor_url
  42. # 下载镜像
  43. docker pull $imageName
  45. # 启动容器
  46. docker run -di -p $port:$port $imageName $profile
  48. echo "容器启动成功"
  • 设置权限：
  1. chmod +x deployCluster.sh

7.4 修改Jenkinsfile文件

  • 修改Jenkinsfile文件，内容如下：
  1. //定义git凭证ID
  2. def git_auth = "7d5c4945-2533-41e2-bd47-5dd97eb37f38"
  3. //git的url地址
  4. def git_url = "git@192.168.18.100:develop_group/jenkinscloud.git"
  5. //定义tag
  6. def tag = "1.0"
  7. // 定义Harbor的URL地址
  8. def harbor_url = "192.168.18.102:85"
  9. // 镜像库项目名称
  10. def harbor_project = "xudaxian-mall"
  11. // Harbor的登录凭证id
  12. def harbor_auth = "b6cf3cb5-8a33-457d-93da-65c46f0135b2"
  13. node {
  14.     // == 获取当前选择的项目名称 ==
  15.     def selectedProjectNames = "${project_name}".split(",")
  16.     // 获取当前选择的服务器名称
  17.     def selectedServers = "${publish_server}".split(",")
  19.     stage('拉取代码') {
  20.         checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_url}"]]])
  21.     }
  22.     stage('代码审查') {
  23.         for(int i  = 0 ; i< selectedProjectNames.length ; i++) {
  24.             //jenkinscloud-eureka@10086
  25.             def projectInfo = selectedProjectNames[i];
  26.             //当前的项目名称 jenkinscloud-eureka
  27.             def currentProjectName = "${projectInfo}".split("@")[0]
  28.             //当前的项目端口 10086
  29.             def currentProjectPort = "${projectInfo}".split("@")[1]
  30.              //定义当前Jenkins的SonarQubeScanner工具的环境
  31.             def scannerHome = tool 'sonarqube-scanner'
  32.             //引用当前Jenkins的SonarQube环境
  33.             withSonarQubeEnv('sonarqube-8.6.0') {
  34.               sh """
  35.                    cd ${currentProjectName}
  36.                    ${scannerHome}/bin/sonar-scanner
  37.               """
  38.             }
  39.         }
  40.     }
  41.     //如果有公共子工程
  42. //     stage('编译，安装公共的子工程') {
  43. //        sh "mvn -f jenkinscloud-common clean install"
  44. //     }
  45.     stage('编译，打包微服务工程') {
  46.        for(int i  = 0 ; i< selectedProjectNames.length ; i++) {
  47.             //jenkinscloud-eureka@10086
  48.            def projectInfo = selectedProjectNames[i];
  49.            //当前的项目名称 jenkinscloud-eureka
  50.            def currentProjectName = "${projectInfo}".split("@")[0]
  51.            //当前的项目端口 10086
  52.            def currentProjectPort = "${projectInfo}".split("@")[1]
  53.           // dockerfile:build 可以触发插件的执行
  54.           sh "mvn -f ${currentProjectName} clean install dockerfile:build "
  55.        }
  56.     }
  58.     stage('上传镜像') {
  59.          for(int i  = 0 ; i< selectedProjectNames.length ; i++) {
  60.            //jenkinscloud-eureka@10086
  61.           def projectInfo = selectedProjectNames[i];
  62.           //当前的项目名称 jenkinscloud-eureka
  63.           def currentProjectName = "${projectInfo}".split("@")[0]
  64.           //当前的项目端口 10086
  65.           def currentProjectPort = "${projectInfo}".split("@")[1]
  66.            //定义镜像的名称
  67.            def imageName = "${currentProjectName}:${tag}"
  68.            //给镜像打上标签
  69.            sh "docker tag ${imageName} ${harbor_url}/${harbor_project}/${imageName}"
  70.            //把镜像推送到Harbor
  71.            withCredentials([usernamePassword(credentialsId: "${harbor_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {
  72.                // 登录到Harbor
  73.                sh "docker login -u ${username} -p ${password} ${harbor_url}"
  74.                //镜像的上传
  75.                sh "docker push ${harbor_url}/${harbor_project}/${imageName}"
  77.                sh "echo '镜像上传到Harbor仓库中成功'"
  79.            }
  80.            //删除本地镜像
  81.            sh "docker rmi -f ${imageName}"
  82.            sh "docker rmi -f ${harbor_url}/${harbor_project}/${imageName}"
  83.          }
  84.     }
  86.     stage('拉取镜像和发布应用') {
  87.         for(int i  = 0 ; i< selectedProjectNames.length ; i++) {
  88.                //jenkinscloud-eureka@10086
  89.               def projectInfo = selectedProjectNames[i];
  90.               //当前的项目名称 jenkinscloud-eureka
  91.               def currentProjectName = "${projectInfo}".split("@")[0]
  92.               //当前的项目端口 10086
  93.               def currentProjectPort = "${projectInfo}".split("@")[1]
  94.               for(int j =0;j<selectedServers.length;j++){
  95.                   //获取当前遍历的服务器名称
  96.                   def currentServerName = selectedServers[j]
  97.                   //加上参数格式： --spring.profiles.active=eureka-server1/eureka-server2
  98.                   def activeProfiles = "--spring.profiles.active="
  99.                   if(currentServerName =="192.168.18.103"){
  100.                      activeProfiles = activeProfiles + "eureka-server1"
  101.                   }else if(currentServerName == "192.168.18.104"){
  102.                      activeProfiles = activeProfiles + "eureka-server2"
  103.                   }
  105.                   // 定义远程执行命令
  106.                   def execCommand = "/usr/local/deployCluster.sh $harbor_url $harbor_project $currentProjectName $tag $currentProjectPort $activeProfiles"
  107.                   // 远程部署调用进行项目部署
  108.                   sshPublisher(publishers: [sshPublisherDesc(configName: "${currentServerName}", transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "${execCommand}", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
  109.               }
  110.         }
  113.     }
  114. }