Java SpringBoot Kubernetes
Spring Boot Operator基于Kubernetes的Custom Resource Definitions（CRDs）扩展API进行的开发。

打包Docker镜像

在讲部署之前需要先将Spring Boot应用打包成标准的DockerImage。
Java项目打包镜像用Maven/Gradle插件比较多，这里介绍一个新的Google开源的插件Jib，该插件使用起来比较方便。 :::danger 注意：Jib打包的镜像会导致Java应用的pid=1，在使用Spring Boot Operator进行发布时候，Operator会设置Kubernetes的ShareProcessNamespace参数为true（v1.10+版本都可使用）来解决该问题。 ::: 下面就来演示一下，通过https://start.spring.io生成一个标准的Spring Boot项目operator-demo，然后使用Jib插件进行镜像打包。

  1. mvn com.google.cloud.tools:jib-maven-plugin:build \
  2. -Djib.to.auth.username=${{ secrets.MY_USERNAME }} \
  3. -Djib.to.auth.password=${{ secrets.MY_PASSWORD }} \
  4. -Djib.container.jvmFlags=--add-opens,java.base/sun.nio.ch=ALL-UNNAMED \
  5. -Djib.from.image=freemanliu/oprenjre:11.0.5 \
  6. -Dimage=registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

执行上面的命令之后将得到一个标准的Docker镜像，该镜像会被推送到远程仓库。

Operator快速体验

完成了镜像的构建之后，紧接着来安装Operator到Kubernetes集群。

快速安装

此处快速安装只是为了快速体验demo。

  1. kubectl apply -f https://raw.githubusercontent.com/goudai/spring-boot-operator/master/manifests/deployment.yaml

apply成功之后控制台输出。

  1. namespace/spring-boot-operator-system created
  2. customresourcedefinition.apiextensions.k8s.io/springbootapplications.springboot.qingmu.io created
  3. role.rbac.authorization.k8s.io/spring-boot-operator-leader-election-role created
  4. clusterrole.rbac.authorization.k8s.io/spring-boot-operator-manager-role created
  5. clusterrole.rbac.authorization.k8s.io/spring-boot-operator-proxy-role created
  6. clusterrole.rbac.authorization.k8s.io/spring-boot-operator-metrics-reader created
  7. rolebinding.rbac.authorization.k8s.io/spring-boot-operator-leader-election-rolebinding created
  8. clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-manager-rolebinding created
  9. clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-proxy-rolebinding created
  10. service/spring-boot-operator-controller-manager-metrics-service created
  11. deployment.apps/spring-boot-operator-controller-manager created

稍等片刻查看是否已经安装成功。

  1. kubectl  get po -n spring-boot-operator-system

成功如下输出：

  1. NAME                                                       READY   STATUS    RESTARTS   AGE
  2. spring-boot-operator-controller-manager-7f498596bb-wcwtn   2/2     Running   0          2m15s

部署OperatorDemo应用：
完成了Operator的部署之后，来部署第一个应用，这里就发布上面编写的Spring Boot应用opreator-demo。
首先需要先编写一个Spring Boot Application 的CRD部署yaml，如下。

  1. # Demo.yaml
  2. apiVersion: springboot.qingmu.io/v1alpha1
  3. kind: SpringBootApplication
  4. metadata:
  5.   name: operator-demo
  6. spec:
  7.   springBoot:
  8.     version: v1.0.0
  9. #    image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

为啥连Image都没有？这怎么发布，就name，version，就能完成发布？是的没错！就能完成发布，后面讲详细讲到他是如何完成的。
接着apply一下。

  1. kubectl apply -f Demo.yaml

看到Console输出。

  1. springbootapplication.springboot.qingmu.io/operator-demo created

验证
表示创建成功了，接着来看下部署的第一个应用，这里直接用上面的yaml中的name过滤即可。
查看Pod。

  1. ~# kubectl  get po | grep operator-demo
  2. operator-demo-7574f4789c-mg58m             1/1     Running   0          76s
  3. operator-demo-7574f4789c-ssr8v             1/1     Running   0          76s
  4. operator-demo-7574f4789c-sznww             1/1     Running   0          76s

查看下pid不等于1的设置是否生效，根据下面的结果可以看到通过设置ShareProcessNamespace参数，可以在Kubernetes层面来解决这个pid=1的问题。

  1. kubectl exec -it operator-demo-7574f4789c-mg58m bash
  2. bash-5.0# ps -ef
  3. UID        PID  PPID  C STIME TTY          TIME CMD
  4. root         1     0  0 02:06 ?        00:00:00 /pause
  5. root         6     0 26 02:06 ?        00:00:09 java --add-opens java.base/sun.nio.ch=ALL-UNNAMED -cp /app/resources:/app/classes:/app/libs/* io.qingmu.operator.operatordemo.Oper...
  6. root        38     0  0 02:07 pts/0    00:00:00 bash
  7. root        44    38  0 02:07 pts/0    00:00:00 ps -ef

查看SVC。

  1. ~# kubectl  get svc | grep operator-demo
  2. operator-demo             ClusterIP   10.101.128.6     <none>        8080/TCP            2m52s

来访问一下试试。

  1. root@server1:~# curl -i http://10.101.128.6:8080
  2. HTTP/1.1 200 
  3. Content-Type: text/plain;charset=UTF-8
  4. Content-Length: 9
  5. Date: Wed, 08 Apr 2020 08:45:46 GMT
  8. hello !!!

来试着缩减他的副本数到1个。
编辑

  1. # Demo.yaml
  2. apiVersion: springboot.qingmu.io/v1alpha1
  3. kind: SpringBootApplication
  4. metadata:
  5.   name: operator-demo
  6. spec:
  7.   springBoot:
  8.     version: v1.0.0
  9.     replicas: 1

Demo.yaml，加入一个新的属性replicas。应用一下。

  1. root@server1:~# kubectl apply -f Demo.yaml
  2. springbootapplication.springboot.qingmu.io/operator-demo configured

再次查看Pod，可以发现Pod已经缩放为一个副本了。

  1. ~# kubectl  get po | grep operator-demo
  2. operator-demo-7574f4789c-sznww             1/1     Running   0          8m29s

清理operator-demo：要删除该Pod，只需要执行delete即可。

  1. ~# kubectl delete -f Demo.yaml
  2. springbootapplication.springboot.qingmu.io "operator-demo" deleted

再次查看Pod，已经没了。

  1. kubectl  get po | grep operator-demo

部署自己的应用

部署自己私有仓库的应用需要需要先创建secret（如果已经创建跳过即可）。
创建docker-registry的secret。

  1. kubectl create  \
  2. secret docker-registry aliyun-registry-secret \
  3. --docker-server=registry-vpc.cn-hangzhou.aliyuncs.com \
  4. --docker-username=*** \
  5. --docker-password=*** \
  6. --docker-email=***

自己应用的crd Yaml。

  1. apiVersion: springboot.qingmu.io/v1alpha1
  2. kind: SpringBootApplication
  3. metadata:
  4.   name: 你的应用的名称
  5. spec:
  6.   springBoot:
  7.     version: v1.0.0
  8.     replicas: 1 
  9.     image: 你的image地址
  10.     imagePullSecrets: 
  11.       - 上面创建的secret

一个完整的Spring Boot Application Yaml

下面是一个完整的yaml属性结构，大部分属性都可以用默认配置的即可。
不设置属性，默认使用Operator中设置的通用值详见后面的自定义安装Operator。

  1. apiVersion: springboot.qingmu.io/v1alpha1
  2. kind: SpringBootApplication
  3. metadata:
  4.   name: operator-demo
  5.   namespace: default
  6. spec:
  7.   springBoot:
  8.     # image 可以不设置，如果不设置默认使用 IMAGE_REPOSITORY+/+mate.name+:+spec.springBoot.version
  9.     # registry.cn-shanghai.aliyuncs.com/qingmuio + / + operator-demo + : + v1.0.0
  10.     image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo:v1.0.0
  11.     clusterIp: "" 
  12.     version: v1.0.0 
  13.     replicas: 1 
  14.     resource:
  15.       cpu:
  16.         request: 50m
  17.         limit: "" 
  18.       memory:
  19.         request: 1Gi
  20.         limit: 1Gi 
  21.     path:
  22.       liveness: /actuator/health
  23.       readiness: /actuator/health
  24.       hostLog: /var/applog
  25.       shutdown: /spring/shutdown
  26.     imagePullSecrets: 
  27.       - aliyun-docker-registry-secret
  28.     env: 
  29.       - name: EUREKA_SERVERS
  30.         value: http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/
  31.     nodeAffinity: 
  32.       key: "failure-domain.beta.kubernetes.io/zone"
  33.       operator: "In"
  34.       values:
  35.         - "cn-i"
  36.         - "cn-h"
  37.         - "cn-g"

优雅停机的路径
由于优雅停机默认是关闭的并且并不支持Get请求所以需要开启和搭个桥。
首先在application.yml中启用。

  1. management:
  2.   endpoints:
  3.     web:
  4.       exposure:
  5.         include: "*"
  6.   endpoint:
  7.     shutdown:
  8.       enabled: true

然后桥接一个Get方法。

  1. @RestController
  2. public class ShutdownController {
  3.     @Autowired
  4.     private ShutdownEndpoint shutdownEndpoint;
  7.     @GetMapping("/spring/shutdown")
  8.     public Map<String, String> shutdown(HttpServletRequest request) {
  9.         return shutdownEndpoint.shutdown();
  10.     }
  11. }

Node亲和的使用

举一个列子，有一个Spring Boot应用user-service，希望能分布到3个可用区的6个节点上：
首先把机器划分多个可用区。

  1. cn-i区(node-i1,node-i02)
  2. cn-h区(node-g1,node-g02)
  3. cn-g区(node-h1,node-h02)

现在有三个可以区 每个区有2台workload，一共6台。然后需要给这些机器分别打上label。
将全部的i区机器标注为cn-i。

  1. kubectl label node node-i1 failure-domain.beta.kubernetes.io/zone=cn-i
  2. kubectl label node node-i2 failure-domain.beta.kubernetes.io/zone=cn-i

同理将h区的标注为h，g区同理。

  1. kubectl label node node-h1 failure-domain.beta.kubernetes.io/zone=cn-i
  2. kubectl label node node-ih2 failure-domain.beta.kubernetes.io/zone=cn-i

现在准备工作就绪了，现在来设置让它达到调度效果，像如下编写即可。

  1. spec:
  2.   springBoot:
  3.     nodeAffinity: #可以不设置 节点亲和 这里演示的是尽量将pod分散到 i h g 三个可用区，默认设置了pod反亲和
  4.       key: "failure-domain.beta.kubernetes.io/zone"
  5.       operator: "In"
  6.       values:
  7.         - "cn-i"
  8.         - "cn-h"
  9.         - "cn-g"

Operator自定义安装

上面快速的安装了好了，接着来讲解下如何自定义安装，以及有哪些自定义的参数，可以个性化的参数用环境变量的方式注入。
下面来修改Deployment完成自己个性化的配置部署，从提供的部署yaml中拉倒最后，找到name是spring-boot-operator-controller-manager的Deployment，将修改它。

  1. apiVersion: apps/v1
  2. kind: Deployment
  3. metadata:
  4.   labels:
  5.     control-plane: controller-manager
  6.   name: spring-boot-operator-controller-manager
  7.   namespace: spring-boot-operator-system
  8. .....
  11.         #注意：一下配置针对通用全局的Spring Boot默认配置，对crd的Spring Boot生效，这里不配置也可以在部署的yaml中指定
  14.         # 私有仓库的地址，比如我的最终打包的镜像地址是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0
  15.         # 那么配置的值是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo
  16.         # 配置这个值之后，我们我们如果在发布的yaml中不写image，那么使用的image就是 IMAGE_REPOSITORY+"/"+mate.name+spec.springBoot.version
  17.         - name: IMAGE_REPOSITORY
  18.           value: registry.cn-shanghai.aliyuncs.com/qingmuio
  19.         # 请求CPU限制
  20.         - name: REQUEST_CPU
  21.           value: 50m
  22.         # 限制最大能用最大CPU Java应用可以不用限制，限制不合理会导致启动异常缓慢
  23.         - name: LIMIT_CPU
  24.           value: ""
  25.         # 请求内存大小
  26.         - name: REQUEST_MEMORY
  27.           value: 500Mi
  28.         # 限制最大内存大小 一般和request一样大即可
  29.         - name: LIMIT_MEMORY
  30.           value: 500Mi
  31.         # 就绪检查Path，Spring Boot Actuator 默认Path
  32.         - name: READINESS_PATH
  33.           value: /actuator/health
  34.         # 就绪存活Path，Spring Boot Actuator 默认Path
  35.         - name: LIVENESS_PATH
  36.           value: /actuator/health
  37.         # 就绪存活Path，优雅停机Path
  38.         - name: SHUTDOWN_PATH
  39.           value: /spring/shutdown
  40.         # 复制级 即副本数
  41.         - name: REPLICAS
  42.           value: "3"
  43.         # 将日志外挂到主机磁盘Path，默认两者相同
  44.         - name: HOST_LOG_PATH
  45.           value: /var/applog
  46.         # 用于pull镜像的secrets
  47.         - name: IMAGE_PULL_SECRETS
  48.           value: ""
  49.         # 用于pull镜像的secrets
  50.         - name: SPRING_BOOT_DEFAULT_PORT
  51.           value: "8080"
  52.         # Node亲和，比如我可以设置Pod尽量分散在不同可用区cn-i，cn-g，cn-h区
  53.         - name: NODE_AFFINITY_KEY
  54.           value: ""
  55.         - name: NODE_AFFINITY_OPERATOR
  56.           value: ""
  57.         - name: NODE_AFFINITY_VALUES
  58.           value: ""
  59.         # 全局的环境变量，会追加到每个Spring Boot的每个Pod中，格式 k=v；k1=v2,
  60.         # 如 EUREKA_SERVERS=http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/;k=v
  61.         - name: SPRING_BOOT_ENV
  62.           value: ""
  63.         image: registry.cn-shanghai.aliyuncs.com/qingmuio/spring-boot-operator-controller:latest

自定义安装之后部署

yaml可以简化为如下。

  1. apiVersion: springboot.qingmu.io/v1alpha1
  2. kind: SpringBootApplication
  3. metadata:
  4.   name: 你的应用的名称
  5. spec:
  6.   springBoot:
  7.     version: v1.0.0

附录

环境变量表格。

环境变量名 是否可以空 默认值 说明
IMAGE_REPOSITORY true “” 私有仓库的地址
REQUEST_CPU true 50m 请求CPU限制
LIMIT_CPU true “” 限制最大能用最大CPU Java应用可以不用限制，限制不合理会导致启动异常缓慢
REQUEST_MEMORY true 2Gi 请求内存大小
LIMIT_MEMORY true 2Gi 限制最大内存大小 一般和request一样大即可
READINESS_PATH true /actuator/health 就绪检查Path，Spring Boot Actuator 默认Path
LIVENESS_PATH true /actuator/health 存活检查Path，Spring Boot Actuator 默认Path
SHUTDOWN_PATH true /spring/shutdown 就绪存活Path，优雅停机Path
REPLICAS true 3 副本数
HOST_LOG_PATH true /var/applog 将日志外挂到主机磁盘Path，默认两者相同
IMAGE_PULL_SECRETS true 无 用于pull镜像的secrets
SPRING_BOOT_DEFAULT_PORT true 8080 用于pull镜像的secrets
NODE_AFFINITY_KEY true “” Node亲和key，比如可以设置Pod尽量分散在不同可用区cn-i，cn-g，cn-h区
NODE_AFFINITY_OPERATOR true “” Node亲和操作符
NODE_AFFINITY_VALUES true “” Node亲和value
SPRING_BOOT_ENV true “” 全局的环境变量，会追加到每个Spring Boot的每个Pod中，格式 k=v；k1=v2

Spring Boot Operator GitHub仓库：https://github.com/goudai/spring-boot-operator
相关链接：

  1. https://github.com/goudai/spring-boot-operator