使用Spring Boot Operator將Spring Boot部署到Kubernetes

2021-02-06 Java開發寶典

在Kubernetes中部署Spring Boot應用整體上來說是一件比較繁瑣的事情，而Spring Boot Operator[1]則能帶給你清爽簡單的體驗。Spring Boot Operator基於Kubernetes的Custom Resource Definitions（CRDs）擴展API進行的開發。在講部署之前我們需要先將我們的Spring Boot應用打包成標準的DockerImage。Java項目打包鏡像用Maven/Gradle插件比較多，我的另一篇文章構建Spring Boot的Docker鏡像[2]有介紹，這裡再介紹一個新的Google開源的插件Jib，該插件使用起來比較方便。注意：Jib打包的鏡像會導致Java應用的pid=1，在使用Spring Boot Operator進行發布時候，Operator會設置Kubernetes的ShareProcessNamespace參數為true（v1.10+版本都可使用）來解決該問題。下面就來演示一下，我們通過https://start.spring.io生成一個標準的Spring Boot項目operator-demo，然後使用Jib插件進行鏡像打包。

mvn com.google.cloud.tools:jib-maven-plugin:build \

-Djib.to.auth.username=${{ secrets.MY_USERNAME }} \

-Djib.to.auth.password=${{ secrets.MY_PASSWORD }} \

-Djib.container.jvmFlags=--add-opens,java.base/sun.nio.ch=ALL-UNNAMED \

-Djib.from.image=freemanliu/oprenjre:11.0.5 \

-Dimage=registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

執行上面的命令之後我們將得到一個標準的Docker鏡像，該鏡像會被推送到遠程倉庫。完成了鏡像的構建之後，我們緊接著來安裝我們的Operator到Kubernetes集群。

kubectl apply -f https://raw.githubusercontent.com/goudai/spring-boot-operator/master/manifests/deployment.yaml

namespace/spring-boot-operator-system created

customresourcedefinition.apiextensions.k8s.io/springbootapplications.springboot.qingmu.io created

role.rbac.authorization.k8s.io/spring-boot-operator-leader-election-role created

clusterrole.rbac.authorization.k8s.io/spring-boot-operator-manager-role created

clusterrole.rbac.authorization.k8s.io/spring-boot-operator-proxy-role created

clusterrole.rbac.authorization.k8s.io/spring-boot-operator-metrics-reader created

rolebinding.rbac.authorization.k8s.io/spring-boot-operator-leader-election-rolebinding created

clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-manager-rolebinding created

clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-proxy-rolebinding created

service/spring-boot-operator-controller-manager-metrics-service created

deployment.apps/spring-boot-operator-controller-manager created

kubectl get po -n spring-boot-operator-system

NAME READY STATUS RESTARTS AGE

spring-boot-operator-controller-manager-7f498596bb-wcwtn 2/2 Running 0 2m15s

完成了Operator的部署之後，我們來部署我們第一個應用，這裡我們就發布上面我們編寫的Spring Boot應用opreator-demo。首先我們需要先編寫一個Spring Boot Application 的CRD部署yaml，如下。

# Demo.yaml

apiVersion: springboot.qingmu.io/v1alpha1

kind: SpringBootApplication

metadata:

name: operator-demo

spec:

springBoot:

version: v1.0.0

# image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

細心的同學可能發現了，為啥連Image都沒有？這怎麼發布，就name，version，就能完成發布？是的沒錯！就能完成發布，後面我講詳細講到他是如何完成的。

kubectl apply -f Demo.yaml

springbootapplication.springboot.qingmu.io/operator-demo created

表示創建成功了，接著我們來看下我們部署的第一個應用，這裡我們直接用上面的yaml中的name過濾即可。

~# kubectl get po | grep operator-demo

operator-demo-7574f4789c-mg58m 1/1 Running 0 76s

operator-demo-7574f4789c-ssr8v 1/1 Running 0 76s

operator-demo-7574f4789c-sznww 1/1 Running 0 76s

查看下我們的pid不等於1的設置是否生效，根據下面的結果可以看到通過設置ShareProcessNamespace參數，我們可以在Kubernetes層面來解決這個pid=1的問題。

kubectl exec -it operator-demo-7574f4789c-mg58m bash

bash-5.0# ps -ef

UID PID PPID C STIME TTY TIME CMD

root 1 0 0 02:06 ? 00:00:00 /pause

root 6 0 26 02:06 ? 00:00:09 java --add-opens java.base/sun.nio.ch=ALL-UNNAMED -cp /app/resources:/app/classes:/app/libs/* io.qingmu.operator.operatordemo.Oper...

root 38 0 0 02:07 pts/0 00:00:00 bash

root 44 38 0 02:07 pts/0 00:00:00 ps -ef

~# kubectl get svc | grep operator-demo

operator-demo ClusterIP 10.101.128.6 <none> 8080/TCP 2m52s

root@server1:~# curl -i http://10.101.128.6:8080

HTTP/1.1 200

Content-Type: text/plain;charset=UTF-8

Content-Length: 9

Date: Wed, 08 Apr 2020 08:45:46 GMT

hello !!!

編輯我們的Demo.yaml，加入一個新的屬性replicas。

# Demo.yaml

apiVersion: springboot.qingmu.io/v1alpha1

kind: SpringBootApplication

metadata:

name: operator-demo

spec:

springBoot:

version: v1.0.0

replicas: 1

root@server1:~# kubectl apply -f Demo.yaml

springbootapplication.springboot.qingmu.io/operator-demo configured

再次查看Pod，你會發現我們的Pod已經縮放為一個副本了。

~# kubectl get po | grep operator-demo

operator-demo-7574f4789c-sznww 1/1 Running 0 8m29s

~# kubectl delete -f Demo.yaml

springbootapplication.springboot.qingmu.io "operator-demo" deleted

kubectl get po | grep operator-demo

部署自己私有倉庫的應用需要需要先創建secret（如果已經創建跳過即可）。創建docker-registry的secret。

kubectl create \

secret docker-registry aliyun-registry-secret \

--docker-server=registry-vpc.cn-hangzhou.aliyuncs.com \

--docker-username=*** \

--docker-password=*** \

--docker-email=***

apiVersion: springboot.qingmu.io/v1alpha1

kind: SpringBootApplication

metadata:

name: 你的應用的名稱

spec:

springBoot:

version: v1.0.0

replicas: 1

image: 你的image地址

imagePullSecrets:

- 上面創建的secret

一個完整的Spring Boot Application Yaml

下面是一個完整的yaml屬性結構，大部分屬性我們都可以用默認配置的即可。不設置屬性，默認使用Operator中設置的通用值詳見後面的自定義安裝Operator。

apiVersion: springboot.qingmu.io/v1alpha1

kind: SpringBootApplication

metadata:

name: operator-demo

namespace: default

spec:

springBoot:

# image 可以不設置，如果不設置默認使用 IMAGE_REPOSITORY+/+mate.name+:+spec.springBoot.version

# registry.cn-shanghai.aliyuncs.com/qingmuio + / + operator-demo + : + v1.0.0

image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo:v1.0.0

clusterIp: ""

version: v1.0.0

replicas: 1

resource:

cpu:

request: 50m

limit: ""

memory:

request: 1Gi

limit: 1Gi

path:

liveness: /actuator/health

readiness: /actuator/health

hostLog: /var/applog

shutdown: /spring/shutdown

imagePullSecrets:

- aliyun-docker-registry-secret

env:

- name: EUREKA_SERVERS

value: http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/

nodeAffinity:

key: "failure-domain.beta.kubernetes.io/zone"

operator: "In"

values:

- "cn-i"

- "cn-h"

- "cn-g"

由於優雅停機默認是關閉的並且並不支持Get請求所以我們需要開啟和搭個橋。

management:

endpoints:

web:

exposure:

include: "*"

endpoint:

shutdown:

enabled: true

@RestController

public class ShutdownController {

@Autowired

private ShutdownEndpoint shutdownEndpoint;

@GetMapping("/spring/shutdown")

public Map<String, String> shutdown(HttpServletRequest request) {

return shutdownEndpoint.shutdown();

}

}

舉一個列子，我們有一個Spring Boot應用user-service，希望能分布到3個可用區的6個節點上：

cn-i區(node-i1,node-i02)

cn-h區(node-g1,node-g02)

cn-g區(node-h1,node-h02)

現在我們有三個可以區 每個區有2臺workload，一共6臺。然後我們需要給這些機器分別打上label。

kubectl label node node-i1 failure-domain.beta.kubernetes.io/zone=cn-i

kubectl label node node-i2 failure-domain.beta.kubernetes.io/zone=cn-i

kubectl label node node-h1 failure-domain.beta.kubernetes.io/zone=cn-i

kubectl label node node-ih2 failure-domain.beta.kubernetes.io/zone=cn-i

現在準備工作我們就緒了，現在我們來設置讓它達到我們的調度效果，像如下編寫即可。

spec:

springBoot:

nodeAffinity: #可以不設置 節點親和 這裡演示的是儘量將pod分散到 i h g 三個可用區，默認設置了pod反親和

key: "failure-domain.beta.kubernetes.io/zone"

operator: "In"

values:

- "cn-i"

- "cn-h"

- "cn-g"

上面我們快速的安裝了好了，接著我們來講解下如何自定義安裝，以及有哪些自定義的參數，可以個性化的參數我們用環境變量的方式注入。下面來修改Deployment完成自己個性化的配置部署，從我提供的部署yaml中拉倒最後，找到name是spring-boot-operator-controller-manager的Deployment，我們將修改它。

apiVersion: apps/v1

kind: Deployment

metadata:

labels:

control-plane: controller-manager

name: spring-boot-operator-controller-manager

namespace: spring-boot-operator-system

#注意：一下配置針對通用全局的Spring Boot默認配置，對crd的Spring Boot生效，這裡不配置也可以在部署的yaml中指定

# 私有倉庫的地址，比如我的最終打包的鏡像地址是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

# 那麼配置的值是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo

# 配置這個值之後，我們我們如果在發布的yaml中不寫image，那麼使用的image就是 IMAGE_REPOSITORY+"/"+mate.name+spec.springBoot.version

- name: IMAGE_REPOSITORY

value: registry.cn-shanghai.aliyuncs.com/qingmuio

# 請求CPU限制

- name: REQUEST_CPU

value: 50m

# 限制最大能用最大CPU Java應用可以不用限制，限制不合理會導致啟動異常緩慢

- name: LIMIT_CPU

value: ""

# 請求內存大小

- name: REQUEST_MEMORY

value: 500Mi

# 限制最大內存大小 一般和request一樣大即可

- name: LIMIT_MEMORY

value: 500Mi

# 就緒檢查Path，Spring Boot Actuator 默認Path

- name: READINESS_PATH

value: /actuator/health

# 就緒存活Path，Spring Boot Actuator 默認Path

- name: LIVENESS_PATH

value: /actuator/health

# 就緒存活Path，優雅停機Path

- name: SHUTDOWN_PATH

value: /spring/shutdown

# 複製級 即副本數

- name: REPLICAS

value: "3"

# 將日誌外掛到主機磁碟Path，默認兩者相同

- name: HOST_LOG_PATH

value: /var/applog

# 用於pull鏡像的secrets

- name: IMAGE_PULL_SECRETS

value: ""

# 用於pull鏡像的secrets

- name: SPRING_BOOT_DEFAULT_PORT

value: "8080"

# Node親和，比如我可以設置Pod儘量分散在不同可用區cn-i，cn-g，cn-h區

- name: NODE_AFFINITY_KEY

value: ""

- name: NODE_AFFINITY_OPERATOR

value: ""

- name: NODE_AFFINITY_VALUES

value: ""

# 全局的環境變量，會追加到每個Spring Boot的每個Pod中，格式 k=v；k1=v2,

# 如 EUREKA_SERVERS=http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/;k=v

- name: SPRING_BOOT_ENV

value: ""

image: registry.cn-shanghai.aliyuncs.com/qingmuio/spring-boot-operator-controller:latest

apiVersion: springboot.qingmu.io/v1alpha1

kind: SpringBootApplication

metadata:

name: 你的應用的名稱

spec:

springBoot:

version: v1.0.0

環境變量名是否可以空默認值說明IMAGE_REPOSITORYtrue「」私有倉庫的地址REQUEST_CPUtrue50m請求CPU限制LIMIT_CPUtrue「」限制最大能用最大CPU Java應用可以不用限制，限制不合理會導致啟動異常緩慢REQUEST_MEMORYtrue2Gi請求內存大小LIMIT_MEMORYtrue2Gi限制最大內存大小 一般和request一樣大即可READINESS_PATHtrue/actuator/health就緒檢查Path，Spring Boot Actuator 默認PathLIVENESS_PATHtrue/actuator/health存活檢查Path，Spring Boot Actuator 默認PathSHUTDOWN_PATHtrue/spring/shutdown就緒存活Path，優雅停機PathREPLICAStrue3副本數HOST_LOG_PATHtrue/var/applog將日誌外掛到主機磁碟Path，默認兩者相同IMAGE_PULL_SECRETStrue無用於pull鏡像的secretsSPRING_BOOT_DEFAULT_PORTtrue8080用於pull鏡像的secretsNODE_AFFINITY_KEYtrue「」Node親和key，比如我可以設置Pod儘量分散在不同可用區cn-i，cn-g，cn-h區NODE_AFFINITY_OPERATORtrue「」Node親和操作符NODE_AFFINITY_VALUEStrue「」Node親和valueSPRING_BOOT_ENVtrue「」全局的環境變量，會追加到每個Spring Boot的每個Pod中，格式 k=v；k1=v2
Spring Boot Operator GitHub倉庫：https://github.com/goudai/spring-boot-operator

https://github.com/goudai/spring-boot-operator

https://qingmu.io/2018/08/07/How-to-run-springcloud-in-docker/

原文連結：https://qingmu.io/2020/04/08/Spring-Boot-Operator-User-Guide/

如有文章對你有幫助，

「在看」和轉發是對我最大的支持！


關注Java開發寶典

每天學習Java技術

點讚是最大的支持 

相關焦點

  • 部署 Spring Boot 應用到 K8S 教程
    /operator-demo:v1.0.0執行上面的命令之後我們將得到一個標準的docker鏡像，該鏡像會被推送到遠程倉庫。Operator快速體驗完成了鏡像的構建之後,我們緊接著來安裝我們的Operator到kubernetes集群，當然了首先你需要一套集群，可以參考我之前一篇文章部署高可用kubernetes，雖然版本比較老,但是新版本其實也差不多的一個思路。
  • Spring Boot 2.0(四):使用 Docker 部署 Spring Boot
    >${project.build.finalName}.jar</include> </resource> </resources> </configuration> </plugin> <!
  • 使用 Docker 部署 Spring Boot 項目
    Docker 技術發展為微服務落地提供了更加便利的環境，使用 Docker 部署 Spring Boot 其實非常簡單，這篇文章我們就來簡單學習下。首先構建一個簡單的 Spring Boot 項目，然後給項目添加 Docker 支持，最後對項目進行部署。
  • Spring Boot Devtools熱部署
    所謂的熱部署就是在你修改了後端代碼後不需要手動重啟，工具會幫你快速的自動重啟是修改生效。本文將介紹如何通過使用Spring-Boot-devtools來實現Spring Boot項目的熱部署。IDE使用的是Eclipse Oxygen，並且使用Maven構建。
  • Spring Boot(十七):使用 Spring Boot 上傳文件
    1、pom 包配置我們使用 Spring Boot 版本 2.1.0、jdk 1.8、tomcat 8.0。<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.0.RELEASE<
  • Spring Boot項目打包部署最佳實踐
    </project><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-tomcat</artifactId> <scope&
  • Spring Boot (十九):使用 Spring Boot Actuator 監控應用
    Actuator 監控Spring Boot 使用「習慣優於配置的理念」，採用包掃描和自動化配置的機制來加載依賴 Jar 中的 Spring bean，不需要任何 Xml 配置，就可以實現 Spring 的所有配置。雖然這樣做能讓我們的代碼變得非常簡潔，但是整個應用的實例創建和依賴關係等信息都被離散到了各個配置類的註解上，這使得我們分析整個應用中資源和實例的各種關係變得非常的困難。
  • Spring Boot入門
    Spring默認使用jdk1.6，如果你想使用jdk1.8，你需要在pom.xml的屬性裡面添加java.version，如下：<properties>    <java.version>1.8</java.version></properties>添加spring-boot-starter-web
  • Spring Boot 和 Spring 到底有啥區別?
    我們通常使用Spring Test，JUnit，Hamcrest和Mockito庫。在Spring項目中，我們應該將所有這些庫添加為依賴項。但是在Spring Boot中，我們只需要添加spring-boot-starter-test依賴項來自動包含這些庫。Spring Boot為不同的Spring模塊提供了許多依賴項。
  • 應用程式之Kubernetes和Spring Boot自我修復
    >    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-starter-actuator</artifactId></dependency>2.
  • 使用 Jenkins X、Kubernetes 和 Spring Boot 實現 CI/CD
    Google 於2014年開源，現在所有主流的公有雲供應商都支持它---它為開發人員提供了一種很好的方式，可以將應用程式打包到 Docker 容器中，並部署到任意 Kubernetes 集群中。Jenkins X 將 Spring Boot 應用程式部署到生產環境中默認情況下，Jenkins X 只會自動部署到演示環境。
  • Spring Boot系列(八) Spring Boot中使用MongoDB資料庫
    Spring Boot為使用MongoDB提供了很多便利，包括spring-boot-starter-data-mongodb 'Starter POM'。引入spring-boot-starter-data-mongodb包，在pom.xml配置文件中增加如下內容（基於之前章節「Spring Boot 構建框架」中的pom.xml文件）：
  • Nacos 2.0的Spring Boot Starter來了!
    隨著Nacos2.0成熟穩定，Nacos-spring-boot發
  • Spring Boot 使用 Graylog 收集日誌
    4.1 Logback日誌這裡使用的logback-gelf向Graylog輸出日誌，在github上有對logback-gelf的詳細使用介紹，這裡只是簡單舉例。Github地址：https://github.com/osiegmar/logback-gelf。新建項目，加入logback-gelf依賴，pom文件如下：<?
  • 用 SpringBoot-Devtools 來實現Spring Boot熱部署
    在 Spring Boot 項目中添加 spring-boot-devtools依賴即可實現頁面和代碼的熱部署。
  • Spring Boot加密配置屬性--Spring Cloud Vault詳解
    本文詳細介紹了如何使用jasypt-spring-boot、Spring Cloud Vault和HashiCorp Vault，如何使用Vault的AWS Secret、Database Secret、AWS EC2認證和AWS IAM認證。
  • 面試題:說一下Spring 和 Spring Boot 的區別
    在進行構建期間，所有其他依賴項將自動添加到項目中。我們通常使用 SpringTest， JUnit， Hamcrest和 Mockito庫。在 Spring項目中，我們應該將所有這些庫添加為依賴項。但是在 SpringBoot中，我們只需要添加 spring-boot-starter-test依賴項來自動包含這些庫。
  • Spring Boot 教程:Thymeleaf
    在本文中，你將學會有關 Thymeleaf 細節。Thymeleaf 模板   Thymeleaf 將你的文件轉換成格式良好的 XML 文件。   使用以下代碼創建一個 @Controller 類文件以重定向請求 URI 到 HTML 文件：package com.tutorialspoint.demo.controller;import org.springframework.stereotype.Controller;import org.springframework.web.bind.annotation.RequestMapping
  • 深入Spring Boot (五):日誌使用詳解
    日誌工具，並為它們提供了默認配置，默認配置情況下日誌只會輸出到控制臺，當然也可以修改配置將日誌輸出到文件。本篇內容基於Spring Boot 2.0版本，將詳細介紹Spring Boot對日誌工具使用的支持，主要包含以下6部分內容：默認日誌配置；日誌輸出到文件；日誌文件大小；修改日誌級別；自定義日誌工具；配置文件優先級。
  • Spring Boot 對應用程式的監控和Admin部署.
    監控用法<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId>