Spring Boot 应用

  • 基于 Spring Boot 框架的应用,通常会构建成 XXX.jar 文件,执行 java -jar XXX.jar 来运行该应用;

Docker 下的 Spring Boot 应用镜像

  • Docker 环境下,通常用 Maven 的 docker-maven-plugin 插件将应用打包成镜像,例如以 java:8u111-jdk 作为基础镜像再加入 jar 文件,这样容器启动的时候执行 java -jar XXX.jar 就能将应用运行起来了;

传统思路

  • Spring Boot 应用镜像在 kubernetes 声明为 Pod,即可正常运行;
  • 但是,这是合适的做法么?去 K8S 官网需要一些理论上的指导吧;

寻找官方的理论依据

  • 官方文档地址:https://kubernetes.io/docs/concepts/workloads/pods/pod-overview/
  • 其中对 Pod 中多个容器的关系描述如下:

springboot 集成kerberos 连接hive_spring

  • 上图红框中提到一个容器基于共享资源对外提供服务,另一个"sidecar"容器负责更新这些共享资源;
  • 在 Kubernetes 中文社区的文档中也对此作了阐述,地址是:http://docs.kubernetes.org.cn/312.html

springboot 集成kerberos 连接hive_docker_02

  • 在提到 Pod 中的 sidecar 模式时,官方文档用到"relatively advanced"来形容,进一步证实了当下该模式的正确性,如下图:

springboot 集成kerberos 连接hive_docker_03

  • 具体的实现模型如下图:

springboot 集成kerberos 连接hive_spring_04

Spring Boot 应用的 sidecar 设计

  • 根据 kubernetes 官方文档的指导,再结合 SpringBoot 应用的特点,我设计出的 sidecar 部署方式如下:

springboot 集成kerberos 连接hive_ide_05

  • 该应用的业务服务被封装在一个 Pod 定义中,该 Pod 由两个容器组成;
  • 绿色容器是来自 OpenJDK 官方镜像: openjdk:8u181-jre-alpine3.8 ,用 docker history 命令查看体积,几十兆不算大:
[root@localhost work]# docker history openjdk:8u181-jre-alpine3.8
IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT
2e01f547f003        12 days ago         /bin/sh -c set -x  && apk add --no-cache  ...   78.6 MB             
<missing>           12 days ago         /bin/sh -c #(nop)  ENV JAVA_ALPINE_VERSION...   0 B                 
<missing>           12 days ago         /bin/sh -c #(nop)  ENV JAVA_VERSION=8u181       0 B                 
<missing>           7 weeks ago         /bin/sh -c #(nop)  ENV PATH=/usr/local/sbi...   0 B                 
<missing>           7 weeks ago         /bin/sh -c #(nop)  ENV JAVA_HOME=/usr/lib/...   0 B                 
<missing>           7 weeks ago         /bin/sh -c {   echo '#!/bin/sh';   echo 's...   87 B                
<missing>           7 weeks ago         /bin/sh -c #(nop)  ENV LANG=C.UTF-8             0 B                 
<missing>           7 weeks ago         /bin/sh -c #(nop)  CMD ["/bin/sh"]              0 B                 
<missing>           7 weeks ago         /bin/sh -c #(nop) ADD file:25c10b1d1b41d46...   4.41 MB

复制代码

  • 之所以要用 jre-alpine 版本,是因为 8u181-jdk 版本相比之下大了很多,如下所示:
[root@localhost work]# docker history openjdk:8u181-jdk
IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT
954739b8bdfb        7 days ago          /bin/sh -c /var/lib/dpkg/info/ca-certifica...   355 kB              
<missing>           7 days ago          /bin/sh -c set -ex;   if [ ! -d /usr/share...   348 MB              
<missing>           7 days ago          /bin/sh -c #(nop)  ENV CA_CERTIFICATES_JAV...   0 B                 
<missing>           7 days ago          /bin/sh -c #(nop)  ENV JAVA_DEBIAN_VERSION...   0 B                 
<missing>           3 weeks ago         /bin/sh -c #(nop)  ENV JAVA_VERSION=8u181       0 B                 
<missing>           3 weeks ago         /bin/sh -c #(nop)  ENV JAVA_HOME=/docker-j...   0 B                 
<missing>           3 weeks ago         /bin/sh -c ln -svT "/usr/lib/jvm/java-8-op...   33 B                
<missing>           3 weeks ago         /bin/sh -c {   echo '#!/bin/sh';   echo 's...   87 B                
<missing>           3 weeks ago         /bin/sh -c #(nop)  ENV LANG=C.UTF-8             0 B                 
<missing>           3 weeks ago         /bin/sh -c apt-get update && apt-get insta...   2.21 MB             
<missing>           3 weeks ago         /bin/sh -c apt-get update && apt-get insta...   142 MB              
<missing>           3 weeks ago         /bin/sh -c set -ex;  if ! command -v gpg >...   7.8 MB              
<missing>           3 weeks ago         /bin/sh -c apt-get update && apt-get insta...   23.2 MB             
<missing>           3 weeks ago         /bin/sh -c #(nop)  CMD ["bash"]                 0 B                 
<missing>           3 weeks ago         /bin/sh -c #(nop) ADD file:b3598c18dc39584...   101 MB

复制代码

  • 红色容器的镜像是用 Spring Boot 应用构建出来的,稍后再详细整个过程;
  • 在 kubernetes 环境,这两个容器会挂载同一个 Volume,红色容器将 jar 放在此处,绿色容器使用此处的 jar;
  • 红色容器用来提供 jar,没有进程需要保持运行状态,很适合设置为 Init Container 类型;
  • 绿色容器的 java 进程是长久运行的;
  • 以上就是整体设计思路,接下来咱们就来实战吧,分三步完成:

实战步骤列举

  • 本次实战分为以下几部分组成:
  • 开发 Spring Boot 应用;
  • 制作 Docker 镜像,做两个版本,以便验证升级;
  • 编写 yaml 文件;
  • 在 kubernetes 环境部署,验证;
  • 升级版本,验证;

环境和版本信息

  1. 编译构建的 jdk 和运行的 jre 都用 1.8 版本;
  2. maven:3.3.3;
  3. spring boot:2.1.0.RELEASE;
  4. docker:1.13.1;
  5. kubernetes:1.12.2;
  • 本次实战一共有四台 CentOS7 机器,基本信息如下:

springboot 集成kerberos 连接hive_spring_06

  • kubernetes 环境由 localhost、node1、node2 三台机器组成,maven 负责编译构建、生成镜像、上传到镜像仓库等操作;

开发 Spring Boot 应用

  • 这是个简单的 Spring Boot 应用,对外提供一个 http 接口,返回一个字符串;
  • 您可以选择直接从 GitHub 下载这个工程的源码,地址和链接信息如下表所示:

springboot 集成kerberos 连接hive_docker_07

  • 这个 git 项目中有多个文件夹,本章源码在 springbootsidecardemo 这个文件夹下,如下图红框所示:

springboot 集成kerberos 连接hive_spring_08

  • 您也可以随本文一起来开发这个应用:
  • 应用名为 springbootsidecardemo,是用 maven 构建的,JDK 使用 1.8,Spring Boot 版本 2.1.0.RELEASE;
  • 应用的 pom.xml 如下,为了构建 Docker 镜像使用了 docker-maven-plugin 插件,该插件具体的配置请参照下面的注释:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.bolingcavalry</groupId>
    <artifactId>springbootsidecardemo</artifactId>
    <version>0.0.1</version>
    <packaging>jar</packaging>
    <name>springbootsidecardemo</name>
    <description>Demo project for Spring Boot sidecard demo in K8S</description>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.0.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>
    <build>
        <finalName>app</finalName>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
            <!--新增的docker maven插件-->
            <plugin>
                <groupId>com.spotify</groupId>
                <artifactId>docker-maven-plugin</artifactId>
                <version>0.4.12</version>
                <!--docker镜像相关的配置信息-->
                <configuration>
                    <!--镜像名,这里用工程名-->
                    <imageName>bolingcavalry/${project.artifactId}</imageName>
                    <!--TAG,这里用工程版本号-->
                    <imageTags>
                        <imageTag>${project.version}</imageTag>
                    </imageTags>
                    <!--镜像的FROM,使用busybox-->
                    <baseImage>busybox</baseImage>
                    <!--构建镜像的配置信息-->
                    <resources>
                        <resource>
                            <targetPath>/</targetPath>
                            <directory>${project.build.directory}</directory>
                            <include>app.jar</include>
                        </resource>
                    </resources>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

复制代码

  • 上面的配置有一处需要注意,就是基础镜像的选择(就是 baseImage 节点中的内容),我用了 busybox ,用它是因为够小,来看 docker 镜像仓库中的描述,地址是 https://hub.docker.com/_/busybox/:

springboot 集成kerberos 连接hive_kubernetes_09

  • 看到这里,可能会有朋友问"为什么不用 scratch?它比 busybox 更小",scratch 虽小,但不带基本的 shell 命令,例如 cp 命令,而后容器启动时要用 cp 命令对文件做复制操作,因此只能选择 busybox 了;
  • Controller 类的代码也很简单:
package com.bolingcavalry.springbootsidecardemo.controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.Date;
/**
 * @Description: 一个最普通的Controller,hello接口返回一个字符串并带上当前时间
 * @author: willzhao E-mail: zq2599@gmail.com
 * @date: 2018/11/6 14:15
 */
@RestController
public class HelloController {
    @RequestMapping(value = "/hello")
    public String hello(){
        return "Hello version 1.0 " + new Date();
    }
}

复制代码

制作应用的 Docker 镜像

  • 请确保您当前环境的 maven 和 Docker 都已经 OK 了;
  • 在应用的 pom.xml 所在目录执行如下命令即可构建 Docker 镜像:
mvn clean package -U -DskipTests docker:build

复制代码

  • 构建成功的控制台输出如下:
[INFO] Building image bolingcavalry/springbootsidecardemo
[INFO] Building image bolingcavalry/springbootsidecardemo
Step 1/2 : FROM busybox
 ---> 59788edf1f3e
Step 2/2 : ADD /app.jar //
 ---> 8105c9ac033b
Removing intermediate container fdc62513abf6
Successfully built 8105c9ac033b
[INFO] Built bolingcavalry/springbootsidecardemo
[INFO] Tagging bolingcavalry/springbootsidecardemo with 0.0.1
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 5.354 s
[INFO] Finished at: 2018-11-06T05:07:08-08:00
[INFO] Final Memory: 42M/225M
[INFO] ------------------------------------------------------------------------

复制代码

  • 构建成功后用 docker history 命令查看镜像,如下,三个 layer 组成:
root@maven:~# docker history bolingcavalry/springbootsidecardemo:0.0.1
IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT
8105c9ac033b        46 minutes ago      /bin/sh -c #(nop) ADD file:909ca8e9c8898cd...   16.6 MB             
59788edf1f3e        4 weeks ago         /bin/sh -c #(nop)  CMD ["sh"]                   0 B                 
<missing>           4 weeks ago         /bin/sh -c #(nop) ADD file:63eebd629a5f755...   1.15 MB

复制代码

  • 去工程的 target 目录下看看构建的 app.jar 文件,如下所示,也是 16 兆,所以这个镜像已经被做到最小了,相对于以前那种 JAVA 环境+jar 文件的镜像,这个镜像更易于下载和上传:
root@maven:/usr/local/work/github/blog_demos/springbootsidecardemo/target# ls -al
total 16276
drwxr-xr-x 9 root root     4096 Nov  6 05:08 .
drwxr-xr-x 5 root root     4096 Nov  6 05:29 ..
-rw-r--r-- 1 root root 16621351 Nov  6 05:08 app.jar
-rw-r--r-- 1 root root     4432 Nov  6 05:08 app.jar.original
drwxr-xr-x 3 root root     4096 Nov  6 05:08 classes
drwxr-xr-x 2 root root     4096 Nov  6 05:08 docker
drwxr-xr-x 3 root root     4096 Nov  6 05:08 generated-sources
drwxr-xr-x 3 root root     4096 Nov  6 05:08 generated-test-sources
drwxr-xr-x 2 root root     4096 Nov  6 05:08 maven-archiver
drwxr-xr-x 3 root root     4096 Nov  6 05:08 maven-status
drwxr-xr-x 3 root root     4096 Nov  6 05:08 test-classes

复制代码

  • 执行 docker push 命令,将镜像推送到镜像仓库中,我这里是推送到了 hub.docker.com,您可以根据实际情况来执行,例如私有仓库、阿里云等都可以,当然了,如果当前机器就是 K8S 的机器就不用推送了,毕竟此镜像就是在 K8S 环境用的;
  • 如果觉得推送到仓库太慢,或者从仓库下载太慢,也可以使用文件导入导出的方式,具体操作如下:
#将镜像导出为tar文件
docker save 2e01f547f003 > 1.tar
###将tar文件还原为镜像
docker load < 1.tar
###还原后的镜像的名称和tag都不对,要用tag命令来设置
docker tag 8105c9ac033b bolingcavalry/springbootsidecardemo:0.0.1

复制代码

制作应用升级版的 Docker 镜像

  • 为了验证 K8S 下的应用升级,做好 tag 为 0.0.1 的镜像之后,我们改动应用代码,把 pom.xml 中的版本改成 0.0.2,然后再做个镜像,这样稍后在 K8S 就能验证 Pod 升级了;
  • 修改 HelloController.java 的源码,hello 方法返回的字符串,之前是 Hello version 1.0 ,现在改成 Hello version 2.0 ;
  • 修改 pom.xml 中的 version 节点,之前是 0.0.1 ,现在改成 0.0.2 ,由于我们已配置了镜像 tag 就是工程版本,因此新构建的镜像 tag 会是 0.0.2;
  • 再次执行 maven 命令构建,然后推送到镜像仓库;
  • 此时我们有两个镜像了:
root@maven:~# docker images | grep sidecar
bolingcavalry/springbootsidecardemo                                 0.0.2        f6ba01c33388        11 hours ago        17.8 MB
bolingcavalry/springbootsidecardemo                                 0.0.1        8105c9ac033b        11 hours ago        17.8 MB

复制代码

  • 现在镜像已经 OK,该准备部署到 kubernetes 环境了;

编写 yaml 文件

  • 在可以执行 kubectl 命令的机器上编写配置文件,Pod 的配置 javaweb-deploy.yaml 文件内容如下:
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: javaweb
spec:
  replicas: 1
  template:
    metadata:
     labels:
      name: javaweb
    spec:
     initContainers:
     - image: bolingcavalry/springbootsidecardemo:0.0.1
       name: appjar
       command: ["cp", "/app.jar", "/app"]
       volumeMounts:
       - mountPath: /app
         name: app-volume
     containers:
     - image: openjdk:8u181-jre-alpine3.8
       name: openjdk8u181
       command: ["java","-jar","/webapp/app.jar"]
       volumeMounts:
       - mountPath: /webapp
         name: app-volume
       ports:
       - containerPort: 8080
     volumes:
     - name: app-volume
       emptyDir: {}

复制代码

  • 从上述配置中,有两处需要注意:
  • 第一,应用镜像被设置为 initConteiners 类型的容器,被设置执行 cp 命令将自己的 app.jar 文件复制到共享的 Volume;
  • 第二,一直运行用于提供服务的容器,来自 openjdk 镜像的 java 进程,该进程加载的 jar 文件就是共享的 Volume 中的 app.jar;
  • 为了能在浏览器上访问该应用,再部署个 service,其配置文件 javaweb-svc.yaml 的内容如下:
apiVersion: v1
kind: Service
metadata:
  name: javaweb
spec:
  type: NodePort
  ports:
       - port: 8080
         nodePort: 30008
  selector:
    name: javaweb

复制代码

  • 启动 pod 和 service,在前面的 yaml 文件所在目录执行命令如下:
kubectl create -f javaweb-deploy.yaml \
&& kubectl create -f javaweb-svc.yaml

复制代码

  • service 的类型是 NodePort,因此可以通过 Node 节点的 IP 地址访问服务,我这边 Node 地址为 192.168.119.159,因此访问地址就是:http://192.168.119.159:30008/hello ,在浏览器访问返回如下内容:

springboot 集成kerberos 连接hive_kubernetes_10

  • 符合预期,证明主容器加 sidecar 容器的组合方式是可以正常工作的,接下来试试升级;

升级版本

  • 接下来模拟生产环境的应用升级,前面准好了两个版本的应用镜像:0.0.1 和 0.0.2,现在 K8S 环境运行的是 0.0.1,咱们将其升级为 0.0.2:
  • 修改 javaweb-deploy.yaml 文件中镜像的 tag,从 0.0.1 改成 0.0.2,如下图红框所示:

springboot 集成kerberos 连接hive_kubernetes_11

  • 在 javaweb-deploy.yaml 文件所在目录执行如下命令即可完成升级:
kubectl apply -f javaweb-deploy.yaml

复制代码

  • 在浏览器访问 http://192.168.119.159:30008/hello,返回如下内容,可见的确是修改后的应用逻辑:

springboot 集成kerberos 连接hive_ide_12

  • 升级成功,符合预期;

小结

  • sidecar 模式下,仅需更新应用 jar 打包的镜像,这个镜像可以做到极小;
  • 提供 java 进程的镜像是固定的,在 K8S 环境下,一个 Node 上实际运行着多种 pod,如果他们的 java 进程都由一个镜像提供,其好处是不言而喻的;
  • Spring Boot 应用的运行,是由 java 进程与应用 jar 文件组成的,很适合 sidecar 模式,通过容器解耦,通过 pod 对外服务;
  • 至此,Spring Boot 应用在 kubernetes 的 sidecar 设计与实战就全部完成了,希望此文能助您将应用以 sidecar 模式部署在 kubernetes,如果您发现我对官网的指导内容理解有误或有偏差,欢迎您的热心指正,谢谢!




Spring Boot 应用

  • 基于 Spring Boot 框架的应用,通常会构建成 XXX.jar 文件,执行 java -jar XXX.jar 来运行该应用;

Docker 下的 Spring Boot 应用镜像

  • Docker 环境下,通常用 Maven 的 docker-maven-plugin 插件将应用打包成镜像,例如以 java:8u111-jdk 作为基础镜像再加入 jar 文件,这样容器启动的时候执行 java -jar XXX.jar 就能将应用运行起来了;

传统思路

  • Spring Boot 应用镜像在 kubernetes 声明为 Pod,即可正常运行;
  • 但是,这是合适的做法么?去 K8S 官网需要一些理论上的指导吧;

寻找官方的理论依据

  • 官方文档地址:https://kubernetes.io/docs/concepts/workloads/pods/pod-overview/
  • 其中对 Pod 中多个容器的关系描述如下:

springboot 集成kerberos 连接hive_spring

  • 上图红框中提到一个容器基于共享资源对外提供服务,另一个"sidecar"容器负责更新这些共享资源;
  • 在 Kubernetes 中文社区的文档中也对此作了阐述,地址是:http://docs.kubernetes.org.cn/312.html

springboot 集成kerberos 连接hive_docker_02

  • 在提到 Pod 中的 sidecar 模式时,官方文档用到"relatively advanced"来形容,进一步证实了当下该模式的正确性,如下图:

springboot 集成kerberos 连接hive_docker_03

  • 具体的实现模型如下图:

springboot 集成kerberos 连接hive_spring_04

Spring Boot 应用的 sidecar 设计

  • 根据 kubernetes 官方文档的指导,再结合 SpringBoot 应用的特点,我设计出的 sidecar 部署方式如下:

springboot 集成kerberos 连接hive_ide_05

  • 该应用的业务服务被封装在一个 Pod 定义中,该 Pod 由两个容器组成;
  • 绿色容器是来自 OpenJDK 官方镜像: openjdk:8u181-jre-alpine3.8 ,用 docker history 命令查看体积,几十兆不算大:
[root@localhost work]# docker history openjdk:8u181-jre-alpine3.8
IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT
2e01f547f003        12 days ago         /bin/sh -c set -x  && apk add --no-cache  ...   78.6 MB             
<missing>           12 days ago         /bin/sh -c #(nop)  ENV JAVA_ALPINE_VERSION...   0 B                 
<missing>           12 days ago         /bin/sh -c #(nop)  ENV JAVA_VERSION=8u181       0 B                 
<missing>           7 weeks ago         /bin/sh -c #(nop)  ENV PATH=/usr/local/sbi...   0 B                 
<missing>           7 weeks ago         /bin/sh -c #(nop)  ENV JAVA_HOME=/usr/lib/...   0 B                 
<missing>           7 weeks ago         /bin/sh -c {   echo '#!/bin/sh';   echo 's...   87 B                
<missing>           7 weeks ago         /bin/sh -c #(nop)  ENV LANG=C.UTF-8             0 B                 
<missing>           7 weeks ago         /bin/sh -c #(nop)  CMD ["/bin/sh"]              0 B                 
<missing>           7 weeks ago         /bin/sh -c #(nop) ADD file:25c10b1d1b41d46...   4.41 MB

复制代码

  • 之所以要用 jre-alpine 版本,是因为 8u181-jdk 版本相比之下大了很多,如下所示:
[root@localhost work]# docker history openjdk:8u181-jdk
IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT
954739b8bdfb        7 days ago          /bin/sh -c /var/lib/dpkg/info/ca-certifica...   355 kB              
<missing>           7 days ago          /bin/sh -c set -ex;   if [ ! -d /usr/share...   348 MB              
<missing>           7 days ago          /bin/sh -c #(nop)  ENV CA_CERTIFICATES_JAV...   0 B                 
<missing>           7 days ago          /bin/sh -c #(nop)  ENV JAVA_DEBIAN_VERSION...   0 B                 
<missing>           3 weeks ago         /bin/sh -c #(nop)  ENV JAVA_VERSION=8u181       0 B                 
<missing>           3 weeks ago         /bin/sh -c #(nop)  ENV JAVA_HOME=/docker-j...   0 B                 
<missing>           3 weeks ago         /bin/sh -c ln -svT "/usr/lib/jvm/java-8-op...   33 B                
<missing>           3 weeks ago         /bin/sh -c {   echo '#!/bin/sh';   echo 's...   87 B                
<missing>           3 weeks ago         /bin/sh -c #(nop)  ENV LANG=C.UTF-8             0 B                 
<missing>           3 weeks ago         /bin/sh -c apt-get update && apt-get insta...   2.21 MB             
<missing>           3 weeks ago         /bin/sh -c apt-get update && apt-get insta...   142 MB              
<missing>           3 weeks ago         /bin/sh -c set -ex;  if ! command -v gpg >...   7.8 MB              
<missing>           3 weeks ago         /bin/sh -c apt-get update && apt-get insta...   23.2 MB             
<missing>           3 weeks ago         /bin/sh -c #(nop)  CMD ["bash"]                 0 B                 
<missing>           3 weeks ago         /bin/sh -c #(nop) ADD file:b3598c18dc39584...   101 MB

复制代码

  • 红色容器的镜像是用 Spring Boot 应用构建出来的,稍后再详细整个过程;
  • 在 kubernetes 环境,这两个容器会挂载同一个 Volume,红色容器将 jar 放在此处,绿色容器使用此处的 jar;
  • 红色容器用来提供 jar,没有进程需要保持运行状态,很适合设置为 Init Container 类型;
  • 绿色容器的 java 进程是长久运行的;
  • 以上就是整体设计思路,接下来咱们就来实战吧,分三步完成:

实战步骤列举

  • 本次实战分为以下几部分组成:
  • 开发 Spring Boot 应用;
  • 制作 Docker 镜像,做两个版本,以便验证升级;
  • 编写 yaml 文件;
  • 在 kubernetes 环境部署,验证;
  • 升级版本,验证;

环境和版本信息

  1. 编译构建的 jdk 和运行的 jre 都用 1.8 版本;
  2. maven:3.3.3;
  3. spring boot:2.1.0.RELEASE;
  4. docker:1.13.1;
  5. kubernetes:1.12.2;
  • 本次实战一共有四台 CentOS7 机器,基本信息如下:

springboot 集成kerberos 连接hive_spring_06

  • kubernetes 环境由 localhost、node1、node2 三台机器组成,maven 负责编译构建、生成镜像、上传到镜像仓库等操作;

开发 Spring Boot 应用

  • 这是个简单的 Spring Boot 应用,对外提供一个 http 接口,返回一个字符串;
  • 您可以选择直接从 GitHub 下载这个工程的源码,地址和链接信息如下表所示:

springboot 集成kerberos 连接hive_docker_07

  • 这个 git 项目中有多个文件夹,本章源码在 springbootsidecardemo 这个文件夹下,如下图红框所示:

springboot 集成kerberos 连接hive_spring_08

  • 您也可以随本文一起来开发这个应用:
  • 应用名为 springbootsidecardemo,是用 maven 构建的,JDK 使用 1.8,Spring Boot 版本 2.1.0.RELEASE;
  • 应用的 pom.xml 如下,为了构建 Docker 镜像使用了 docker-maven-plugin 插件,该插件具体的配置请参照下面的注释:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.bolingcavalry</groupId>
    <artifactId>springbootsidecardemo</artifactId>
    <version>0.0.1</version>
    <packaging>jar</packaging>
    <name>springbootsidecardemo</name>
    <description>Demo project for Spring Boot sidecard demo in K8S</description>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.0.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>
    <build>
        <finalName>app</finalName>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
            <!--新增的docker maven插件-->
            <plugin>
                <groupId>com.spotify</groupId>
                <artifactId>docker-maven-plugin</artifactId>
                <version>0.4.12</version>
                <!--docker镜像相关的配置信息-->
                <configuration>
                    <!--镜像名,这里用工程名-->
                    <imageName>bolingcavalry/${project.artifactId}</imageName>
                    <!--TAG,这里用工程版本号-->
                    <imageTags>
                        <imageTag>${project.version}</imageTag>
                    </imageTags>
                    <!--镜像的FROM,使用busybox-->
                    <baseImage>busybox</baseImage>
                    <!--构建镜像的配置信息-->
                    <resources>
                        <resource>
                            <targetPath>/</targetPath>
                            <directory>${project.build.directory}</directory>
                            <include>app.jar</include>
                        </resource>
                    </resources>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

复制代码

  • 上面的配置有一处需要注意,就是基础镜像的选择(就是 baseImage 节点中的内容),我用了 busybox ,用它是因为够小,来看 docker 镜像仓库中的描述,地址是 https://hub.docker.com/_/busybox/:

springboot 集成kerberos 连接hive_kubernetes_09

  • 看到这里,可能会有朋友问"为什么不用 scratch?它比 busybox 更小",scratch 虽小,但不带基本的 shell 命令,例如 cp 命令,而后容器启动时要用 cp 命令对文件做复制操作,因此只能选择 busybox 了;
  • Controller 类的代码也很简单:
package com.bolingcavalry.springbootsidecardemo.controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.Date;
/**
 * @Description: 一个最普通的Controller,hello接口返回一个字符串并带上当前时间
 * @author: willzhao E-mail: zq2599@gmail.com
 * @date: 2018/11/6 14:15
 */
@RestController
public class HelloController {
    @RequestMapping(value = "/hello")
    public String hello(){
        return "Hello version 1.0 " + new Date();
    }
}

复制代码

制作应用的 Docker 镜像

  • 请确保您当前环境的 maven 和 Docker 都已经 OK 了;
  • 在应用的 pom.xml 所在目录执行如下命令即可构建 Docker 镜像:
mvn clean package -U -DskipTests docker:build

复制代码

  • 构建成功的控制台输出如下:
[INFO] Building image bolingcavalry/springbootsidecardemo
[INFO] Building image bolingcavalry/springbootsidecardemo
Step 1/2 : FROM busybox
 ---> 59788edf1f3e
Step 2/2 : ADD /app.jar //
 ---> 8105c9ac033b
Removing intermediate container fdc62513abf6
Successfully built 8105c9ac033b
[INFO] Built bolingcavalry/springbootsidecardemo
[INFO] Tagging bolingcavalry/springbootsidecardemo with 0.0.1
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 5.354 s
[INFO] Finished at: 2018-11-06T05:07:08-08:00
[INFO] Final Memory: 42M/225M
[INFO] ------------------------------------------------------------------------

复制代码

  • 构建成功后用 docker history 命令查看镜像,如下,三个 layer 组成:
root@maven:~# docker history bolingcavalry/springbootsidecardemo:0.0.1
IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT
8105c9ac033b        46 minutes ago      /bin/sh -c #(nop) ADD file:909ca8e9c8898cd...   16.6 MB             
59788edf1f3e        4 weeks ago         /bin/sh -c #(nop)  CMD ["sh"]                   0 B                 
<missing>           4 weeks ago         /bin/sh -c #(nop) ADD file:63eebd629a5f755...   1.15 MB

复制代码

  • 去工程的 target 目录下看看构建的 app.jar 文件,如下所示,也是 16 兆,所以这个镜像已经被做到最小了,相对于以前那种 JAVA 环境+jar 文件的镜像,这个镜像更易于下载和上传:
root@maven:/usr/local/work/github/blog_demos/springbootsidecardemo/target# ls -al
total 16276
drwxr-xr-x 9 root root     4096 Nov  6 05:08 .
drwxr-xr-x 5 root root     4096 Nov  6 05:29 ..
-rw-r--r-- 1 root root 16621351 Nov  6 05:08 app.jar
-rw-r--r-- 1 root root     4432 Nov  6 05:08 app.jar.original
drwxr-xr-x 3 root root     4096 Nov  6 05:08 classes
drwxr-xr-x 2 root root     4096 Nov  6 05:08 docker
drwxr-xr-x 3 root root     4096 Nov  6 05:08 generated-sources
drwxr-xr-x 3 root root     4096 Nov  6 05:08 generated-test-sources
drwxr-xr-x 2 root root     4096 Nov  6 05:08 maven-archiver
drwxr-xr-x 3 root root     4096 Nov  6 05:08 maven-status
drwxr-xr-x 3 root root     4096 Nov  6 05:08 test-classes

复制代码

  • 执行 docker push 命令,将镜像推送到镜像仓库中,我这里是推送到了 hub.docker.com,您可以根据实际情况来执行,例如私有仓库、阿里云等都可以,当然了,如果当前机器就是 K8S 的机器就不用推送了,毕竟此镜像就是在 K8S 环境用的;
  • 如果觉得推送到仓库太慢,或者从仓库下载太慢,也可以使用文件导入导出的方式,具体操作如下:
#将镜像导出为tar文件
docker save 2e01f547f003 > 1.tar
###将tar文件还原为镜像
docker load < 1.tar
###还原后的镜像的名称和tag都不对,要用tag命令来设置
docker tag 8105c9ac033b bolingcavalry/springbootsidecardemo:0.0.1

复制代码

制作应用升级版的 Docker 镜像

  • 为了验证 K8S 下的应用升级,做好 tag 为 0.0.1 的镜像之后,我们改动应用代码,把 pom.xml 中的版本改成 0.0.2,然后再做个镜像,这样稍后在 K8S 就能验证 Pod 升级了;
  • 修改 HelloController.java 的源码,hello 方法返回的字符串,之前是 Hello version 1.0 ,现在改成 Hello version 2.0 ;
  • 修改 pom.xml 中的 version 节点,之前是 0.0.1 ,现在改成 0.0.2 ,由于我们已配置了镜像 tag 就是工程版本,因此新构建的镜像 tag 会是 0.0.2;
  • 再次执行 maven 命令构建,然后推送到镜像仓库;
  • 此时我们有两个镜像了:
root@maven:~# docker images | grep sidecar
bolingcavalry/springbootsidecardemo                                 0.0.2        f6ba01c33388        11 hours ago        17.8 MB
bolingcavalry/springbootsidecardemo                                 0.0.1        8105c9ac033b        11 hours ago        17.8 MB

复制代码

  • 现在镜像已经 OK,该准备部署到 kubernetes 环境了;

编写 yaml 文件

  • 在可以执行 kubectl 命令的机器上编写配置文件,Pod 的配置 javaweb-deploy.yaml 文件内容如下:
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: javaweb
spec:
  replicas: 1
  template:
    metadata:
     labels:
      name: javaweb
    spec:
     initContainers:
     - image: bolingcavalry/springbootsidecardemo:0.0.1
       name: appjar
       command: ["cp", "/app.jar", "/app"]
       volumeMounts:
       - mountPath: /app
         name: app-volume
     containers:
     - image: openjdk:8u181-jre-alpine3.8
       name: openjdk8u181
       command: ["java","-jar","/webapp/app.jar"]
       volumeMounts:
       - mountPath: /webapp
         name: app-volume
       ports:
       - containerPort: 8080
     volumes:
     - name: app-volume
       emptyDir: {}

复制代码

  • 从上述配置中,有两处需要注意:
  • 第一,应用镜像被设置为 initConteiners 类型的容器,被设置执行 cp 命令将自己的 app.jar 文件复制到共享的 Volume;
  • 第二,一直运行用于提供服务的容器,来自 openjdk 镜像的 java 进程,该进程加载的 jar 文件就是共享的 Volume 中的 app.jar;
  • 为了能在浏览器上访问该应用,再部署个 service,其配置文件 javaweb-svc.yaml 的内容如下:
apiVersion: v1
kind: Service
metadata:
  name: javaweb
spec:
  type: NodePort
  ports:
       - port: 8080
         nodePort: 30008
  selector:
    name: javaweb

复制代码

  • 启动 pod 和 service,在前面的 yaml 文件所在目录执行命令如下:
kubectl create -f javaweb-deploy.yaml \
&& kubectl create -f javaweb-svc.yaml

复制代码

  • service 的类型是 NodePort,因此可以通过 Node 节点的 IP 地址访问服务,我这边 Node 地址为 192.168.119.159,因此访问地址就是:http://192.168.119.159:30008/hello ,在浏览器访问返回如下内容:

springboot 集成kerberos 连接hive_kubernetes_10

  • 符合预期,证明主容器加 sidecar 容器的组合方式是可以正常工作的,接下来试试升级;

升级版本

  • 接下来模拟生产环境的应用升级,前面准好了两个版本的应用镜像:0.0.1 和 0.0.2,现在 K8S 环境运行的是 0.0.1,咱们将其升级为 0.0.2:
  • 修改 javaweb-deploy.yaml 文件中镜像的 tag,从 0.0.1 改成 0.0.2,如下图红框所示:

springboot 集成kerberos 连接hive_kubernetes_11

  • 在 javaweb-deploy.yaml 文件所在目录执行如下命令即可完成升级:
kubectl apply -f javaweb-deploy.yaml

复制代码

  • 在浏览器访问 http://192.168.119.159:30008/hello,返回如下内容,可见的确是修改后的应用逻辑:

springboot 集成kerberos 连接hive_ide_12

  • 升级成功,符合预期;

小结

  • sidecar 模式下,仅需更新应用 jar 打包的镜像,这个镜像可以做到极小;
  • 提供 java 进程的镜像是固定的,在 K8S 环境下,一个 Node 上实际运行着多种 pod,如果他们的 java 进程都由一个镜像提供,其好处是不言而喻的;
  • Spring Boot 应用的运行,是由 java 进程与应用 jar 文件组成的,很适合 sidecar 模式,通过容器解耦,通过 pod 对外服务;
  • 至此,Spring Boot 应用在 kubernetes 的 sidecar 设计与实战就全部完成了,希望此文能助您将应用以 sidecar 模式部署在 kubernetes,如果您发现我对官网的指导内容理解有误或有偏差,欢迎您的热心指正,谢谢!