k8s包含secret仍然拉不下来镜像 k8s 打包镜像

简述

在k8s中使用工具不能像传统方式那样，在宿主机yum或编译安装，然后再挂载到容器中使用了；因为pod运行的节点不是固定的，如果继续按照传统方式，需要在pod可能运行的每个节点上都安装工具，这无疑非常繁琐！
好在，现在的工具基本都支持docker部署，这样只需将工具的docker化添加到pod中，k8s就可以灵活使用了。

需求

k8s+jenkins中直接使用官方maven镜像虽然也可以打包，但是打包过程中下载存储在repository中依赖会随着容器的销毁而丢失，这样在下次打包时需要重新下载，严重影响CI/CD的效率。

另外由于项目的多样性，还可能使用maven artifactory私服、阿里镜像库、harbor仓库等，继续使用官方的maven镜像是无法满足项目需求的，还好官方提供的maven镜像只是一个基础镜像，此时我们可以按需自定义maven镜像，并将其集成内部的harbor或其他docker仓库中。

因此我们对maven的需求如下：

• 本地持久化存储repository
• 集成maven artifactory私服
• 集成harbor仓库

自定义maven镜像原理

1.持久化存储repository

docker-maven中Packaging a local repository with the image部分中介绍了以下几点：

1. 默认的repository在/root/.m2容器目录中，容器销毁后，无法持久化存在；
2. settings-docker.xml作用是将本地化repository更改至/usr/share/maven/ref/repository；
3. /usr/share/maven/ref/下的内容在容器启动时全部copy到/root/.m2中，其中包括repository；

我们可以直接启动maven容器了解下：

# docker run -it  maven:3.6.3-jdk-8 /bin/bash
root@86af4d73fb83:/# ls /usr/share/maven/ref/
settings-docker.xml
root@86af4d73fb83:/# ls /root/.m2/
copy_reference_file.log  repository  settings-docker.xml
# copy过程的日志
root@86af4d73fb83:~/.m2# cat copy_reference_file.log 
--- Copying all files to /root/.m2 at Fri Aug  7 06:54:56 UTC 2020
'./settings-docker.xml' -> '/root/.m2/./settings-docker.xml'

其实以上copy操作是通过容器的entrypoint /usr/local/bin/mvn-entrypoint.sh执行的，一旦容器启动此脚本就会执行：

root@86af4d73fb83:/# cat /usr/local/bin/mvn-entrypoint.sh 
#! /bin/sh -eu

# Copy files from /usr/share/maven/ref into ${MAVEN_CONFIG}
# So the initial ~/.m2 is set with expected content.
# Don't override, as this is just a reference setup

copy_reference_files() {
  local log="$MAVEN_CONFIG/copy_reference_file.log"
  local ref="/usr/share/maven/ref"

  if mkdir -p "${MAVEN_CONFIG}/repository" && touch "${log}" > /dev/null 2>&1 ; then
      cd "${ref}"
      local reflink=""
      if cp --help 2>&1 | grep -q reflink ; then
          reflink="--reflink=auto"
      fi
      if [ -n "$(find "${MAVEN_CONFIG}/repository" -maxdepth 0 -type d -empty 2>/dev/null)" ] ; then
          # destination is empty...
          echo "--- Copying all files to ${MAVEN_CONFIG} at $(date)" >> "${log}"
          cp -rv ${reflink} . "${MAVEN_CONFIG}" >> "${log}"
      else
          # destination is non-empty, copy file-by-file
          echo "--- Copying individual files to ${MAVEN_CONFIG} at $(date)" >> "${log}"
          find . -type f -exec sh -eu -c '
              log="${1}"
              shift
              reflink="${1}"
              shift
              for f in "$@" ; do
                  if [ ! -e "${MAVEN_CONFIG}/${f}" ] || [ -e "${f}.override" ] ; then
                      mkdir -p "${MAVEN_CONFIG}/$(dirname "${f}")"
                      cp -rv ${reflink} "${f}" "${MAVEN_CONFIG}/${f}" >> "${log}"
                  fi
              done
          ' _ "${log}" "${reflink}" {} +
      fi
      echo >> "${log}"
  else
    echo "Can not write to ${log}. Wrong volume permissions? Carrying on ..."
  fi
}

owd="$(pwd)"
copy_reference_files
unset MAVEN_CONFIG

cd "${owd}"
unset owd

exec "$@"

现在/root/.m2下的内容来源可解释如下：

• copy_reference_file.log：/usr/local/bin/mvn-entrypoint.sh脚本生成的日志文件
• settings-docker.xml：从/usr/share/maven/ref中复制到/root/.m2下
• repository：自动创建，如果/usr/share/maven/ref中有repository存在会全部copy
  既然/root/.m2下的文件会丢失，而这些文件可以/usr/share/maven/ref复制且该目录下的内容是在一直存在的，那么我们可以将存储挂载到/usr/share/maven/ref/repository实现本地持久化存储了。

2.集成私服、harbor

/usr/share/maven/ref目录下的只有settings-docker.xml，而要集成镜像库需要更改全局配置文件settings.xml，因此我们需要在镜像中新增settings.xml，前提是保证本地化repository为/usr/share/maven/ref/repository。

# 添加setttings.xml
# vim setttings.xml
# 1.添加localRepository
# 和settings-docker.xml中localRepository配置一致
 <localRepository>/usr/share/maven/ref/repository</localRepository>
# 2.添加mvn artifactory私服和harbor，请根据实际情况添加
    <server>
        <id>central</id>
        <username>readonly</username>
        <password>{HMpWmDY+asd=}</password>
    </server>
    <server>
        <id>snapshots</id>
        <username>readonly</username>
        <password>{HMpWmDY+asd=}</password>
    </server>

    <server>
      <id>docker-harbor</id>
      <username>admin</username>
      <password>WnrCdA1NZLBfyfE121230</password>
      <configuration>
        <email>[e-mail]</email>
      </configuration>
    </server>
  </servers>
# 添加私服密码加密文件settings-security.xml
# vim settings-security.xml
<settingsSecurity>
  <master>{hSYsdfasUoHyhvNN3Lwxf1Mfh/TBHLOCw=}</master>
</settingsSecurity>

3.小结

我们在/usr/share/maven/ref中其实新增了以下内容：

• setttings.xml 全局配置文件
• settings-security.xml 私服密码加密文件
• repository 持久化仓库，可通过在k8s内pv直接挂载到repository

创建自定义maven镜像

# 1.创建配置目录
# mkdir maven
# ls
Dockerfile  settings-security.xml  settings-security.xml
# 2.Dockerfile配置
# vim Dockerfile
# 基于maven:3.6.3-jdk-8构建公司内部可以使用maven私服、harbor的镜像
From maven:3.6.3-jdk-8
MAINTAINER test [e-mail]

COPY settings.xml /usr/share/maven/ref/
COPY settings-security.xml /usr/share/maven/ref/

# 3.构建镜像并推送到harbor
docker build --tag tools/maven:v1 .
docker tag tools/maven:v1 harbor.test.cn/tools/maven:v1
docker push harbor.test.cn/tools/maven:v1

jenkins设置

本文基于使用Jenkins master位于k8s集群外，实现jenkins slave的动态构建提供的基础环境。

1.添加新的container template

maven 和 jenkins-slave在同一个pod中

• 名称：pod中maven容器名称
• Docker镜像：存放在harbor中自定义maven镜像
• 工作目录：默认工作目录，不是关键配置，可更换；
• 运行的命令：即容器的entrypoint，必须为空，如果添加会覆盖容器默认的/usr/local/bin/mvn-entrypoint.sh，导致/usr/share/maven/ref下的内容无法copy到/root/.m2;
• 命令参数：可有可无；

2.挂载卷

默认情况下，maven容器没有有效存储挂载，为实现repository的本地持久化存储，我们将在NFS主目录下创建repository子目录并挂载到/usr/share/maven/ref/repository下，maven容器启动将会copy到默认的/root/.m2中。

3.流水线

pipeline {
  agent {
    label 'jenkins-slave-k8s'
  }
  stages {
    stage('test') {
      steps{
        git credentialsId: 'git-auth', url: 'http://x.x.x.x/source/test.git'
    }
  }
    stage('maven') {
      steps {
          container('maven') {
              sh """
                 mvn clean install 
                 #mvn clean package docker:build -DdockerImageTags=v3 -DpushImageTag
              """
          }
      }
  }
 }
}

如图，我们使用maven artifactory私服打包成功，只有在第一次打包时由于下载依赖jar会比较慢，后续通过本地持久化repository，无须再次下载jar包，因此会更快些。如果使用maven工具build、push镜像到harbor中，还需在jenkins中做如下设置，否则会报错：

总结

在k8s+jenkins中使用自定义maven镜像时，忽略了entrypoint重写问题，导致容器启动/usr/local/bin/mvn-entrypoint.sh没有运行，/usr/share/maven/ref下的内容没有复制到/root/.m2中，浪费了比较多的时间，希望引起大家注意。