一、摘要

jenkins 连接低版本的k8s时,不需要验证。但是新版本的启用了https和角色管理

二、安装kubernetes插件

登录jenkins,点击 Manage Jenkins --> Manage Plugins --> 可选插件

在搜索框中,输入关键字 kubernetes

勾选Kubernetes,点击直接安装

需要安装的kubernetes相关插件:
Kubernetes CLI Plugin
Kubernetes Client API Plugin
Kubernetes Credentials Plugin
Kubernetes plugin

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_jenkins

等待几分钟,提示安装完成。

点击安装完成后重启Jenkins(空闲时)

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_json_02

提示正在重启中

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_jenkins_03

重新登录jenkins,返回首页。点击 Manage Jenkins --> Configure System

将网页拉动到最底下,点击新增一个云,就会出现Kubernetes

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_json_04

效果如下:

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_linux_05

如果直接写 kubernetes地址,点击测试,会报错。

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_json_06

k8s集群信息

root@k8s-master:~# kubectl cluster-info 
Kubernetes master is running at https://192.168.10.130:6443
KubeDNS is running at https://192.168.10.130:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

根据以上的配置,可以看到,已经是启用https了,这里就涉及到了密钥的问题。

三、创建admin证书

安装证书工具

安装cfssl

此工具生成证书非常方便, pem证书与crt证书,编码一致可直接使用

 登录k8s master节点执行

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
chmod +x cfssl_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl

wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
chmod +x cfssljson_linux-amd64
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl-certinfo_linux-amd64
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

准备证书签名请求

vim admin-csr.json

内容如下:

{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "HangZhou",
      "L": "XS",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}

证书请求中的O 指定该证书的 Group 为 system:masters

而 RBAC 预定义的 ClusterRoleBinding 将 Group system:masters 与 ClusterRole cluster-admin 绑定,这就赋予了该证书具有所有集群权限 。

创建证书和私钥

cfssl gencert -ca=/etc/kubernetes/pki/ca.crt -ca-key=/etc/kubernetes/pki/ca.key --profile=kubernetes admin-csr.json | cfssljson -bare admin

最终生成以下3个文件:

admin.csr
admin-key.pem
admin.pem

配置证书

生成pkc格式证书

我们可以通过openssl来转换成pkc格式: 

openssl pkcs12 -export -out ./jenkins-admin.pfx -inkey ./admin-key.pem -in ./admin.pem -passout pass:secret

将jenkins-admin.pfx 下载至桌面

四、配置jenkins认证

Kubernetes 服务证书 key

使用以下命令查看

root@k8s-master:~# cat /etc/kubernetes/pki/ca.crt

将证书内容填写,点击凭据后面的添加,点击Jenkins

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_jenkins_07

得到jenkins-admin.pfk文件后,点击Jenkins配置Credentials后面的Add,配置如下

上传证书

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_kubernetes_08

选择文件 jenkins-admin.pfk

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_jenkins_09

输入密码 secret,后面的内容可以不填写,点击添加。

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_json_10

选择 凭据,点击连接测试。

 出现 Connection test successful 表示连接成功。

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_linux_11

添加Jenkins地址

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_json_12

点击保存

五、新建job任务

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_kubernetes_13

勾选此项

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_linux_14

 

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_kubernetes_15

 添加凭证
上传证书新增jenkins全局凭证(此步骤前面已操作,可忽略)

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_jenkins_16

填写详细信息

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_kubernetes_17

shell 命令

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_jenkins_18

jenkins节点安装kubectl

# kubernetes repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

# 安装kubectl 1.18.9
yum install -y kubectl-1.18.9

执行Job

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_https_19

 查看job输出

在 Kubernetes 上设置 Jenkins jenkins kubernetes plugin_linux_20

 

输出的信息是正常的,可以正常获取到Kubernetes集群信息以及Pod信息;
jenkins连接kubernetes集群设置正常,后续就可以使用jenkins操作kubernetes实现CD了

备注:
kubernetes环境是使用kubeadm 方式安装的