jenkins Kubernetes 部署插件 jenkins kubernetes持续集成

基于kubernetes/k8s构建Jenkins持续集成平台

目录

• Jenkins的Master-Slave 分布式构建

• 什么是master-slave分布式构建
• Jenkins实现Master-Slave 分布式构建

• 开启代理程序的TCP端口
• jenkins上新建节点
• Jenkins从节点服务器配置
• 测试

• Kubernets实现Master-Slave 分布式构建方案

• 传统Jenkins的Master-Slave 方案的缺陷
• Kubernetes简介
• Kubernetes+Docker+Jenkins 持续集成架构图

• Kubernetes+Docker+Jenkins持续集成方案的好处

• Kubeadm 安装Kubernetes

• Kubernetes的架构
• 安装环境说明
• 三台k8s服务器都需要完成
• Master节点需要完成
• Slave 节点需要完成
• master 节点查看集群状态
• kubectl常用的命令

Jenkins的Master-Slave 分布式构建

什么是master-slave分布式构建

Jenkins的Master-Slave分布式构建，就是通过将构建过程分配到从属Slave节点上，从而减轻Master节 点的压力，而且可以同时构建多个，有点类似负载均衡的概念。

Jenkins实现Master-Slave 分布式构建

开启代理程序的TCP端口

Manage Jenkins -> Configure Global Security

TCP port for inbound agents---->随机选取--->保存

jenkins上新建节点

Manage Jenkins—Manage Nodes—新建节点

注意，这里的节点名称，后续的Jenkinsfile里会调用

设置名称，远程工作目录，自定义工作目录

点击下载jar包。这个jar包需要传递到节点服务器上

Jenkins从节点服务器配置

将下载好的jar包上传到从节点上

Jenkins从节点 关闭防火墙，selinux，并下载git

systemctl disable firewalld --now
setenforce 0
sed -i '/^SELINUX/ s/enforcing/disabled/' /etc/selinux/config

yum -y install git

在agent.jar 包所在目录，执行命令

测试

新建流水线

Kubernets实现Master-Slave 分布式构建方案

传统Jenkins的Master-Slave 方案的缺陷

• Master节点发生单点故障时，整个流程都不可用
• 每个Slave节点的配置环境不一样，来完成不同语言的编译打包等操作。但是这些差异化的配置导致管理起来非常不方便，维护起来也是比较费劲
• 资源分配不均衡，有的Slave节点要运行的job出现排队等待，而有的Slave节点处于空闲状态
• 资源浪费，每台Slave节点可能是实体机或者VM，当Slave节点处于空闲状态时，也不会完全释放掉资源

以上种种问题，我们可以引入Kubernetes来解决

Kubernetes简介

Kubernetes（简称，K8S）是Google开源的容器集群管理系统，在Docker技术的基础上，为容器化的 应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的 便捷性。 其主要功能如下：

• 使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。
• 以集群的方式运行、管理跨机器的容器。以集群的方式运行、管理跨机器的容器。
• 解决Docker跨机器容器之间的通讯问题。解决Docker跨机器容器之间的通讯问题
• Kubernetes的自我修复机制使得容器集群总是运行在用户期望的状态。

Kubernetes+Docker+Jenkins 持续集成架构图

大致工作流程：手动/自动构建 -> Jenkins 调度 K8S API -＞动态生成 Jenkins Slave pod -＞ Slave pod 拉取 Git 代码／编译／打包镜像 -＞推送到镜像仓库 Harbor -＞ Slave 工作完成，Pod 自动销毁 -＞部署到测试或生产 Kubernetes平台。（完全自动化，无需人工干预）

Kubernetes+Docker+Jenkins持续集成方案的好处

• 服务高可用：当 Jenkins Master 出现故障时，Kubernetes 会自动创建一个新的 Jenkins Master容器，并且将 Volume 分配给新创建的容器，保证数据不丢失，从而达到集群服务高可用。
• 动态伸缩，合理使用资源：每次运行 Job 时，会自动创建一个 Jenkins Slave，Job 完成后，Slave 自动注销并删除容器，资源自动释放，而且 Kubernetes 会根据每个资源的使用情况，动态分配Slave 到空闲的节点上创建，降低出现因某节点资源利用率高，还排队等待在该节点的情况。
• 扩展性好：当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时，可以很容易的添加一个Kubernetes Node 到集群中，从而实现扩展。

Kubeadm 安装Kubernetes

Kubernetes的架构

• API Server：用于暴露Kubernetes API，任何资源的请求的调用操作都是通过kube-apiserver提供的接口进行的。
• Etcd：是Kubernetes提供默认的存储系统，保存所有集群数据，使用时需要为etcd数据提供备份计划。
• Controller-Manager：作为集群内部的管理控制中心，负责集群内的Node、Pod副本、服务端点（Endpoint）、命名空间（Namespace）、服务账号（ServiceAccount）、资源定额（ResourceQuota）的管理，当某个Node意外宕机时，Controller Manager会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态。
• Scheduler：监视新创建没有分配到Node的Pod，为Pod选择一个Node。
• Kubelet：负责维护容器的生命周期，同时负责Volume和网络的管理
• Kube proxy：是Kubernetes的核心组件，部署在每个Node节点上，它是实现Kubernetes Service的通信与负载均衡机制的重要组件。

安装环境说明

主机名称	IP地址	安装的软件
代码托管服务器	192.168.23.10	Gitlab-12.4.2
Docker仓库服务器	192.168.23.13	Harbor1.9.2
k8s-master	192.168.23.15	kube-apiserver、kube-controller-manager、kube- scheduler、docker、etcd、calico，NFS
k8s-node1	192.168.23.16	kubelet、kubeproxy、Docker18.06.1-ce
k8s-node2	192.168.23.17	kubelet、kubeproxy、Docker18.06.1-ce

三台k8s服务器都需要完成

修改三台机器的hostname及hosts文件

hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1 
hostnamectl set-hostname k8s-node2

cat >>/etc/hosts<<EOF 
192.168.23.15 k8s-master 
192.168.23.16 k8s-node1 
192.168.23.17 k8s-node2 
EOF

关闭防火墙和selinux

systemctl disable firewalld --now
setenforce 0
sed -i '/^SELINUX/ s/enforcing/disabled/' /etc/selinux/config

设置系统参数，加载br_netfilter模块

设置允许路由转发，不对bridge的数据进行处理

modprobe br_netfilter

cat >>/etc/sysctl.d/k8s.conf<<EOF 
net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1 
vm.swappiness = 0
EOF

sysctl -p /etc/sysctl.d/k8s.conf

安装和配置docker-ce

yum install -y yum-utils  device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum -y install docker-ce

systemctl enable docker --now

#配置镜像加速和受信仓库
cat >>/etc/docker/daemon.json<<'EOF'
{
  "registry-mirrors": ["https://k0ki64fw.mirror.aliyuncs.com"],
  "insecure-registries": ["192.168.23.13:85"]
}
EOF

systemctl restart docker

kube-proxy开启的前置条件

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash 
/etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

所有节点关闭交换空间

swapoff  -a

sed -i '/swap/ s/^/#/' /etc/fstab 
mount -a

安装kubelet,kubeadm,kubectl

• kubeadm: 用来初始化集群的指令。
• kubelet: 在集群中的每个节点上用来启动 pod 和 container 等。
• kubectl: 用来与集群通信的命令行工具。

yum clean all

#安装yum 源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

ls /etc/yum.repos.d/

#注：要安装1.17版本
yum install -y kubelet-1.17.0 kubeadm-1.17.0 kubectl-1.17.0

kubelet设置开机启动

注意，先不要启动，现在启动的话会报错

systemctl enable kubelet
kubelet --version

Master节点需要完成

注意，以下操作仅在master节点上操作

运行 初始化命令（需要docker环境）

kubeadm init --kubernetes-version=1.17.0 \
--apiserver-advertise-address=192.168.23.15 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

注意：apiserver-advertise-address这个地址必须是master机器的

service-cidr 和pod-network-cidr的地址不能相同

初始化时报错解决

错误一：

[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver

作为Docker cgroup驱动程序。，Kubernetes推荐的Docker驱动程序是“systemd”

解决方案：修改Docker的配置: vi /etc/docker/daemon.json，加入

{
"exec-opts":["native.cgroupdriver=systemd"]
}

然后重启docker

错误二：

[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2

解决方案：修改虚拟机的CPU的个数，至少为2个

安装完成后，提示节点安装命令，必须记下来

配置kubectl工具

mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

启动kubelet

systemctl restart kubelet
systemctl status kubelet

安装calico

mkdir k8s
cd k8s

#不检查凭证下载calico.yaml
wget --no-check-certificate https://docs.projectcalico.org/v3.10/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml

//地址更改，方便从节点通信
sed -i 's/192.168.0.0/10.244.0.0/g' calico.yaml

kubectl apply -f calico.yaml

查看所有Pod状态，确保所有的Pod都是Running状态(需要一小段时间)

kubectl get pod --all-namespaces -o wide

Slave 节点需要完成

以下操作在所有slave节点完成

让所有节点加入到集群环境

使用之前master节点产生的命令加入集群

kubeadm join 192.168.23.15:6443 --token 823nvy.hwz9fnjfvot3panq \
    --discovery-token-ca-cert-hash sha256:81d55d93d489313e25e75f0d87a14b7a7b519f5171ba83c0cdf13ab2de67ec92

master 节点查看集群状态

在master 节点查看集群状态，如果status 全部为Ready，则代表集群环境搭建成功(需要一小段时间)

kubectl get nodes

kubectl常用的命令

kubectl get nodes	   #查看所有主从节点的状态,如果有noready状态，看一看从节点的kubelet
kubectl get ns	     #获取所有namespace资源
kubectl get pods -n {$nameSpace}	        #获取指定namespace的pod
kubectl describe pod的名称	-n {$nameSpace}	  #查看某个pod的执行过程
kubectl logs --tail=1000 pod的名称 | less	  #查看日志
kubectl create -f xxx.yml	   # 通过配置文件创建一个集群资源对象
kubectl delete -f xxx.yml	   #通过配置文件删除一个集群资源对象
kubectl apply -f xxx.yml     #和create作用相同，并且还可以通过配置文件升级资源