Jenkins slave
添加jenkins slave节点：
jenkins slave节点创建工作目录与基本环境配置，如果jenkins slave节点需要clone代码和执行java 代码编译，则
jenkins slave节点也需要配置java环境并且安装git、svn、maven等与master相同的基础运行环境，另外也要创建与
master相同的数据目录，方便后期目录切换与制品同步，此路径通常与master和各node节点保持一致。
创建工作路劲
root@harbor-jenkins-slave:~# mkdir -p /var/lib/jenkins
root@harbor-jenkins-slave:~# dpkg -i jdk-11.0.17_linux-x64_bin.deb
Jenkins凭据
pipline 语法简介：
流水线过程定义在 Pipeline{}块中，在Pipeline 块定义了整个流水线中完成的所有的操作。
Stage：阶段，一个pipline可以划分为若干个stage，每个stage都是一个操作阶段，比如代码clone、代码编译、代码
测试和代码部署，阶段是一个逻辑分组，在pipline中可以实现跨多个node执行不同的stage。
Step：步骤，step是jenkins pipline最基本的操作单元，一个stage中可以有多个step，例如在代码clone的stage中
需要定义代码clone的step、在代码编译stage需要定义代码编译的step。
Node：
jenkins工作节点，可以是jenkins master也可以是jenkins slave，node是执行step的具体服务器。
pipline 语法-指定节点：
基于agent指令选择jenkins节点：
any：可以在任何可用的节点执行，有jenkins自动分配
pipeline {
agent any
}
none：表示pipline脚本没有定义在默认执行的jenkins节点，需要在后续的每一个stage中单独定义节点
pipeline {
agent any
stages {
stage('代码clone'){
agent any
steps{
sh 'echo 代码clone'
}
}
stage('代码部署'){
agent any
steps{
sh 'echo 代码部署'
}
}
stage('镜像更新'){
agent any
steps{
sh 'echo 镜像更新'
}
}
}
}
pipline 语法-指定节点：
基于agent指令选择jenkins节点：
label：通过标签指定在指定的节点执行从操作：
pipeline{
//agent any //全局必须带有agent,表明此pipeline执行节点
agent { label 'jenkins-node1' } //基于label指定具体执行的步骤节点，非必须
stages{
stage("代码clone"){
//#agent { label 'master' } //基于label指定具体执行的步骤节点，非必须
steps{
sh "cd /var/lib/jenkins/workspace/pipline-test1 && rm -rf ./*"
git branch: 'main', credentialsId: 'a3e9ab9f-1445-49af-b5b0-74b418181739', url: 'http://10.4.7.134/awen/app01.git'
echo "代码 clone完成"
}
}
stage("代码构建"){
//#agent { label 'master' } //基于label指定具体执行的步骤节点，非必须
steps{
sh "tar czvf frontend.tar.gz --exclude=.git --exclude=.gitignore --exclude=README.md ./"
}
}
}
}
pipline 语法-指定节点：
基于agent指令选择jenkins节点：
node：和 label 的功能类似都是用于指定节点，区别是node可以额外设置一些参数配置，比如设置customWorkspace(设置当前stage的自定
义工作目录)
pipline 语法-指定节点：
基于agent指令选择jenkins节点：
node：和 label 的功能类似都是用于指定节点，区别是node可以额外设置一些参数配置，比如设置customWorkspace(设置当前stage的自定
义工作目录)
pipeline {
agent none
stages {
stage('代码clone'){
agent {
node {
label 'jenkins-master'
customWorkspace "/data/gitdata/magedu"
}
}
steps {
sh "echo 代码clone"
}
}
stage('代码部署'){
agent {
node {
label 'jenkins-master'
customWorkspace "/data/gitdata/magedu"
}
}
steps {
sh "echo 代码部署"
}
}
}
}基于input实现交互式操作：
Input 指令可以在流水线中实现必要的交互式操作，比如选择要部署的环境、是否向后继续执行任务等。
input配置简介：
message：必选，在input界面的提示信息，比如：“是否继续？”等，内容可自定义。
id：可选，input 的标识符，默认为 stage 的名称。
ok：可选，确认按钮的显示信息，比如可以是“确定” 、 “允许”等 自定义内容，默认继续为Proceed 、取消为 Abort。
submitter：可选，允许提交 input 操作的用户或组的名称，如果为空，任何登录用户均可提交 input。
parameters：提供一个参数列表供 input 使用。
pipeline {
agent any
stages {
stage('交互测试') {
input {
message "是否继续部署?"
ok "继续部署"
submitter "admin"
}
steps {
echo "Hello jenkins!"
}
}
}
}
post指令：
post一般用于pipline流水线执行后的进一步处理，比如错误通知等，post可以针对流水线不同的执行结果做出不同的处理，比如执行
成功做什么处理、执行失败做什么处理等。
post条件简介：
Post 可以定义在 Pipeline 或 stage 中，目前支持以下条件：
always：无论Pipeline或stage的最后是执行成功还是失败,都执行post中定义的指令。
changed：只有当前Pipeline或stage的完成状态与它之前的运行不同时,比如从成功转换为失败、或从失败转换为成功,才执行post中定义的指令。
fixed：当本次Pipeline或stage成功,且上一次构建是失败或不稳定时,就执行post中定义的指令,从失败转换为成功。
regression：当本次Pipeline或stage的状态为失败、不稳定或终止,且上一次构建的状态为成功时,就执行post中定义的指令,从成功转换为失败。
failure：只有当前Pipeline或stage的完成状态为失败(failure),才允许在post部分运行该步骤,而且通常这时在Web界面中显示为红色。
success：当前执行状态为成功(success),执行post步骤,通常在Web界面中显示为蓝色或绿色。
unstable：当前状态为不稳定(unstable),执行post步骤,通常原因是由于测试失败或代码违规等造成,而且会在Web界面中显示为黄色。
aborted：当前状态为终止(aborted),执行该post步骤,通常由于流水线被手动终止触发,这时在在Web界面中显示为灰色。
unsuccessful：当前状态只要不是success时,执行该post步骤；
cleanup：无论pipeline或stage的完成状态如何,都允许运行该post中定义的指令,和always的区别在于cleanup会在post其它条件执行之后执行(最后执
行cleanup)
post发送邮件通知示例：
pipline-job-test9 演示在这执行异常后post阶段的操作，cleanup会晚于always执行，发送邮件需要提前配置好
jenkins的邮件通知配置：
pipeline {
agent any
stages {
stage('post测试-代码clone阶段') {
steps {
sh 'echo git clone'
sh 'cd /data/project' //此步骤会执行失败，用于验证构建失败的邮件通知
}
post {
cleanup {
script {
mail to: 'tshx1991@163.com',
subject: "Pipeline Name: ${currentBuild.fullDisplayName}",
body: " ${env.JOB_NAME} -Build Number-${env.BUILD_NUMBER} -cleanup 构建失败!\n 点击链接 ${env.BUILD_URL} 查看详情"
}
}
always {
script {
mail to: 'tshx1991@163.com',
subject: "Pipeline Name: ${currentBuild.fullDisplayName}",
body: " ${env.JOB_NAME} -Build Number-${env.BUILD_NUMBER} -always 构建失败!\n 点击链接 ${env.BUILD_URL} 查看详情"
}
}
aborted {
echo "post aborted"
}
success {
script {
mail to: 'tshx1991@163.com',
subject: "Pipeline Name: ${currentBuild.fullDisplayName}",
body: " ${env.JOB_NAME} -Build Number-${env.BUILD_NUMBER} - 构建成功!\n 点击链接 ${env.BUILD_URL} 查看详情"
}
}
failure {
script {
mail to: 'tshx1991@163.com',
subject: "Pipeline Name: ${currentBuild.fullDisplayName}",
body: " ${env.JOB_NAME} -Build Number-${env.BUILD_NUMBER} -failure 构建失败!\n 点击链接 ${env.BUILD_URL} 查看详情"
}
}
}
}
}
}
pipline环境变量：
基于environment传递环境变量：
pipeline {
agent any
environment { //全局的变量，在当前pipline所有的stage中都会生效
NAME='user1'
PASSWD='123456'
}
stages {
stage('环境变量stage1') {
environment { //定义在stage中的变量只会在当前stage生效，其他的stage不会生效
GIT_SERVER = 'http://10.4.7.134/awen/app01.git'
}
steps {
sh """
echo '$NAME'
echo '$PASSWD'
echo '$GIT_SERVER'
"""
}
}
stage('环境变量stage2') {
steps {
sh """
echo '${NAME}'
echo '$PASSWD'
"""
}
}
}
}
pipline参数简介：
基于parameters给step传递参数：
可以基于parameters自定义参数，参数用于在执行pipline流水线的时候传递给step进行使用，比如传递选项参数、gitlab的分支、
镜像仓库、镜像tag等信息。
parameters简介：
string： #字符串类型参数，可以传递账户名、密码等参数
text： #文本型参数，一般用于定义多行文本内容的变量。
booleanParam：#布尔型参数
choice：#选择型参数，一般用于给定几个可选的值，然后选择其中一个进行赋值使用
password： #密码型变量，一般用于定义敏感型变量，在 Jenkins 控制台会输出为*隐藏密码
pipeline {
agent any
parameters {
string(name: 'BRANCH', defaultValue: 'develop', description: '分支选择') //字符串参数，会配置在jenkins的参数化构建过程中
choice(name: 'DEPLOY_ENV', choices: ['develop', 'production'], description: '部署环境选择') //选项参数，会配置在jenkins的参数化构建过程中
}
stages {
stage('测试参数1') {
steps {
sh "echo $BRANCH"
}
}
stage('测试参数2') {
steps {
sh "echo $DEPLOY_ENV"
}
}
}
}jenkins配置会解析代码里的东西
options选项配置参数简介：
buildDiscarder(logRotator(numToKeepStr: '5')) //保留5个历史构建版本
timeout(time: 5, unit: 'MINUTES') //定义任务执行超时时间1小时，如果不加unit参数默认时间单位为分钟，支持NANOSECONDS，
MICROSECONDS，MILLISECONDS，SECONDS，MINUTES，HOURS，DAYS
timestamps() //在控制台显示命令执行的时间，格式为10:58:39
retry(2) //流水线构建失败后重试次数为2次
创建视图
/etc/sysctl.conf
vm.max_map_count = 524288
fs.file-max = 131072apt-cache madison postgresql
postgresql | 14+238 | https://mirrors.aliyun.com/ubuntu jammy/main amd64 Packages
apt install postgresql初始化
pg_createcluster --start 14 mycluster4
/etc/postgresql/14/mycluster/postgresql.conf
60 listen_addresses = '*'
65 max_connections = 4096
/etc/postgresql/14/mycluster/pg_hba.conf
97 host all all 0.0.0.0/0 scram-sha-256
systemctl restart postgresql
su - postgres
psql -U postgres
psql (14.5 (Ubuntu 14.5-0ubuntu0.22.04.1))
Type "help" for help.postgres=# CREATE DATABASE sonar;
CREATE DATABASE
postgres=# CREATE USER sonar WITH ENCRYPTED PASSWORD '123456';
CREATE ROLE
postgres=# GRANT ALL PRIVILEGES ON DATABASE sonar TO sonar;
GRANT
postgres=# ALTER DATABASE sonar OWNER TO sonar;
ALTER DATABASE
postgres=# \q
exit
logoutroot用户
vim /etc/postgresql/14/mycluster/postgresql.conf
listen_addresses = '*'
max_connections = 4096
vim /etc/postgresql/14/mycluster/pg_hba.conf
96 # IPv4 local connections:
97 host all all 0.0.0.0/0 scram-sha-256
cat /etc/security/limits.conf
sonarqube - nofie 131072
sonarqube - nnorce 8192/etc/sysctl.conf
vm.max_map_count = 262144
fs.file-max = 65535mkdir /apps && cd /apps/
useradd -r -m -s /bin/bash sonarqube && chown sonarqube.sonarqube /apps/ -R && su - sonarqube
unzip sonarqube-9.7.1.62043.zip
ln -sv /apps/sonarqube-9.7.1.62043 /apps/sonarqube
/conf/sonar.properties
sonar.jdbc.username=sonar
sonar.jdbc.password=123456sonar.jdbc.url=jdbc:postgresql://10.4.7.137/sonar
启动sonar
/apps/sonarqube/bin/linux-x86-64$ ./sonar.sh start
/usr/lib/jvm/jdk-11/bin/java
Starting SonarQube...
Started SonarQube.
安装插件
root@jenkins:~# cat /etc/systemd/system/sonarqube.service
[Unit]
Description=SonarQube service
After=syslog.target network.target
[Service]
Type=simple
User=sonarqube
Group=sonarqube
PermissionsStartOnly=true
ExecStart=/bin/nohup /usr/lib/jvm/jdk-11/bin/java -Xms512m -Xmx512m -Djava.net.preferIPv4Stack=true -jar /apps/sonarqube/lib/sonar-application-8.9.10.61524.jar
StandardOutput=syslog
LimitNOFILE=131072
LimitNPROC=8192
TimeoutStartSec=5
Restart=always
SuccessExitStatus=143
[Install]
WantedBy=multi-user.targetsystemctl daemon-reload
systemctl start sonarqube.service部署sonar-scanner
root@jenkins:/usr/local/src# unzip sonar-scanner-cli-4.7.0.2747.zip
root@jenkins:/apps# ln -sv sonar-scanner-4.7.0.2747/ sonar-scanner当前目录下执行
root@jenkins:/opt/python-test# /apps/sonar-scanner/bin/sonar-scanner查看扫描结果
命令实现代码扫描
root@jenkins:/opt/python-test# /apps/sonar-scanner/bin/sonar-scanner -Dsonar.projectKey=ha -Dsonar.projectName=ha-python-app1 -Dsonar.projectVersion=1.0 -Dsonar.sources=./src -Dsonar.language=py -Dsonar.sourceEncoding=UTF-8
pipeline {
agent { label 'jenkins-node1' }
parameters {
string(name: 'BRANCH', defaultValue: 'develop', description: '分支选择') //字符串参数，会配置在jenkins的参数化构建过程中
choice(name: 'DEPLOY_ENV', choices: ['develop', 'production'], description: '部署环境选择') //选项参数，会配置在jenkins的参数化构建过程中
}
stages {
stage('变量测试1') {
steps {
sh "echo $env.WORKSPACE" //JOB的工作目录,可用于后期目录切换
sh "echo $env.JOB_URL" //JOB的URL
sh "echo $env.NODE_NAME" //节点名称，master 名称显示built-in
sh "echo $env.NODE_LABELS" //节点标签
sh "echo $env.JENKINS_URL" //jenkins的URL地址
sh "echo $env.JENKINS_HOME" //jenkins的家目录路径
}
}
stage("code clone"){
//#agent { label 'master' } //具体执行的步骤节点，非必须
steps {
deleteDir() //删除workDir当前目录
script {
if ( env.BRANCH == 'main' ) {
git branch: 'main', credentialsId: 'a3e9ab9f-1445-49af-b5b0-74b418181739', url: 'http://10.4.7.134/awen/app02.git''
} else if ( env.BRANCH == 'develop' ) {
git branch: 'develop', credentialsId: 'a3e9ab9f-1445-49af-b5b0-74b418181739', url: 'http://10.4.7.134/awen/app02.git''
} else {
echo '您传递的分支参数BRANCH ERROR，请检查分支参数是否正确'
}
GIT_COMMIT_TAG = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim() //获取clone完成的分支tagId,用于做镜像做tag
}
}
}
stage('python源代码质量扫描') {
steps {
sh "cd $env.WORKSPACE && /apps/sonar-scanner/bin/sonar-scanner -Dsonar.projectKey=magedu -Dsonar.projectName=magedu-python-app1 -Dsonar.projectVersion=1.0 -Dsonar.sources=./src -Dsonar.language=py -Dsonar.sourceEncoding=UTF-8"
}
}
}
}
