jenkins pipeline运行python脚本 jenkins pipeline script

转载

mob64ca140a59b0 2023-10-29 21:16:12

文章标签 Jenkins 环境变量字符串 文章分类 Python 后端开发

一、Jenkins Pipeline

Pipeline，是一套运行于Jenkins上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排与可视化。

Stage：阶段，一个Pipeline可以划分成若干个Stage，每个Stage代表一组操作，例如：“Build”，“Test”，“Deploy”。

【注意】Stage是一个逻辑分组的概念，可以跨多个Node

Node：节点，一个Node就是一个Jenkins节点，或者是Master，或者是Agent，是执行Step的具体运行环境。

Step：步骤，Step是最基本的操作单元，小到创建一个目录，大到构建一个Docker镜像，由各类Jenklins Plugin提供，例如：sh ‘make’

Pipeline五大特性

代码:Pipeline以代码的形式实现，通常被检入源代码控制，使团队能够编辑、审查和迭代其CD流程。
可持续性：Jenklins重启或者中断后都不会影响Pipeline Job。
停顿：Pipeline可以选择停止并等待任工输入或批准，然后再继续Pipeline运行。
多功能：Pipeline支持现实世界的复杂CD要求，包括fork/join子进程，循环和并行执行工作的能力
可扩展：Pipeline插件支持其DSL的自定义扩展以及与其他插件集成的多个选项。

声明式Pipeline的基本语法和表达式遵循与Groovy语法相同的规则，但有以下例外：

1、声明式pipeline必须包含在固定格式pipeline{}快内
2、每个声明语句必须独立一行，行尾无需使用分号
3、块（blocks{}）只能包含章节（Sections），指令（Directives），步骤（Steps）或赋值语句
4、属性引用语句被视为无参数方法调用。例：输入被视为 input()

块（blocks{}）
由大括号括起来的语句，如pipeline{},Section{},parameters{},script{}
章节（Sections）
通常包含一个或多个指令或步骤。如 agent 、post、stages、steps
指令（Directives）
environment、options、parameters、triggers（触发）、stage、tools、when
步骤（Steps）
Pipeline steps reference
执行脚本式pipeline：使用script{}

指令agent
必须存在，agent必须在pipeline块内的顶层定义，但stage内是否使用使可选的

指令stages 必须，包括顺序执行的一个或多个stage命令，在pipeline内仅能使用一次，通常位于agent/options后面，例子如上

指令steps 必须，steps位于stage指令块内部，包括一个或多个step。仅有一个step的情况下可以忽略关键字step及其{},例子如上

指令environment 不是必须的，该environment指令指定一系列键值对，这些对值将被定义为所有步骤的环境变量或阶段特定步骤，具体取决于environment指令位于Pipeline中的位置。

解释一下什么意思，environment{…}, 大括号里面写一些键值对，也就是定义一些变量并赋值，这些变量就是环境变量。环境变量的作用范围，取决你environment{…}所写的位置，你可以写在顶层环境变量，让所有的stage下的step共享这些变量，也可以单独定义在某一个stage下，只能供这个stage去调用变量，其他的stage不能共享这些变量。一般来说，我们基本上上定义全局环境变量，如果是局部环境变量，我们直接用def关键字声明就可以，没必要放environment{…}里面。

environment {CC='clang'}
environment {AN_ACCESS_KEY = credentials('my-prefined-secret-text')}
steps {sh 'printenv'}

指令options ，该options指令允许在Pipeline本身内配置Pipeline专用选项，不是必须的预定义pipeline专有的配置信息，仅可定义一次

pipeline {
    agent any
    options{
    timeout(time:1,unit: 'HOURS')
    }
    ...
}

指令parameters ，改parameters是参数的意思，不是必须的定义参数化构建的参数，可选参数如下：

booleanParam布尔值参数

就是定义一个布尔类型参数，用户可以在Jenkins UI上选择是还是否，选择是表示代码会执行这部分，如果选择否，会跳过这部分。一般需要使用布尔值的场景有，执行一些特定集成的脚本或则工作，或者事后清除环境，例如清楚Jenkins的workspace这样的动作。

Pipeline {
    agent any
    parameters {
        booleanParam(name: 'DEBUG_BUILD', defaultValue: true, description: '')
    }
}

choice选择参数

#选择（choice）参数就是支持用户从多个选择项中，选择一个值用来表示这个变量的值。工作中常用的场景，有选择服务器类型，选择版本号等。

Pipeline {
    agent any
    parameters {
        choice(name: 'ENV_TYPE', choices: ['test', 'dev', 'product'], description: 'test means test env,….')
 
    }
}

file文件参数

文件（file）参数就是在Jenkins 参数化构建UI上提供一个文件路径的输入框，Jenkins会自动去你提供的网络路径去查找并下载。一般伴随着还有你需要在Pipleline代码中写解析文件。也有这样场景，这个构建job就是把一个war包部署到服务器上特定位置，你可以使用这个文件参数。

Pipeline {
    agent any
    parameters {
        name: 'FILE', description: 'Some file to upload')
    }
 
}

text文本参数

文本（text）的参数就是支持写很多行的字符串：

Pipeline {
    agent any
    parameters {
        text(name: 'Welcome_text', defaultValue: 'One\nTwo\nThree\n', description: '')
    }
 
}

password密码参数

密码（password）参数就是在Jenkins 参数化构建UI提供一个暗文密码输入框，例如，我需要在一些linux机器上做自动化操作，需要提供机器的用户名和密码，由于密码涉及安全问题，一般都采用暗文显示，这个时候你就不能用string类型参数，就需要使用password参数类型。

Pipeline {
    agent any
    parameters {
        password(name: 'PASSWORD', defaultValue: 'SECRET', description: 'A secret password')
 
    }
}

string字符串参数

就是定义一个字符串参数，用户可以在Jenkins UI上输入字符串，常见使用这个参数的场景有，用户名，收件人邮箱，文件网络路径，主机名称的或者url等

Pipeline {
    agent any   
    parameters {
        string(name: 'DEPLOY_ENV', defaultValue: 'staging', description: '')
    }
}

tool字符串参数

定义自动安装和放置工具的部分PATH。如果agent none指定，这将被忽略。特点：只支持定义maven jdk gradle三种工具的环境变量。代码举例：

pipeline {
    agent any
    tools {
        // Install the Maven version configured as "M3" and add it to the path.
        maven "M3"
    }

多参数情况

paramenters {
    choice(name:'PerformMavenRelease',choices:'False\nTrue',description:'desc')
　　 choice(name:'ENV_TYPE',choices:['test', 'dev', 'product'],description:'test means test env,…')
　　 password(name:'CredsToUse',description:'Apassword to build with',defaultValue:'')
　　 string(name: 'DEPLOY_ENV', defaultValue: 'staging', description: '')
}
environment {
    BUILD_USR_CHOICE="${params.PerformMavenRelease}"
    BUILD_USR_CREDS="${params.CredsToUse}"
}

二、快速创建一个pipeline
　　1.新建 Item ，点击红框中的"新建Item"：

jenkins pipeline运行python脚本 jenkins pipeline script_环境变量

　　2.新建 pipeline，输入任务名称，点击红框中的"新建流水线"，点击确定：

jenkins pipeline运行python脚本 jenkins pipeline script_Jenkins_02

　　3.接下来会弹出详细设置的表单，如下图，选择"流水线"的Tab页，在页面上直接输入一段pipeline内容，再点击左下角的"保存"按钮：

jenkins pipeline运行python脚本 jenkins pipeline script_Jenkins_03

pipeline script参考：

pipeline{
    agent any
    stages {
        stage('Build') {
            steps{
                echo 'This is a build step' 
            }
        }
        stage('Test') {
            steps{
                echo 'This is a test step'  
            }
        }
        stage('Deploy') {
            steps{
                echo 'This is a deploy step'    
            }
        }
    }
}

　　4.点击下图红框中的"立即构建"，即可执行刚才输入的pipeline脚本：

jenkins pipeline运行python脚本 jenkins pipeline script_字符串_04

　　5.任务执行完毕后如下图所示，点击红框中的图标，即可查看本次任务执行过程中的控制台输出：

jenkins pipeline运行python脚本 jenkins pipeline script_Jenkins_05

jenkins pipeline运行python脚本 jenkins pipeline script_字符串_06

常用的辅助工具

· Snipper Generator（代码片段生成器，语法检查器）
· Replay Pipeline（重放pipeline，可以修改script，修改后的不存入config.xml）
· DSL Reference 语法参考手册
· 全局变量引用
· Stage View
· BlueOcean(可视化)
· Pipeline神器：可视化编辑器
· 命令行Pipeline调试工具

三、变量的传递

自定义变量（局部）

def username = 'Jenkins'
echo "Hello Mr.${username}"
#注意一定要用双引号，单引号识别为字符串

　 2.环境变量（局部）

withEnv(['MYTOOL_HOME=/usr/local/mytool']){
    sh '$MYTOOL_HOME/bin/start'
}

　　3.环境变量（全局）

environment {CC='clang'}
echo "Compiler is ${env.CC}"

　　4.参数化构建（全局）

parameters {string(name:'Jenkins',defaultValue:'Hello',description:'How should I greet the world')}
ehco "${params.Greeting} World!"

判断

when仅用于stage内部
when的内置条件为：

- when {branch 'master'}
 - when {environment name:'DEPLOY_TO',value:'production'}
#当有环境变量 name 为 DEPLOY_TO 值是 production 条件成立
 - when {expression {return params.DEBUG_BUILD}}
#表达式返回值为真时
 - when {not {branch 'master'}}
 - when {allOf {branch 'master'; environment name:'DEBUG_TO',value:'production'}}
#allOf 所有条件都满足时
 - when {anyOf {branch 'master' ; branch 'staging'}}
#anyOf有一个条件满足时即可

判断和异常处理
流程控制if/else条件

node {
    stage('Example'){
        if(env.BRANCH_NAME == 'master'){
            echo 'I only execute on the master branch'
        }else {
            echo 'Iexecute elsewhere'
        }
    }
}

循环
for循环仅存在域脚本式pipeline中，但是可以通过在声明式pipeline中调用script step来执行

pipeline {
    agent any
    stages {
        stage('Example'){
            steps{
                echo 'Hello world!'
                script {
                    def browsers = ['chrome','firefox']
                    for (int i = 0;i < browers.size();++i){
                        echo "Testing the ${browsers[i]} browser"
                    }
                }
            }
        }
    }
}

实操举例：

pipeline {
    agent any

　　tools  {定义maven工具和变量}

environment {定义Git地址，服务器IP，服务器目录}

parameters  {定义参数默认值，名称，定义trim函数移除字符串两侧的空白字符或其他预定义字符}

stages {
        stage('checkout')检出步骤

stage('build')编译步骤

stage('deploy')部署步骤
    }

pipeline {
    agent any

    tools {
        // Install the Maven version configured as "M3" and add it to the path.
        maven "M3"
    }
    environment {
        __GIT_URL = "http://10.191.X.XXX:3000/Developments/DIOT.git"
        // __APP_NAME = "bigdata-pv"
        __REMOTE_IP = "10.191.X.XXX"
        __REMOTE_DIR = "/opt/backend/"
    }

    parameters {
        string defaultValue: 'master', description: '', name: 'BRANCH_TAG', trim: true
    }
    

    stages {
        stage('checkout') {
            
            steps {
                
                // Get some code from a GitHub repository
                checkout([$class: 'GitSCM', branches: [[name: '${BRANCH_TAG}']],
                    userRemoteConfigs: 
                            [[
                                credentialsId: '9c848141-f748-4491-b547-6379452a37ad', 
                                url: "${__GIT_URL}"
                            ]]]
                        )
            }
            
        }
        stage('build') {
            
            steps {
                sh "cd ui-ngx/"
                sh "mvn clean package -DskipTests"
                sh "cd .."
                sh "mvn clean package -DskipTests"
                
            }
        }
        stage('deploy') {
            steps {
                // sh "scp ${WORKSPACE}/application/target/*.rpm root@${__REMOTE_IP}:${__REMOTE_DIR}"
                // sh "ssh root@${__REMOTE_IP} -t 'systemctl stop thinsboard && sleep 3 && sudo rpm -Uvh thingsboard.rpm --nodeps --force && sleep3 && systemctl start thinsboard; bash'"
                sh "scp ${WORKSPACE}/application/target/*-boot.jar root@${__REMOTE_IP}:${__REMOTE_DIR}"
                sh "ssh root@${__REMOTE_IP} -t 'cd ${__REMOTE_DIR} && sleep 3 && ./start.sh; bash'"
                
            }
        }
        stage('Test') {
            steps {
                echo 'test....'
            }
        }
        // stage('归档') {
        //     steps {
        //         archiveArtifacts artifacts: 'target/*.jar'
        //     }
        // }
    }
}

————————————————

参考链接：

Jenkins高级篇之Pipeline语法篇-6-Declarative Pipeline指令：environment/options/parameters_Anthony_tester的博客

总结相当于二次学习和提炼，强化记忆，希望自己坚持下去

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。