如何驱动持续交付与DevOps转型与落地?如何真正打破部门墙?如何实现端到端的服务交付?答案都是:用Jenkins!

相信大部分IT业者都应该听说过或者使用过Jenkins,研发工程师使用 Jenkins 执行编译打包,测试工程师使用 Jenkins 执行自动化测试,运维工程师使用Jenkins执行批量操作和自动化部署,Jenkins可谓是居家必备的神器。

Jenkins的前身Hudson诞生于2004年,由一名Sun公司的年轻工程师 Kohsuke Kawaguchi(KK)研发,一开始主要用于满足工程师本人的自动化需求,后来不断有开源爱好者贡献代码。2010年Oracle收购Sun后不久,Hudson和Sun公司其他著名开源软件Java、MySQL等一样面临抉择。2011年初,社区投票决定基于Hudson创建新开源项目——Jenkins。 在社区努力下,Jenkins发展远超Hudson, 逐渐成为最流行的开源工具之一,可以说是开源赋予了Jenkins全新的生命力。

Jenkins从解决工程师的切身需求出发,跟随社区一起成长,逐步从自动化工具升级为持续集成引擎、持续交付核心工具、DevOps核心工具。KK目前对Jenkins的定位是:Jenkins is the Hub of CD/DevOps Ecosystem,即Jenkins是持续交付/DevOps生态的核心。

企业级 Jenkins 数据备份大法_java

Jenkins Core 提供了一个平台,借助Jenkins开源社区的力量,以插件的方式实现了一个持续交付与DevOps的生态系统。尤其是2.0后,Jenkins提供了对Pipeline的原生支持,而Pipeline又是持续交付的核心实践。Pipeline可帮助团队打通从代码提交到发布上线的端到端的交付过程,整合多角色(研发、测试、运维、安全等)职能、实践与工具集合,再配合BlueOcean的Pipeline可视化查看和编辑功能,能够让持续交付流水线设计变得更加容易实现。结合Jenkinsfile的使用,将流水线的编排以文件的方式采用版本控制系统管理起来,能够轻松实现Pipeline as Code。 

  • 第十八计  Jenkins文件数据备份和恢复验证要常做,备份Archive要谨慎

Jenkins 应用是基于文件系统的,所有的配置和数据都存储在文件系统上。因此Jenkins Home目录的数据备份和恢复方案是Jenkins运维保障必须要有的。

首先,要理解Jenkins Home 下文件结构的含义,这样才能有效甄别出需要备份的有效数据。

 

其次,要选择适合的备份方案,可以使用一种或者多种结合的方式,确保有效数据得到备份。常用的备份方案主要有三种:

  1. 基于Jenkins Backup 插件进行备份:这种方案使用插件提供的备份功能,对Jenkins Home下特定数据可以归档备份,而且还提供恢复功能。所有操作可以通过Jenkins 管理界面完成,归档数据保存在Jenkins Master服务器上,插件名称为Backup Plugin。

  2. 基于Rsync工具将 Jenkins 数据同步到远程服务器进行备份:为了避免Jenkins Master单点故障,可以将数据备份到远程备份机器。可以使用rsync工具将Jenkins Home同步到远程服务器,利用rsync工具的 “--exclude-from=FILE”功能定制一个exclude文件,过滤掉无须备份的数据,比如一般而言,build目录下的内容不建议备份。

  3. 基于版本控制系统的增量备份方案:这种方法基于的是版本控制系统的备份方法,通过版本控制系统将需要备份的文件增量备份到版本仓库中。在使用Git工具时,还可以通过.gitignore文件过滤掉无须备份的文件。

把Jenkins配置文件备份到版本控制仓库,有两大好处:

  • 增量备份,能够避免归档备份等冗余备份对CPU、Disk的浪费

  • 理论上可以恢复到所有历史版本,具体取决于备份频率。    

使用Gitlab作为备份仓库的基本步骤如下:

  1. 创建Gitlab repo,将它用作Jenkins Home远程备份repo。

  2. 设置Gitlab repo权限,确保Jenkins 账户具有push权限。

  3. 将Jenkins Home 初始化为本地repo。

  4. 添加 .gitignore 文件。

  5. 将Jenkins Home 本地仓库内容push到远程repo中,创建Master分支。

  6. 创建Jenkins Job或者Crontab ,实现定时周期性备份。

采用Git工具时的备份脚本示例如下图所示。

企业级 Jenkins 数据备份大法_java_02