配置文件差异化,即测试环境和生产环境的配置文件不一样,如IP不一样或主机名不一样或数据库连接不一样等等
代码仓库和实际的差异,即配置文件是否放在代码仓库中,如果保存在git则所有人都可以从配置文件看到数据库用户密码等信息,可以使用单独分支保存配置文件,或配置文件只在部署服务器的某个项目的目录,比如是config.example
如何更新代码,java tomcat需要重启
测试部署后的web页面是否可以正常访问是否是想要的页面
并行(saltstack)或并行(shell)的问题,涉及到分组部署重启服务
如何执行,shell执行还是web执行

1.5:总体规划如下:

获取代码(git pull拉取) --> 是否编译(java需要编译) --> 配置文件(统一和差异) --> 打包 --> scp到目标服务器(或者用saltstack) --> 将服务器移除集群 --> 解压代码包 --> 放置到目标目录(如webroot) --> scp差异文件 --> 重启服务(可选) --> 测试服务(访问web或者post请求) --> 将节点重新加入集群

java自动配置环境 脚本_自动化

二:实现代码自动化部署

2.1:通过shell脚本实现,shell脚本规划如下:

2.1.1:各web服务器添加一个uid相同的普通用户,而且所有的web服务都以此普通用户启动,默认情况下所有的wenb服务除了负载均衡之外都不能监听80端口,比如可以监听8008端口

2.1.2:部署服务器的用户登录其他服务器免密码登录,因此需要做秘钥认证,在各主机执行以下命令:

useradd www -u 1010

su – www

$ ssh-keygen
#将部署机www用户的公钥复制到各web服务器的 /home/www/.ssh/authorized_keys或执行ssh-copy-id www@192.168.3.13

$ chmod 600 /home/www/.ssh/authorized_keys

2.1.3:测试部署服务器是否可以免秘钥用www用户登录各个web服务器

java自动配置环境 脚本_配置文件_02

2.2:编写shell脚本:
2.2.1:完成框架编写:

#!/bin/bash
#shell env
 SHELL_NAME=“deploy.sh”
 SHELL_DIR=“/home/www/” # 脚本路径
 SHELL_LOG=“{SHELL_NAME}.log” # 脚本执行日志

code env 代码变量

CODE_DIR=“/deploy/code/deploy” # 代码目录
 CONFIG_DIR=“/deploy/config” # 配置文件目录
 TMP_DIR=“/deploy/tmp” # 临时目录
 TAR_DIR=“/deploy/tar” # 打包目录
 LOCK_FILE=“/tmp/deploy.lock” # 锁文件标示

使用帮助函数

usage(){
 echo $“Usage: $0 [ deploy | rollback ]”
 }shell_lock(){
 touch ${LOCK_FILE}
 }shell_unlock(){
 rm -f ${LOCK_FILE}
 }code_get(){
 echo “code_get”
 sleep 60
 }code_build(){
 echo “code_build”
 }code_config(){
 echo “code_config”
 }code_tar(){
 echo “code_tar”
 }code_scp(){
 echo “code_scp”
 }cluster_node_remove(){
 echo “cluster_node_remove”
 }code_deploy(){
 echo “code_deploy”
 }config_diff(){
 echo “config_diff”
 }code_test(){
 echo “code_test”
 }cluster_node_in(){
 echo “cluste_node_in”
 }rollback(){
 echo “rollback”
 }

主函数

main(){
 if [ -f $LOCK_FILE ];then # 先判断锁文件在不在
 echo “Deploy is running” && exit 10; # 如果有锁文件直接退出
 fi
 DEPLOY_METHOD=$1 # 避免出错误将脚本的第一个参数作为变量
 case $DEPLOY_METHOD in
 deploy) # 如果第一个参数是deploy就执行以下操作
 shell_lock; # 执行部署之前创建锁,如果同时有其他人执行则提示锁文件存在避免冲突
 code_get;
 code_build;
 code_config;
 code_tar;
 code_scp;
 cluster_node_remove;
 code_deploy;
 config_diff;
 code_test;
 cluster_node_in;
 shell_unlock;
 ;;
 rollback) # 如果第一个参数是rollback就执行以下操作
 shell_lock; # 回滚之前也是先创建锁文件
 rollback; # 执行完成删除锁文件
 shell_unlock;
 ;;
 *) # 其他输入执行以下操作
 usage;
 esac
 }

执行主函数并把第一个变量当参数

main $1

2.2.2:完成脚本:实现代码部署、测试、回滚等操作:

代码回滚设计:
正常回滚是回滚已经在web服务器部署过的版本,因此就不需要获取代码打包和部署的过程了

列出回滚版本
将模板服务器移除集群
执行回滚
重启和测试
将模板服务器加入集群

#!/bin/bash
#Dir List 部署节点(即部署节点需要做的操作)
mkdir -p /deploy/code/web-demo
mkdir -p /deploy/config/web-demo/base
mkdir -p /deploy/config/web-demo/other
mkdir /deploy/tmp
mkdir /deploy/tar
chown -R www.www /deploy
chown -R www.www /webroot
chown -R www.www /opt/webroot/
chown -R www.www /webroot
需要在客户端节点做的操作
mkdir /opt/webroot
mkdir /webroot
chown -R www.www /webroot
chown -R www.www /opt/webroot/
chown -R www.www /webroot
[www@ ~]$ touch /webroot/web-dem
Node List 服务器节点
PRE_LIST=“192.168.3.12” # 预生产节点
 GROUP1_LIST=“192.168.3.12 192.168.3.13”
 GROUP2_LIST=“192.168.3.13”
 ROLLBACK_LIST=“192.168.3.12 192.168.3.13”

日志日期和时间变量

LOG_DATE=‘date “+%Y-%m-%d”’ # 如果执行的话后面执行的时间,此时间是不固定的,这是记录日志使用的时间
 LOG_TIME=‘date “+%H-%M-%S”’

代码打包时间变量

CDATE=(date +“%H-%M-%S”)

shell env 脚本位置等变量

SHELL_NAME=“deploy.sh” # 脚本名称
 SHELL_DIR=“/home/www/” # 脚本路径
 SHELL_LOG=“{SHELL_NAME}.log” # 脚本执行日志文件路径

code env 代码变量

PRO_NAME=“web-demo” # 项目名称的函数
 CODE_DIR=“/deploy/code/web-demo” # 从版本管理系统更新的代码目录
 CONFIG_DIR=“/deploy/config/web-demo” # 保存不同项目的配置文件,一个目录里面就是一个项目的一个配置文件或多个配置文件
 TMP_DIR=“/deploy/tmp” # 临时目录
 TAR_DIR=“/deploy/tar” # 打包目录
 LOCK_FILE=“/tmp/deploy.lock” # 锁文件路径usage(){ # 使用帮助函数
 echo $“Usage: $0 [ deploy | rollback [ list | version ]”
 }writelog(){ # 写入日志的函数
 LOGINFO=KaTeX parse error: Expected 'EOF', got '#' at position 3: 1 #̲ 将参数作为日志输入 echo…{CDATE} ${CTIME} : ${SEHLL_NAME} : ${LOGINFO}" >> ${SHELL_LOG}
 }

锁函数

shell_lock(){
 touch ${LOCK_FILE}
 }

解锁函数

shell_unlock(){
 rm -f ${LOCK_FILE}
 }

获取代码的函数

code_get(){
 echo “code_get”
 writelog code_get
 cd $CODE_DIR && echo “git pull” # 进入到代码目录更新代码,此处必须免密码更新,此目录仅用于代码更新不能放其他任何文件
 cp -rf ${CODE_DIR} ${TMP_DIR}/ # 临时保存代码并重命名,包名为时间+版本号,准备复制到web服务器
 API_VER=“123” # 版本号
 }code_build(){ # 代码编译函数
 echo code_build
 }code_config(){ # 配置文件函数
 writelog code_config
 /bin/cp -rf ${CONFIG_DIR}/base/* {PRO_NAME}" # 将配置文件放在本机保存配置文件的临时目录,用于暂时保存代码项目
 PKG_NAME=“API_VER”_“{CTIME}” # 定义代码目录名称
 cd ${TMP_DIR} && mv ${PRO_NAME} ${PKG_NAME} # 重命名代码文件为web-demo_123-20170629-11-19-10格式}
code_tar(){ # 对代码打包函数
 writelog code_tar
 cd ${TMP_DIR} && tar czf ${PKG_NAME}.tar.gz {PKG_NAME}.tar.gz"
 }code_scp(){ # 代码压缩包scp到客户端的函数
 writelog “code_scp”
 for node in $PRE_LIST;do # 循环服务器节点列表
 scp {PKG_NAME}.tar.gz $node:/opt/webroot/ # 将压缩后的代码包复制到web服务器的/opt/webroot
 donefor node in $GROUP1_LIST;do # 循环服务器节点列表
 scp {PKG_NAME}.tar.gz $node:/opt/webroot/ # 将压缩后的代码包复制到web服务器的/opt/webroot
 done
 }url_test(){
 URL=$1
 curl -s --head $URL |grep ‘200 OK’
 if [ $? -ne 0 ];then
 shell_unlock;
 writelog “test error” && exit;
 fi
 }cluster_node_add(){ #将web服务器添加至前端负载
 echo cluster_node_add
 }cluster_node_remove(){ # 将web服务器从集群移除函数(正在部署的时候应该不处理业务)
 writelog “cluster_node_remove”
 }pre_deploy(){
 writelog “pre_deploy”
 for node in ${PRE_LIST};do # 循环预生产服务器节点列表
 cluster_node_remove ${node} # 部署之前将节点从前端负载删除
 echo “pre_deploy, cluster_node_remove ${node}”
 ssh ${node} “cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz” #分别到web服务器执行压缩包解压命令
 ssh KaTeX parse error: Expected 'EOF', got '&' at position 33: …broot/web-demo &̲& ln -s /opt/we…{PKG_NAME} /webroot/web-demo" # 整个自动化的核心,创建软连接
 done
 }pre_test(){ # 预生产主机测试函数
 for node in KaTeX parse error: Expected 'EOF', got '#' at position 16: {PRE\_LIST};do #̲ 循环预生产主机列表 curl…{node}:9999/index.html | grep “200 OK” # 测试web界面访问
 if [ $? -eq 0 ];then # 如果访问成功
 writelog " ${node} Web Test OK!" # 记录日志
 echo " ${node} Web Test OK!"
 cluster_node_add KaTeX parse error: Expected 'EOF', got '#' at position 8: {node} #̲ 测试成功之后调用添加函数把服…{node} add to cluster OK!" # 记录添加服务器到集群的日志
 else # 如果访问失败
 writelog “KaTeX parse error: Expected 'EOF', got '#' at position 20: …e} test no OK" #̲ 记录日志 echo "{node} test not OK”
 shell_unlock # 调用删除锁文件函数
 break # 结束部署
 fi
 done}
group1_deploy(){ # 代码解压部署函数
 writelog “group1_code_deploy”
 for node in ${GROUP1_LIST};do # 循环生产服务器节点列表
 cluster_node_remove $node
 echo “group1, cluster_node_remove $node”
 ssh ${node} “cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz” # 分别到各web服务器节点执行压缩包解压命令
 ssh KaTeX parse error: Expected 'EOF', got '&' at position 33: …broot/web-demo &̲& ln -s /opt/we…{PKG_NAME} /webroot/web-demo" # 整个自动化的核心,创建软连接
 done
 scp ${CONFIG_DIR}/other/192.168.3.13.server.xml 192.168.3.13:/webroot/web-demo/server.xml # 将差异项目的配置文件scp到此web服务器并以项目结尾
 }group1_test(){ # 生产主机测试函数
 for node in KaTeX parse error: Expected 'EOF', got '#' at position 16: {PRE\_LIST};do #̲ 循环生产主机列表 curl …{node}:9999/index.html | grep “200 OK” #测试web界面访问
 if [ $? -eq 0 ];then #如果访问成功
 writelog " KaTeX parse error: Expected 'EOF', got '#' at position 22: … Web Test OK!" #̲记录日志 echo "grou…{node} Web Test OK!"
 cluster_node_add
 writelog " KaTeX parse error: Expected 'EOF', got '#' at position 28: …o cluster OK!" #̲记录将服务器 添加至集群的日志…{node} test no OK" #记录日志
 echo “${node} test no OK”
 shell_unlock # 调用删除锁文件函数
 break # 结束部署
 fi
 done
 }rollback_fun(){
 for node in $ROLLBACK_LIST;do # 循环服务器节点列表

注意一定要加"号,否则无法在远程执行命令

ssh $node “rm -f /webroot/web-demo && ln -s /opt/webroot/$1 /webroot/web-demo” # 立即回滚到指定的版本,{node} rollback success!"
 done
 }rollback(){ # 代码回滚主函数
 if [ -z $1 ];then
 shell_unlock # 删除锁文件
 echo “Please input rollback version” && exit 3;
 fi
 case $1 in # 把第二个参数做当自己的第一个参数
 list)
 ls -l /opt/webroot/*.tar.gz
 ;;
 *)
 rollback_fun $1
 esac}
main(){
 if [ -f $LOCK_FILE ] ;then # 先判断锁文件在不在,如果有锁文件直接退出
 echo “Deploy is running” && exit 10
 fi
 DEPLOY_METHOD=$1 # 避免出错误将脚本的第一个参数作为变量
 ROLLBACK_VER=$2
 case $DEPLOY_METHOD in
 deploy) # 如果第一个参数是deploy就执行以下操作
 shell_lock; # 执行部署之前创建锁。如果同时有其他人执行则提示锁文件存在
 code_get; # 获取代码
 code_build; # 如果要编译执行编译函数
 code_config; # cp配置文件