配置文件差异化,即测试环境和生产环境的配置文件不一样,如IP不一样或主机名不一样或数据库连接不一样等等
代码仓库和实际的差异,即配置文件是否放在代码仓库中,如果保存在git则所有人都可以从配置文件看到数据库用户密码等信息,可以使用单独分支保存配置文件,或配置文件只在部署服务器的某个项目的目录,比如是config.example
如何更新代码,java tomcat需要重启
测试部署后的web页面是否可以正常访问是否是想要的页面
并行(saltstack)或并行(shell)的问题,涉及到分组部署重启服务
如何执行,shell执行还是web执行
1.5:总体规划如下:
获取代码(git pull拉取) --> 是否编译(java需要编译) --> 配置文件(统一和差异) --> 打包 --> scp到目标服务器(或者用saltstack) --> 将服务器移除集群 --> 解压代码包 --> 放置到目标目录(如webroot) --> scp差异文件 --> 重启服务(可选) --> 测试服务(访问web或者post请求) --> 将节点重新加入集群
二:实现代码自动化部署
2.1:通过shell脚本实现,shell脚本规划如下:
2.1.1:各web服务器添加一个uid相同的普通用户,而且所有的web服务都以此普通用户启动,默认情况下所有的wenb服务除了负载均衡之外都不能监听80端口,比如可以监听8008端口
2.1.2:部署服务器的用户登录其他服务器免密码登录,因此需要做秘钥认证,在各主机执行以下命令:
useradd www -u 1010
su – www
$ ssh-keygen
#将部署机www用户的公钥复制到各web服务器的 /home/www/.ssh/authorized_keys或执行ssh-copy-id www@192.168.3.13
$ chmod 600 /home/www/.ssh/authorized_keys
2.1.3:测试部署服务器是否可以免秘钥用www用户登录各个web服务器
2.2:编写shell脚本:
2.2.1:完成框架编写:
#!/bin/bash
#shell env
SHELL_NAME=“deploy.sh”
SHELL_DIR=“/home/www/” # 脚本路径
SHELL_LOG=“{SHELL_NAME}.log” # 脚本执行日志
code env 代码变量
CODE_DIR=“/deploy/code/deploy” # 代码目录
CONFIG_DIR=“/deploy/config” # 配置文件目录
TMP_DIR=“/deploy/tmp” # 临时目录
TAR_DIR=“/deploy/tar” # 打包目录
LOCK_FILE=“/tmp/deploy.lock” # 锁文件标示
使用帮助函数
usage(){
echo $“Usage: $0 [ deploy | rollback ]”
}shell_lock(){
touch ${LOCK_FILE}
}shell_unlock(){
rm -f ${LOCK_FILE}
}code_get(){
echo “code_get”
sleep 60
}code_build(){
echo “code_build”
}code_config(){
echo “code_config”
}code_tar(){
echo “code_tar”
}code_scp(){
echo “code_scp”
}cluster_node_remove(){
echo “cluster_node_remove”
}code_deploy(){
echo “code_deploy”
}config_diff(){
echo “config_diff”
}code_test(){
echo “code_test”
}cluster_node_in(){
echo “cluste_node_in”
}rollback(){
echo “rollback”
}
主函数
main(){
if [ -f $LOCK_FILE ];then # 先判断锁文件在不在
echo “Deploy is running” && exit 10; # 如果有锁文件直接退出
fi
DEPLOY_METHOD=$1 # 避免出错误将脚本的第一个参数作为变量
case $DEPLOY_METHOD in
deploy) # 如果第一个参数是deploy就执行以下操作
shell_lock; # 执行部署之前创建锁,如果同时有其他人执行则提示锁文件存在避免冲突
code_get;
code_build;
code_config;
code_tar;
code_scp;
cluster_node_remove;
code_deploy;
config_diff;
code_test;
cluster_node_in;
shell_unlock;
;;
rollback) # 如果第一个参数是rollback就执行以下操作
shell_lock; # 回滚之前也是先创建锁文件
rollback; # 执行完成删除锁文件
shell_unlock;
;;
*) # 其他输入执行以下操作
usage;
esac
}
执行主函数并把第一个变量当参数
main $1
2.2.2:完成脚本:实现代码部署、测试、回滚等操作:
代码回滚设计:
正常回滚是回滚已经在web服务器部署过的版本,因此就不需要获取代码打包和部署的过程了
列出回滚版本
将模板服务器移除集群
执行回滚
重启和测试
将模板服务器加入集群
#!/bin/bash
#Dir List 部署节点(即部署节点需要做的操作)
mkdir -p /deploy/code/web-demo
mkdir -p /deploy/config/web-demo/base
mkdir -p /deploy/config/web-demo/other
mkdir /deploy/tmp
mkdir /deploy/tar
chown -R www.www /deploy
chown -R www.www /webroot
chown -R www.www /opt/webroot/
chown -R www.www /webroot
需要在客户端节点做的操作
mkdir /opt/webroot
mkdir /webroot
chown -R www.www /webroot
chown -R www.www /opt/webroot/
chown -R www.www /webroot
[www@ ~]$ touch /webroot/web-dem
Node List 服务器节点
PRE_LIST=“192.168.3.12” # 预生产节点
GROUP1_LIST=“192.168.3.12 192.168.3.13”
GROUP2_LIST=“192.168.3.13”
ROLLBACK_LIST=“192.168.3.12 192.168.3.13”
日志日期和时间变量
LOG_DATE=‘date “+%Y-%m-%d”’ # 如果执行的话后面执行的时间,此时间是不固定的,这是记录日志使用的时间
LOG_TIME=‘date “+%H-%M-%S”’
代码打包时间变量
CDATE=(date +“%H-%M-%S”)
shell env 脚本位置等变量
SHELL_NAME=“deploy.sh” # 脚本名称
SHELL_DIR=“/home/www/” # 脚本路径
SHELL_LOG=“{SHELL_NAME}.log” # 脚本执行日志文件路径
code env 代码变量
PRO_NAME=“web-demo” # 项目名称的函数
CODE_DIR=“/deploy/code/web-demo” # 从版本管理系统更新的代码目录
CONFIG_DIR=“/deploy/config/web-demo” # 保存不同项目的配置文件,一个目录里面就是一个项目的一个配置文件或多个配置文件
TMP_DIR=“/deploy/tmp” # 临时目录
TAR_DIR=“/deploy/tar” # 打包目录
LOCK_FILE=“/tmp/deploy.lock” # 锁文件路径usage(){ # 使用帮助函数
echo $“Usage: $0 [ deploy | rollback [ list | version ]”
}writelog(){ # 写入日志的函数
LOGINFO=KaTeX parse error: Expected 'EOF', got '#' at position 3: 1 #̲ 将参数作为日志输入 echo…{CDATE} ${CTIME} : ${SEHLL_NAME} : ${LOGINFO}" >> ${SHELL_LOG}
}
锁函数
shell_lock(){
touch ${LOCK_FILE}
}
解锁函数
shell_unlock(){
rm -f ${LOCK_FILE}
}
获取代码的函数
code_get(){
echo “code_get”
writelog code_get
cd $CODE_DIR && echo “git pull” # 进入到代码目录更新代码,此处必须免密码更新,此目录仅用于代码更新不能放其他任何文件
cp -rf ${CODE_DIR} ${TMP_DIR}/ # 临时保存代码并重命名,包名为时间+版本号,准备复制到web服务器
API_VER=“123” # 版本号
}code_build(){ # 代码编译函数
echo code_build
}code_config(){ # 配置文件函数
writelog code_config
/bin/cp -rf ${CONFIG_DIR}/base/* {PRO_NAME}" # 将配置文件放在本机保存配置文件的临时目录,用于暂时保存代码项目
PKG_NAME=“API_VER”_“{CTIME}” # 定义代码目录名称
cd ${TMP_DIR} && mv ${PRO_NAME} ${PKG_NAME} # 重命名代码文件为web-demo_123-20170629-11-19-10格式}
code_tar(){ # 对代码打包函数
writelog code_tar
cd ${TMP_DIR} && tar czf ${PKG_NAME}.tar.gz {PKG_NAME}.tar.gz"
}code_scp(){ # 代码压缩包scp到客户端的函数
writelog “code_scp”
for node in $PRE_LIST;do # 循环服务器节点列表
scp {PKG_NAME}.tar.gz $node:/opt/webroot/ # 将压缩后的代码包复制到web服务器的/opt/webroot
donefor node in $GROUP1_LIST;do # 循环服务器节点列表
scp {PKG_NAME}.tar.gz $node:/opt/webroot/ # 将压缩后的代码包复制到web服务器的/opt/webroot
done
}url_test(){
URL=$1
curl -s --head $URL |grep ‘200 OK’
if [ $? -ne 0 ];then
shell_unlock;
writelog “test error” && exit;
fi
}cluster_node_add(){ #将web服务器添加至前端负载
echo cluster_node_add
}cluster_node_remove(){ # 将web服务器从集群移除函数(正在部署的时候应该不处理业务)
writelog “cluster_node_remove”
}pre_deploy(){
writelog “pre_deploy”
for node in ${PRE_LIST};do # 循环预生产服务器节点列表
cluster_node_remove ${node} # 部署之前将节点从前端负载删除
echo “pre_deploy, cluster_node_remove ${node}”
ssh ${node} “cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz” #分别到web服务器执行压缩包解压命令
ssh KaTeX parse error: Expected 'EOF', got '&' at position 33: …broot/web-demo &̲& ln -s /opt/we…{PKG_NAME} /webroot/web-demo" # 整个自动化的核心,创建软连接
done
}pre_test(){ # 预生产主机测试函数
for node in KaTeX parse error: Expected 'EOF', got '#' at position 16: {PRE\_LIST};do #̲ 循环预生产主机列表 curl…{node}:9999/index.html | grep “200 OK” # 测试web界面访问
if [ $? -eq 0 ];then # 如果访问成功
writelog " ${node} Web Test OK!" # 记录日志
echo " ${node} Web Test OK!"
cluster_node_add KaTeX parse error: Expected 'EOF', got '#' at position 8: {node} #̲ 测试成功之后调用添加函数把服…{node} add to cluster OK!" # 记录添加服务器到集群的日志
else # 如果访问失败
writelog “KaTeX parse error: Expected 'EOF', got '#' at position 20: …e} test no OK" #̲ 记录日志 echo "{node} test not OK”
shell_unlock # 调用删除锁文件函数
break # 结束部署
fi
done}
group1_deploy(){ # 代码解压部署函数
writelog “group1_code_deploy”
for node in ${GROUP1_LIST};do # 循环生产服务器节点列表
cluster_node_remove $node
echo “group1, cluster_node_remove $node”
ssh ${node} “cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz” # 分别到各web服务器节点执行压缩包解压命令
ssh KaTeX parse error: Expected 'EOF', got '&' at position 33: …broot/web-demo &̲& ln -s /opt/we…{PKG_NAME} /webroot/web-demo" # 整个自动化的核心,创建软连接
done
scp ${CONFIG_DIR}/other/192.168.3.13.server.xml 192.168.3.13:/webroot/web-demo/server.xml # 将差异项目的配置文件scp到此web服务器并以项目结尾
}group1_test(){ # 生产主机测试函数
for node in KaTeX parse error: Expected 'EOF', got '#' at position 16: {PRE\_LIST};do #̲ 循环生产主机列表 curl …{node}:9999/index.html | grep “200 OK” #测试web界面访问
if [ $? -eq 0 ];then #如果访问成功
writelog " KaTeX parse error: Expected 'EOF', got '#' at position 22: … Web Test OK!" #̲记录日志 echo "grou…{node} Web Test OK!"
cluster_node_add
writelog " KaTeX parse error: Expected 'EOF', got '#' at position 28: …o cluster OK!" #̲记录将服务器 添加至集群的日志…{node} test no OK" #记录日志
echo “${node} test no OK”
shell_unlock # 调用删除锁文件函数
break # 结束部署
fi
done
}rollback_fun(){
for node in $ROLLBACK_LIST;do # 循环服务器节点列表
注意一定要加"号,否则无法在远程执行命令
ssh $node “rm -f /webroot/web-demo && ln -s /opt/webroot/$1 /webroot/web-demo” # 立即回滚到指定的版本,{node} rollback success!"
done
}rollback(){ # 代码回滚主函数
if [ -z $1 ];then
shell_unlock # 删除锁文件
echo “Please input rollback version” && exit 3;
fi
case $1 in # 把第二个参数做当自己的第一个参数
list)
ls -l /opt/webroot/*.tar.gz
;;
*)
rollback_fun $1
esac}
main(){
if [ -f $LOCK_FILE ] ;then # 先判断锁文件在不在,如果有锁文件直接退出
echo “Deploy is running” && exit 10
fi
DEPLOY_METHOD=$1 # 避免出错误将脚本的第一个参数作为变量
ROLLBACK_VER=$2
case $DEPLOY_METHOD in
deploy) # 如果第一个参数是deploy就执行以下操作
shell_lock; # 执行部署之前创建锁。如果同时有其他人执行则提示锁文件存在
code_get; # 获取代码
code_build; # 如果要编译执行编译函数
code_config; # cp配置文件