seventeen_的博客_深入学习shell脚本

案例二十、自动化运维-代码上线

本案例的需求就是通过expect脚本来同步文件，从而实现代码上线。

rsync命令

expect脚本

原创 2019-08-26 12:16:05 1242 阅读 1收藏

案例十九、分析Tomcat日志

如果你们公司服务器上跑的是java的代码，那多半会使用Tomcat，而Tomcat出现问题，我们就不得不去查看Tomcat日志。Tomcat有一个总日志叫catalina out，它记录了Tomcat相关的信息，包括正确的和错误的。

Tomcat单击多实例

shell脚本的参数个数

判断一个时间是否合法

将24小时制转换为12小时制

比较两个时间大小

原创 2019-08-24 22:03:37 2609 阅读

案例十八、找出磁盘IO忙的真凶

计算机有三大件：CPU、内存、磁盘，这三者有一个拖后腿的，那就是磁盘。在生产环境，作为数据库角色的服务器磁盘建议拿至少4块硬盘做Raid10，这样既保证数据读写速度也保证数据的安全。如果使用普通的磁盘，即使CPU再强悍，最终的服务器性能也不会太好。经常有遇到因为磁盘I/O效率低而导致MySQL查询非常慢的问题。对于一般的小网站来说，MySQL的查询队列不会超过100个，甚至不会超过10个，这是因为MySQL查询速度非常快。如果查询队列数量突然变大，可能是因为网站访问量变大也可能是因为磁盘读写速度变慢。

iostat命令

iotop命令

原创 2019-08-22 11:42:09 4111 阅读

案例十七、归档老日志

Linux系统中有日志切割的工具logrotate，它可以按照我们的预期按时间或者大小来切割和归档老的日志，它还可以压缩切割后的日志，也可以定义老日志保留的时间。

logrotate

shell中的exit、break和c

原创 2019-08-19 11:19:34 1385 阅读 1收藏

案例十六、自动化运维-批量关Tomcat服务

生产环境中往往在多台机器上运行同一个服务（Tomcat），此案例的需求是批量地关闭多台机器上的Tomcat服务。

expect脚本登录远程机器

expect脚本登录远程机器并执行命令

给expect脚本传递参数

原创 2019-08-18 14:49:09 898 阅读 1收藏

案例十五、格式化输出xml文件

在工作中我们多多少少都接触过xml文件，它的格式非常有规律性，但读起来因为有太多的标签（<>），不能一目了然。

XML

截取两个关键词中间的行

原创 2019-08-17 10:18:45 2462 阅读

案例十四、为LAMP的网站增加项目

一台运行LAMP环境的服务器，上面有十几个网站，每个网站都分配了单独的虚拟主机和MySQL库。

LAMP

FTP

MySQL

原创精选 2019-08-16 08:54:06 1447 阅读 1点赞

案例十三、监控CDN各节点是否正常

CDN，它可以提升用户对网站访问的体验。CDN通常在全国各个城市甚至国外都部署了节点，这样用户可以就近选择访问的节点，无论是在响应上还是在带宽消耗上都会有不错的表现。但反过来说，节点多了，那么某个节点出现问题的可能性就变大了。

curl命令

原创 2019-08-14 13:39:56 1178 阅读

案例十二、shell多线程备份数据库

shell脚本多线程，实现起来有点难理解，因为它借助了命名管道实现。所谓多线程就是原本由一个进程完成的事情现在由多个线程去完成。假如一个进程需要10小时完成的事情，现在分配10个线程，给他们分工，然后同时去做这件事情，最终可能就需要1小时。本案例具体需求如下：1）公司的业务量比较大，有100个数据库需要全量备份，而每个数据库的数据量高达几十GB，（注意，每一个库都为一个独立的实例，即有着独立的IP

xtrabackup工具

文件描述符

命令管道

read、wait命令

原创 2019-08-13 11:31:54 1038 阅读

案例十一、人员分组

需求如下： 1）假设共有72人（提供一个人员名单，名字为汉语拼音） 2）要划分7个小组 3）要保证人员分布小组的随机性，即每次执行脚本的结果应该是不一样的

产生随机数

打乱顺序

shell中数字四舍五入

原创 2019-08-09 14:49:17 1604 阅读

案例十、检测域名是否到期

如果你想做一个网站，首先需要购买一个域名，与其说是购买不如说是租用，因为你要想使用这个域名，每年都需要缴纳一笔费用。既然是租用，所以就有期限，在到期前没有续费，则该域名会被收回，其他人可以注册并使用这个域名。当我们名下域名非常多的时候，则很容易忘记为这些域名续费从而导致过期并回收。

whois命令

cut命令

进程控制

判断变量、判断进程、杀死进程

原创精选 2019-08-08 11:11:18 9048 阅读 1收藏 3评论

案例九、监控网卡流量

曾经遇到过一个很奇怪的问题，一台服务器运行一段时间后网卡流量变为0，就是说网卡无法传输数据了。但是重启网络服务后恢复正常，造成该问题的原因可能是系统内核的问题，也可能是网卡硬件的问题。当时解决的思路是，先尝试重新安装操作系统，看问题是否可以解决，如果问题依然存在然后尝试更换网卡。由于服务器上的业务不能中断，所以重装操作系统或者更换网卡都无法在近期实现。临时解决办法是写一个shell脚本监控网卡流量，当流量为0时，重启网络服务。

查看网卡流量

重启网络服务

抓包

if判断

原创 2019-08-07 10:04:20 3627 阅读

案例八、傻瓜运维工具

运维的工作，很多事情都是周而复始，而且所做的事情就那么几件，除非有特殊需求需要特别对待。所以写了一个傻瓜运维脚本。

case

select

MySQL慢查询日志

php-fpm慢执行日志

原创 2019-07-25 18:42:25 1057 阅读 1收藏

案例七、监控MySQL主从状态

在生产环境中，常见MySQL架构使用最多的就是主从了，因此对于主从是否同步数据的监控尤为重要。如果使用了专业的监控软件（如zabbix）监控MySQL，那么选择监控工具提供的模板或插件去监控就很方便，但是如果涉及到一些特殊要求就另当别论了。我们可以写shell脚本来实现定制化的需求。

查看mysql主从状态

shell中的数学运算

查看mysql队列

原创 2019-07-24 18:03:48 1188 阅读

案例六、检测两台机器上文件的差异

生产环境中，web服务器大多会做负载均衡，所以有多台机器上跑着同样的web程序代码。如果严格按照规范流程上线，即不人为特意更改代码，那么这多台机器上的代码一定是一样的，并不会存在两台机器上同一个文件内容不同的现象。但是，本案例的需求就是要检查两台机器上同一个文件的差异，毕竟我们不能确定服务器上的代码是否有人为改动过。

密钥认证

find命令

md5sum命令

嵌入文档（Here Document）

while循环

原创 2019-07-23 18:23:34 2188 阅读

案例五、监控磁盘使用率

对于磁盘的监控属于最基础的监控，但是很多时候往往因为运维的疏忽而忽略监控磁盘，最终导致事故发生。希望读到这篇文章的朋友，一定要把监控磁盘这件事重视起来。

查看磁盘使用

查看目录或文件大小

查看进程

告警收敛思路分析

原创精选 2019-07-21 08:40:06 6826 阅读 1收藏

案例四、自动封IP和解IP

在运维里，出现最普遍的问题就是网站访问慢甚至访问不到，到服务器上查看得出的结论是，这个网站被CC攻击了。CC攻击属于DDos攻击的一种，**者会利用大量“肉鸡”对攻击目标的网站发起请求，并且频率很快，这样会导致目标网站的服务器承受不住而瘫痪。

awk

sort、uniq

iptables

函数

sed

原创 2019-07-19 21:00:24 1804 阅读 2收藏

案例三、批量添加多个用户

批量创建用户的需求在生产环境中用的不多，但是面试题中经常会看到。

系统用户管理

seq命令

随机字符串

给用户设定或修改密码

原创 2019-07-19 20:32:16 1703 阅读 1点赞 1收藏

案例二、监控Nginx服务器状态码是否有502

Nginx+php-fpm+MySQL的网站，有很多原因导致出现502问题，最常见的是由于php-fpm资源耗尽导致。本案例要监控的这台服务器就是这个情况，平时一直都很好，但若网站访问量很高，就会有502的状态码出现。发生502问题时，需要及时分析造成php-fpm资源耗尽的原因，所以要做一个监控脚本，当有502状态码第一时间告警通知我们。要求如下：1）脚本一分钟执行一次2）监控502状态可以通过

任务计划

过滤关键词grep

shell中的变量

在命令行下发邮件

原创 2019-07-17 18:57:26 2689 阅读 1收藏

案例一、备份MySQL数据库

本脚本的核心知识点是如何备份所有的库。一台MySQL服务器，跑着5个数据库，没有做主从，需要对这5个数据库进行备份，具体要求如下：1）每天备份一次，所有数据库2）备份数据存到/data/backup/下3）备份文件名格式示例：database_name-2019-07-01.sql4）对1天以前的所有sql文件进行压缩，格式为gzip5）本地数据保留1周6）备份的数据同步到远程备份中心，本机可以用

mysql数据库备份

date命令