记录一次zabbix监控常见系统层面问题排查方法

原创

拎壶冲冲冲 2018-09-26 12:00:25 博主文章分类：zabbix全套加落地经验之路 ©著作权

©著作权归作者所有：来自51CTO博客作者拎壶冲冲冲的原创作品，请联系作者获取转载授权，否则将追究法律责任

CPU触发器： 1）Processor load is too high on {HOST.NAME} {HOST.NAME}上处理器负载太高触发器表达式：{Zabbix server:system.cpu.load[percpu,avg1].avg(5m)}>5 告警等级：警告 2）Disk I/O is overloaded on {HOST.NAME} 磁盘I/O在{HOST.NAME}上重载触发器表达式：{Zabbix server:system.cpu.util[,iowait].avg(1h)}>30 告警等级：警告 3）{HOST.NAME} [CPU Idle]-[< 10%] CPU空闲小于百分之10 触发器表达式：{Zabbix server:system.cpu.util[,idle].count(#5,10,"lt")}=5 告警等级：一般严重 General触发器： 1）Hostname was changed on {HOST.NAME} 主机名被更改触发器表达式：{Zabbix server:system.hostname.diff(0)}>0 告警等级：信息 2）Host information was changed on {HOST.NAME} 主机信息给更改触发器表达式：{Zabbix server:system.uname.diff(0)}>0 告警等级：信息 3）HOST.NAME} has just been restarted 重新启动主机触发器表达式：{Zabbix server:system.uptime.change(0)}<0 告警等级：信息 Keepalived触发器 1）{HOST.NAME}keepalived进程宕机，请运维人员确认触发器表达式：({TRIGGER.VALUE}=0 and {Zabbix server:proc.num[keepalived,,,keepalived].change(0)}<0 and {Zabbix server:proc.num[keepalived,,,keepalived].last(0)}=0) or ({TRIGGER.VALUE}=1 and {Zabbix server:proc.num[keepalived,,,keepalived].last(0)}<>3) 告警等级：严重 Memory触发器 1）Lack of free swap space on {HOST.NAME} 主机上缺少自由交换空间触发器表达式：{Zabbix server:system.swap.size[,pfree].last(0)}<10 告警等级：警告 2）Lack of available memory on server {HOST.NAME} 主机服务器上缺少可用的内存触发器表达式：{Zabbix server:vm.memory.size[available].last(0)}<20M 告警等级：一般严重 Security触发器 1）/etc/passwd has been changed on {HOST.NAME} 主机密码文件被更改触发器表达式：{Zabbix server:vfs.file.cksum[/etc/passwd].diff(0)}>0 告警等级：警告 Processes触发器 1）Too many processes running on {HOST.NAME} 在主机上运行的进程太多触发器表达式：{Zabbix server:proc.num[,,run].avg(5m)}>30 告警等级：警告 2）Too many processes on {HOST.NAME} 在主机上进程太多触发器表达式：{Zabbix server:proc.num[].avg(5m)}>1000 告警等级：警告 Performace触发器 1）Processor load is too high on {HOST.NAME} 在主机上处理器负载过高（1分钟）触发器表达式：{Zabbix server:system.cpu.load[percpu,avg1].avg(5m)}>5 告警等级：警告 OS触发器 1）Configured max number of processes is too low on {HOST.NAME} 主机上配置的最大进程数太低触发器表达式：{Zabbix server:kernel.maxproc.last(0)}<256 告警等级：信息 2）Configured max number of opened files is too low on {HOST.NAME} 在主机上配置的最大打开文件数太低触发器表达式：{Zabbix server:kernel.maxfiles.last(0)}<1024 告警等级：信息

出现报警首先看内存瓶颈 free 查看内存使用情况 vmstat 10（间隔时间）100（监控次数）查看swap in/out 详细定位是否存在性能瓶颈 sar -r 3 查看内存使用情况不包括swap情况 CPU瓶颈 top -H 按照CPU消耗高低排序 ps -Lp 进程号CU 查看某个进程的CPU消耗排序 cat /proc/cpuinfo|grep 'processor'|wc -l 查看cpu核数 top 查看cpu总体消耗，包括分项消耗如user,system,idle,nice等消耗 sar -u 3(间隔时间) 查看cpu总体消耗占比 top -b -n 1 | awk ‘{if (NR<=7)print;else if($8==”D”){print;count++}}END{print “Total status D:”count}’ 计算在cpu load里面的uninterruptedsleep的任务数量

网络瓶颈 cat /var/log/messages 查看内核日志，查看是否丢包 watch more /proc/net/dev 用于定位丢包，错包情况，以便看网络瓶颈 netstat -na|grep ESTABLISHED|wc -l 查看tcp连接成功状态的数量 netstat -na|awk’{print $6}’|sort |uniq -c |sort -nr 看tcp各个状态数量 netstat -i 查看网络错误 ss state ESTABLISHED| wc -l 更高效地统计tcp连接状态为ESTABLISHED的数量 cat /proc/net/snmp 查看和分析240秒内网络包量，流量，错包，丢包用于计算重传率tcpetr=RetransSegs/OutSegs ping ip 测试网络性能 traceroute ip 查看路由经过的地址常用于定位网络在各个路由区段的耗时 dig 域名查看域名解析地址 dmesg 查看系统内核日志

磁盘瓶颈 iostat -x -k -d 1 详细列出磁盘的读写情况当看到I/O等待时间所占CPU时间的比重很高的时候，首先要检查的就是机器是否正在大量使用交换空间，同时关注iowait占比cpu的消耗是否很大，如果大说明磁盘存在大的瓶颈，同时关注await，表示磁盘的响应时间以便小于5ms

                  iotop	                                      查看哪个进程在大量读取IO	一般先通过iostat查看是否存在io瓶颈，再定位哪个进程在大量读取IO    
                  df -hl	                                   查看磁盘剩余空间
				  du -sh	                                   查看磁盘使用了多少空间

应用瓶颈 ps -ef | grep java 查看某个进程的id号 ps -ef | grep httpd| wc -l 查看特定进程的数量 cat ***.log | grep **Exception | wc -l 统计日志文件中包含特定异常数量 jstack -l pid 用于查看线程是否存在死锁 awk’{print $8}’ 2017-05-22-access_log|egrep ’301|302′| wc -l 统计log中301、302状态码的行数，$8表示第八列是状态码，可以根据实际情况更改常用于应用故障定位 grep ‘wholesaleProductDetailNew’ cookie_log | awk ‘{if($10==”200″)}’print}’ | awk ‘print $12′ | more 打印包含特定数据的12列数据 grep “2017:05:22″ cookielog | awk ‘($12>0.3){print $12 “–” $8}’ | sort > 目录地址对apache或者nginx访问log进行响应时间排序，$12表示cookie log中的12列表示响应时间 grep -v ‘HTTP/1.1″ 200′ 取出非200响应码的URL pgm -A -f 应用集群名称 “grep “’301 ‘ log文件地址 | wc -l 查看整个集群的log中301状态码的数量 ps -efL | grep [PID] | wc -l 查看某个进程创建的线程数 find / -type f -name “.log” | xargs grep “ERROR” 统计所有的log文件中，包含Error字符的行这个在排查问题过程中比较有用 -XX:HeapDumpPath=/home/logs -Xloggc:/home/log/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps 在Java启动参数中加入，打印gc日志 -server -Xms4000m -Xmx4000m -Xmn1500m -Xss256k -XX:PermSize=340m -XX:MaxPermSize=340m -XX:+UseConcMarkSweepGC 调整JVM堆大小 xss是栈大小