任务背景
公司的服务器里经常会有CPU很繁忙, 内存不够, 磁盘空间快满了, 网络很卡, 客户端连接不上等各种问题。我们运维工程师不能总是盯着服务器去查看,那样的话就太繁琐了, 而且很可能发现问题不及时。所以我们需要建立一套完善的监控系统,将所有需要监控的服务器及其各种需要的状态数据都实时地收集, 并图形化的展示,并可以进行报警, 让机器主动及时地与人沟通。
认识监控
为什么要监控?
实时收集数据,通过报警及时发现问题,及时处理。为优化提供数据依据。
linux系统中的监控主要监控什么
任何你所想要监控的数据,如cpu负载,cpu的idle时间,内存使用量,内存利用率,io,network等等。
主流的开源监控平台介绍
zabbix
环境准备
1、静态ip
2、主机名
各自配置好主机名
hostnamectl set-hostname --static zabbixserver
三台都互相绑定IP与主机名
vim /etc/hosts
192.168.192.145 zabbixserver
192.168.192.146 agent1
192.168.192.144 agent2
3、时间同步
systemctl restart ntpd
systemctl enable ntpd
或者
date -s "20220517 17:05:05"
4、关闭防火墙,selinux
5、配置yum(安装完centos后默认的yum源+下面zabbix源)
所有机器(zabbix服务器和所有被监控端)加上zabbix源
vim /etc/yum.repos.d/zabbix.repo
[zabbix]
name=zabbix
baseurl=https://mirrors.tuna.tsinghua.edu.cn/zabbix/zabbix/3.4/rhel/7/x86_64/
enabled=1
gpgcheck=0
[zabbix_deps]
name=zabbix_deps
baseurl=https://mirrors.tuna.tsinghua.edu.cn/zabbix/non-supported/rhel/7/x86_64/
enabled=1
gpgcheck=0
[root@zabbixserver ~]# ls /etc/yum.repos.d/
CentOS-Base.repo CentOS-fasttrack.repo CentOS-Vault.repo zabbix.repo
CentOS-CR.repo CentOS-Media.repo CentOS-x86_64-kernel.repo
CentOS-Debuginfo.repo CentOS-Sources.repo epel.repo
补充:如何自建本地的yum源
1、在本地加上公网上的yum源
(如上)
2、同步公网上的rpm包
[root@zabbixserver ~]# reposync --repoid=zabbix_deps
会在当前目录自动产生一个同名(yum仓库)的目录存放rpm包
[root@zabbixserver ~]# ls
anaconda-ks.cfg initial-setup-ks.cfg zabbix_deps
[root@zabbixserver ~]# ls zabbix_deps/
fping-3.10-1.el7.x86_64.rpm iksemel-devel-1.4-2.el7.centos.x86_64.rpm
fping-3.16-1.el7.x86_64.rpm iksemel-utils-1.4-2.el7.centos.x86_64.rpm
iksemel-1.4-2.el7.centos.x86_64.rpm
3、创建一个repodata
[root@zabbixserver ~]# createrepo zabbix_deps/
[root@zabbixserver ~]# ls zabbix_deps/
fping-3.10-1.el7.x86_64.rpm iksemel-devel-1.4-2.el7.centos.x86_64.rpm
fping-3.16-1.el7.x86_64.rpm iksemel-utils-1.4-2.el7.centos.x86_64.rpm
iksemel-1.4-2.el7.centos.x86_64.rpm repodata
zabbix服务器安装
1、安装zabbix和mariadb数据库
[root@zabbixserver ~]# yum install -y zabbix-server-mysql zabbix-web-mysql mariadb-server
2、 在mysql(mariadb)里建立存放数据的库并授权,然后导入zabbix所需要用的表和数据
[root@zabbixserver ~]# systemctl restart mariadb.service
[root@zabbixserver ~]# systemctl enable mariadb.service
[root@zabbixserver ~]# mysql
MariaDB [(none)]> create database zabbix default charset utf8; 这里一定要用utf8字符集,否则后面zabbix很多中文用不了(比如创建中文名用户就创建不了)
MariaDB [(none)]> grant all on zabbix.* to zabbix@'localhost' identified by '123';
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> quit
3、导入表数据
下面这条命令不要乱复制粘贴,如果你版本不一样(或者官网yum源版本升级),3.4.15就要改成对应版本
[root@zabbixserver ~]# zcat /usr/share/doc/zabbix-server-mysql-3.4.15/create.sql.gz |mysql zabbix
验证:
[root@zabbixserver ~]# mysql
MariaDB [(none)]> use zabbix;
MariaDB [zabbix]> show tables;
...
140 rows in set (0.00 sec)
MariaDB [zabbix]> quit
4、配置zabbix主配置文件,并启动服务,确认端口
找到并确认如下参数(默认值正确的不用打开注释,默认值不对的,要修改正确并打开注释)
这里只需要改连接数据的密码DBPassword和DBSocket
[root@zabbixserver ~]# vim /etc/zabbix/zabbix_server.conf
12 # ListenPort=10051
91 # DBHost=localhost
100 DBName=zabbix
116 DBUser=zabbix
124 DBPassword=123 --这里要对应上面第2步的授权进行修改
131 DBSocket=/var/lib/mysql/mysql.sock --这里默认的socket路径不对,改成我这个路径
345 # ListenIP=0.0.0.0
[root@zabbixserver ~]# systemctl restart zabbix-server
[root@zabbixserver ~]# systemctl enable zabbix-server
[root@zabbixserver ~]# lsof -i:10051
5、 配置zabbix的httpd子配置文件,并启动httpd
打开第20行注释,并修改成你的时区
[root@zabbixserver ~]# vim /etc/httpd/conf.d/zabbix.conf
20 php_value date.timezone Asia/Shanghai
[root@zabbixserver ~]# systemctl restart httpd
[root@zabbixserver ~]# systemctl enable httpd
6、使用浏览器访问 http://192.168.192.145/zabbix,并按提示进行安装
按照图示过程安装
1、welcome
2、Check of pre-requisites
3、Configure DB connection
数据库用户名填zabbix,密码填123(前面授权过的)
4、Zabbix server details
在name选项填上你zabbix服务器的IP或者主机名
5、Pre-Installation summary
6、install
完成后
登陆用户名为:admin
登陆密码为:zabbix
7、右上角点一个类似小人的图标 ——>语言选 chinese zh-CN ——>点 update后换成中文界面
通过zabbix-agent监控本机
1、在server上安装zabbix-agent
[root@zabbixserver ~]# yum install -y zabbix-agent
2、启动zabbix-agent服务
[root@zabbixserver ~]# vim /etc/zabbix/zabbix_agentd.conf
下面两个常见选项都为默认值,不用配置
Server=127.0.0.1 --zabbix服务器的IP,这里是本机
ListenPort=10050 --监控服务器连接被监控客户端的端口
[root@zabbixserver ~]# systemctl restart zabbix-agent
[root@zabbixserver ~]# systemctl enable zabbix-agent
[root@zabbixserver ~]# lsof -i:10050
3、回到web管理界面——>点配置——>点主机——>默认看到叫Zabbix server的本机,但状态是停用的——>点击并启用
4、点zabbix server里的图形——>任意选一张图后点预览——>看到图上有乱码
5,、解决乱码方法: 换一个字体
下载ttf-arphic-ukai.tar.gz软件包,并做如下修改
[root@zabbixserver ~]# tar xf ttf-arphic-ukai.tar.gz -C /usr/share/zabbix/fonts/
[root@zabbixserver ~]# mv /usr/share/zabbix/fonts/ukai.ttc /usr/share/zabbix/fonts/ukai.ttf
[root@zabbixserver ~]# vim /usr/share/zabbix/include/defines.inc.php
54 define('ZBX_GRAPH_FONT_NAME', 'ukai'); --修改原来的graphfont字体改成ukai
6、 做完后,不用重启服务,回到zabbix的web界面刷新查看图形就会发现没有乱码了
通过zabbix-agent监控远程机器
1、在agent1上安装zabbix-agent包
[root@agent1 ~]# yum install -y zabbix-agent
2、配置zabbix-agent端的配置文件,启动服务并做成开机自动启动
[root@agent1 ~]# vim /etc/zabbix/zabbix_agentd.conf
97 Server=192.168.192.145 修改成zabbix监控服务器的IP
[root@agent1 ~]# systemctl restart zabbix-agent
[root@agent1 ~]# systemctl enable zabbix-agent
[root@agent1 ~]# lsof -i:10050
3、回到web管理界面--》点配置--》点主机 --》 点创建主机
4、为主机添加要监控的模板--》点模板--》点选择--》把 Template OS Linux 前面打勾(其它模板视随意加)--》点选择 --》点添加 --》最后点右下角的添加
5、刷新确认
故障诊断
一开始ZBX这里显示是红色的,在网络连接,防火墙都无问题的情况下查看日志,发现:
2867:20220518:124831.814 Message from 192.168.192.145 is missing header. Message ignored.
经过百度,得出结论:是因为zabbix客户端版本和服务器端不一致导致的
[root@zabbixserver ~]# rpm -aq|grep zabbix-agent
zabbix-agent-3.4.15-1.el7.x86_64
[root@agent1 ~]# rpm -aq|grep zabbix
zabbix50-5.0.21-1.el7.x86_64
zabbix50-agent-5.0.21-1.el7.x86_64
这也就解释了在第二步更改配置文件的时候发现客户端的配置文件和服务端里面的配置文件路径不同
解决方案:
1、用rpm -e删除掉客户端的zabbix-agent包
[root@agent1 ~]# rpm -e zabbix50-agent-5.0.21-1.el7.x86_64
[root@agent1 ~]# rpm -e zabbix50-5.0.21-1.el7.x86_64
2、下载和服务端同版本的rpm包
http://repo.zabbix.com/zabbix/3.4/rhel/7/x86_64/zabbix-agent-3.4.15-1.el7.x86_64.rpm
3、上传到客户端
4、用rpm -ivh安装rpm包
[root@agent1 ~]# rpm -ivh zabbix-agent-3.4.15-1.el7.x86_64.rpm
5、验证
[root@agent1 ~]# rpm -qa|grep zabbix
zabbix-agent-3.4.15-1.el7.x86_64
6、配置zabbix-agent端的配置文件
[root@agent1 ~]# vim /etc/zabbix/zabbix_agentd.conf
97 Server=192.168.192.145 修改成zabbix监控服务器的IP
7、重启zabbix服务
[root@agent1 ~]# systemctl restart zabbix-agent
完成,刷新即可看到红色变绿了
zabbix用户与用户群组
用户(user):zabbix提供多用户管理,不同的用户可以设置不同的权限,不同的语言,不同的报警方式等。
web管理界面--》管理 --》用户
![1543039466093](图片/zabbix用户管理.png)
用户群组(group): 对用户进行分组管理.
web管理界面--》管理 --》用户群组
主机和主机群组
主机(host): 指被监控的一个设备(服务器,交换机等)
web管理界面--》管理 --》主机
主机群组(hostgroup): 指被监控的一组主机(主要应用在有特别多主机的情况,方便分组区分)
web管理界面--》管理 --》主机群组
监控项与应用集(重点)
监控项: 是从主机收集的数据信息,代表收集数据或监控的一个最小单位。
应用集: 代表多个监控项合成的组。
创建监控项
web管理界面--》配置--》主机--》监控项(这里我选的agent1的主机的监控项;也就是说每个主机都是各自的监控项,选谁的就是配置谁的)--》右上角点创建监控项
上面创建的agent.hostname默认就在Template OS Linux模板里,也就是说已经被使用了,就不允许你创建了。
注意: 监控项的键值写法是难点,如果不知道应该怎么传参数,可以参考模板里已经有的监控项。
练习: 把agent1已经链接的模板取消(因为cpu负载的监控项在Template OS Linux模板里已经存在了),然后参考下图为agent1创建以下几个监控项
- cpu负载(1分钟)
- cpu负载(5分钟)
- cpu负载(15分钟)
答案:
按下图所示创建三个监控项
监控项创建好了之后,如何查看呢?
为监控项创建图形
web管理界面--》配置--》主机--》图形(选agent1主机的图形)--》右上角点创建图形--》选择图形名称,并在下面添加刚才定义好的监控项--》添加后,预览图形
过一段时间后的图形效果如下:
自定义监控项
自带的键值用得还是不习惯,或者有些想监控的却没有相关的键值,我们还可以自定义键值。
下面我们就来创建一个自定义的监控项:
监控agent1上的用户登录数(默认有一个键值叫system.users.num可以实现监控登录用户数,但我这里实验使用的是自己定义的键值)
1、在被监控端agent1上,随意多打开几个终端,模拟多个登录用户
[root@agent1 ~]# who|wc -l
4 我这里确认登录用户数为4
2、在被监控端agent1上,定义用户参数
[root@agent1 ~]# vim /etc/zabbix/zabbix_agentd.conf
295 UserParameter=loginusers,who|wc -l
说明:
loginusers是我自定义的一个键值名称(会在创建监控项时用到),后面的who|wc -l就是要被监控的命令
[root@agent1 ~]# systemctl restart zabbix-agent
3、在zabbix server服务器上先测试是否能得到被监控端agent1的结果
需要zabbix官方yum源来安装zabbix-get命令
[root@zabbixserver ~]# yum install -y zabbix-get
使用此命令就可以得到被监控端的结果,则测试ok
[root@zabbixserver ~]# zabbix_get -s 192.168.192.146 -k loginusers
4 --可以确认得到的值确实为agent1的
4、web管理界面--》配置--》主机--》监控项(选agent1的监控项)--》右上角点创建监控项
5、 点添加后确认是否添加成功
为自定义监控项创建图形
6、web管理界面--》配置--》主机--》图形(还是选的agent1的主机的图形)--》右上角点创建图形--》选择图形名称,并在下面添加刚才定义好的监控项--》添加后,预览图形
增加一个终端
聚合图形
在上面监控项的配置里,我们定义了图形。而聚合图形就是把多个重要常用的数据整合一起来显示,方便查看.
假设我觉得agent1上cpu负载和远程linux登录用户数这2个图形非常重要,经常要查看,我现在想把它们聚合到一起。
点 agent1重要图 - -》点右上角编辑聚合图形 - -》点更改
另一张图同理,最终效果如下:
添加到常用后,就可以在监测中 --》仪表板中看到这个图了
触发器(重点)
触发器(trigger): 定义监控项到达一个临界值(阈值)或者满足一个条件,就会发现状态变化(OK变为Problem,Problem变为OK)
下面我把监控agent1的登录用户数做一个触发器(大于10个登录用户就警告)
1, web管理界面--》配置--》主机--》触发器(选远程agent1的触发器)--》右上角点创建触发器
2、创建完触发器后,可以尝试去agent1上再多开几个终端,让其登录用户数超过10个,然后就可以去下面两图显示的地方去查看确认效果了。
当退出终端后,会显示问题已解决
拓展:监控nginx
nginx有一个状态页,通过查看状态页信息可以连接到nginx服务负载情况.
下面我们假设监控agent1的nginx
1、在agent1上安装nginx
[root@agent1 ~]# yum install -y epel-release
[root@agent1 ~]# yum install -y nginx
2、在nginx里的server{}配置段里加上下面一段,然后重启服务
[root@agent1 ~]# vim /etc/nginx/nginx.conf
location /status {
stub_status on;
allow 192.168.192.145; # 必须要允许zabbix server访问(或zabbix_proxy)
allow 127.0.0.1; # 允许本机访问
allow 192.168.192.1; # 加这个IP是为了windows宿主机访问用的
deny all;
access_log off;
}
[root@agent1 ~]# systemctl restart nginx
[root@agent1 ~]# systemctl enable nginx
3、 通过浏览器访问http://192.168.192.146/status就能看到如下nginx状态信息
Active connections: 1
server accepts handled requests
1 1 1
Reading: 0 Writing: 1 Waiting: 0
参数说明:
Active connections:当前所有处于打开状态的活动连接数
accepts :已经接收连接数
handled : 已经处理过的连接数
requests : 已经处理过的请求数,在保持连接模式下,请求数量可能会大于连接数量
Reading: 正处于接收请求的连接数
Writing: 请求已经接收完成,处于响应过程的连接数
Waiting : 保持连接模式,处于活动状态的连接数
4、在agent1上准备一个脚本,并给可执行权限
[root@agent1 ~]# vim /opt/nginx_status.sh
#!/bin/bash
HOST="127.0.0.1"
PORT="80"
function ping { # 这个不是ping,是判断nginx进程是否存在
/sbin/pidof nginx|wc -l
}
function active {
/usr/bin/curl "http://$HOST:$PORT/status/" 2>/dev/null| grep 'Active' | awk '{print $NF}'
}
function accepts {
/usr/bin/curl "http://$HOST:$PORT/status/" 2>/dev/null| awk NR==3 | awk '{print $1}'
}
function handled {
/usr/bin/curl "http://$HOST:$PORT/status/" 2>/dev/null| awk NR==3 | awk '{print $2}'
}
function requests {
/usr/bin/curl "http://$HOST:$PORT/status/" 2>/dev/null| awk NR==3 | awk '{print $3}'
}
function reading {
/usr/bin/curl "http://$HOST:$PORT/status/" 2>/dev/null| grep 'Reading' | awk '{print $2}'
}
function writing {
/usr/bin/curl "http://$HOST:$PORT/status/" 2>/dev/null| grep 'Writing' | awk '{print $4}'
}
function waiting {
/usr/bin/curl "http://$HOST:$PORT/status/" 2>/dev/null| grep 'Waiting' | awk '{print $6}'
}
$1
[root@agent1 ~]# chmod 755 /opt/nginx_status.sh
5、 在agent1上定义UserParameter,并重启服务
在配置文件里加上下面一句
[root@agent1 ~]# vim /etc/zabbix/zabbix_agentd.conf
UserParameter=nginx_status[*],/opt/nginx_status.sh $1
[root@agent1 ~]# systemctl restart zabbix-agent
6、在zabbix_server上用zabbix_get测试
[root@zabbixserver ~]# zabbix_get -s 192.168.192.146 -k nginx_status[ping]
1
[root@zabbixserver ~]# zabbix_get -s 192.168.192.146 -k nginx_status[handled]
2
7、测试能成功监控取到值,说明监控OK。
8、自定义监控项,创建图形
练习
1、自定义监控agent1所有进程数量,并设定触发器(当大于200就警告,当大于300就严重警告,超过400个就灾难)
UserParameter=total_proc,ps -ef|wc -l
2、自定义监控agent1上mariadb的当前登录用户数, 并设定触发器(当大于50个就警告,当大于100就严重警告,超过150个就灾难)
方法一:
[root@agent1 ~]# yum install mariadb-server -y
[root@agent1 ~]# systemctl restart mariadb
下面这条命令就可以得到当前登录用户数,然后自定义一个UserParameter就可以了
[root@agent1 ~]# mysqladmin extended-status|grep Threads_connected|awk '{print $4}'
UserParameter=mariadb_loginusers,mysqladmin extended-status|grep Threads_connected|awk '{print $4}'
方法二:
在agent端的下面这个子配置文件里已经有mysql的用户参数定义了
[root@agent1 ~]# /etc/zabbix/zabbix_agentd.d/userparameter_mysql.conf
直接在后面的mysql.status[]的中括号里传相应的参数就OK了,如:
监控远程mariadb当前登录用户数
[root@zabbixserver ~]# zabbix_get -s 192.168.192.146 -k mysql.status[Threads_connected]
监控远程mariadb运行时间
[root@zabbixserver ~]# zabbix_get -s 192.168.192.146 -k mysql.status[uptime]
3、自定义监控agent1上的tcp连接数量, 并自定义触发器
[root@zabbixserver ~]# netstat -nt|awk 'NR>2 {print $0}'|wc -l
4、监控某分区磁盘使用率,并自定义触发器
[root@zabbixserver ~]# df -h|awk '$NF=="/" {print $5}'
5、监控可用内存,并自定义触发器
[root@zabbixserver ~]# free|awk 'NR==2 {print $NF}'
告警
zabbix的报警媒介支持email,jabber,sms(短信),微信,电话语音等。
告警平台申请
自己配置报警比较复杂,而且邮件容易被拒或当做垃圾邮件。
有些专业的报警平台就可以帮你简单实现,如:onealeart
参考:http://www.onealert.com/
先申请一个账号,绑定邮箱,手机,微信等进行登录
登录进去后,按如下图示操作
告警平台增加zabbix应用
在zabbixserver安装告警平台agent
按照它的提示,进行安装
[root@zabbixserver ~]# cd /usr/lib/zabbix/alertscripts
[root@zabbixserver alertscripts]# wget https://download.aiops.com/ca_agent/zabbix/ca_zabbix_release-3.0.1.tar.gz
[root@zabbixserver alertscripts]# tar xf ca_zabbix_release-2.1.0.tar.gz
[root@zabbixserver alertscripts]# cd cloudalert/bin/
[root@zabbixserver bin]# bash install.sh 2842d6d7-f7a1-fb97-254d-9be972403dd0
请输入Zabbix管理地址:http://192.168.192.145/zabbix
Check connection success!
请输入Zabbix管理员账号:admin
请输入Zabbix管理员密码:zabbix
......
Install zabbix agent success!
验证安装
配置完onealert后,我们可以验证下它安装后到底对zabbix做了啥。
简单来说,它做了三件事:
- 增加了一个报警媒介类型
- 增加了一个用户和一个用户组用于报警
- 增加了一个报警动作
配置通知策略
我们这里以前面都定义过的"agent1远程登录用户数"来测试报警,当agent1远程登录用户数大于20个就会触发器,然后报警。
(注意:请在测试前先把agent1的登录用户数调整到20个以下)
验证告警
将agent1远程登录用户数调整成大于20个,让触发器触发,也会触发报警。