elk 和zabbix

文章目录

• ELK简介：
• 一个完整的集中式日志系统，需要包含以下几个主要特点：
• 基本流程
• 1.准备环境：
• 2.开始安装
• 3.安装 elasticsearch
• 4.安装 logstash 192.168.148.241
• 5.安装 kibana
• 6.访问页面 192.168.148.240:5601

ELK简介：

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

Filebeat隶属于Beats。目前Beats包含四种工具：

1. Packetbeat（搜集网络流量数据）
2. Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
3. Filebeat（搜集文件数据）
4. Winlogbeat（搜集 Windows 事件日志数据）

一个完整的集中式日志系统，需要包含以下几个主要特点：

收集－能够采集多种来源的日志数据
传输－能够稳定的把日志数据传输到中央系统
存储－如何存储日志数据
分析－可以支持 UI 分析
警告－能够提供错误报告，监控机制

基本流程

服务器	安装部署
192.168.148.240	jdk环境、elasticsearch、kibana
192.168.148.241	jdk环境、logstash

1.准备环境：

[root@192 ~]# systemctl stop firewalld.service 
[root@192 ~]# setenforce 0
[root@192 ~]# 关闭防火墙、关闭 selinux

2.开始安装

安装jdk环境

[root@192 ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
[root@192 ~]#

3.安装 elasticsearch

[root@192 ELK]# yum -y install elasticsearch-6.6.2.rpm 
已加载插件：fastestmirror, langpacks

修改配置文件，打开主机IP和端口的注释，将主机IP修改为自己的IP，我这里是我的ip 192.168.148.239

[root@192 elasticsearch]# vim elasticsearch.yml 
54 #
 55 network.host: 192.168.148.239
 56 #
 57 # Set a custom port for HTTP:
 58 #
 59 #http.port: 9200

启动服务elasticsearch

[root@192 elasticsearch]# vim elasticsearch.yml

查看日志，查看端口是否启动

[root@192 elasticsearch]# ss -lntp | grep java
LISTEN     0      128     ::ffff:192.168.148.239:9200                    :::*                   users:(("java",pid=4446,fd=193))
LISTEN     0      128     ::ffff:192.168.148.239:9300                    :::*                   users:(("java",pid=4446,fd=185))

配置 elasticsearch完毕

4.安装 logstash 192.168.148.241

[root@192 ELK]# yum -y install logstash-6.6.0.rpm 
已加载插件：fastestmirror, langpacks
ava version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
[root@desktop-mbf3k0t ELK]#

logstash 核心功能是存储日志、搜索日志，所以我们要在配置文件中写入一些主要信息

[root@192 ELK]# cd /etc/logstash/conf.d/
[root@192 conf.d]# vim messages.conf

input {
        file {
                path => "/var/log/messages"	# 日志的路径
                type => "messages-log"	# 日志的类型
                start_position => "beginning"	# 日志收集的位置
        }
}

output {
        elasticsearch {
                hosts => "192.168.148.240:9200"	# 日志的主机 
                index => "messages_log-%{+YYYY.MM.dd}"	# 显示的格式
        }
}

启动服务logstash

[root@desktop-mbf3k0t ~]# systemctl start logstash

5.安装 kibana

[root@192 ELK]#  yum -y install kibana-6.6.2-x86_64.rpm
已加载插件：fastestmirror, langpacks
正在检查 kibana-6.6.2-x86_64.rpm: kiba

修改配置文件，将端口号、主机IP、elasticsearch IP修改并打开注释

[root@192 kibana]# vim kibana.yml 

  2 #server.port: 5601

  back address.
  7 server.host: "192.168.148.240"
  8 

27 # The URLs of the Elasticsearch instances to use for all your queries.
 28 elasticsearch.hosts: ["http://192.168.148.240:9200"]
 29

启动服务kibana

[root@192 kibana]# systemctl start kibana.service 
[root@192 kibana]#

6.访问页面 192.168.148.240:5601

添加索引，如下：

查看