因为公司使用ELK的缘故,这两天尝试在阿里云上安装了下ELK,这里做个笔记,有兴趣的同学可以看下。

先大致介绍下ELK,ELK是三个组件的缩写,分别是elasticsearch、logstash、kibana。

(1)Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速,近实时地存储,搜索和分析大量数据。它通常用作底层引擎/技术,为具有复杂搜索功能和要求的应用程序提供支持。

(2)Logstash是一个开源的、接受来自多种数据源(input)、过滤你想要的数据(filter)、存储到其他设备的日志管理程序。Logstash包含三个基本插件input\filter\output,一个基本的logstash服务必须包含input和output。

(3)Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据,使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。

 

1.安装java环境。

ELK依赖java环境,而且jdk版本需要在1.8以上,所以我们需要先下载对应的jdk。(教程参考:)

安装完成后,查看一下,版本是否是1.8+:

elk结合zabbix架构图 elk有哪些组件组成_大数据

 

2.下载Elasticsearch 6.4.1 tar:

我们按如下方式下载Elasticsearch 6.4.1 tar:

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.1.tar.gz

然后提取如下:

tar -xvf elasticsearch-6.4.1.tar.gz

然后它会在当前目录中创建一堆文件和文件夹。然后我们进入bin目录,如下所示:

cd elasticsearch-6.4.1/bin

因为安全问题elasticsearch 不让用root用户直接运行.

解决办法:

新增用户

useradd -m 用户名

passwd 用户名

输入密码

授权

chown -R 用户名 es的安装目录

切换用户

su 用户名

切换到es安装目录下

./elasticsearch

 

启动后我们需要确认下是否成功:

默认 http://localhost:9200/?pretty

[root@XXXX ~]# curl http://localhost:9200/?pretty
{
  "name" : "f1mValJ", "cluster_name" : "elasticsearch", "cluster_uuid" : "ugL60wjJQPaIZw3NRE9aKg", "version" : { "number" : "6.4.1", "build_flavor" : "default", "build_type" : "tar", "build_hash" : "e36acdb", "build_date" : "2018-09-13T22:18:07.696808Z", "build_snapshot" : false, "lucene_version" : "7.4.0", "minimum_wire_compatibility_version" : "5.6.0", "minimum_index_compatibility_version" : "5.0.0" }, "tagline" : "You Know, for Search" } 
[root@XXXX ~]# curl http://localhost:9200/?pretty
{
  "name" : "f1mValJ", "cluster_name" : "elasticsearch", "cluster_uuid" : "ugL60wjJQPaIZw3NRE9aKg", "version" : { "number" : "6.4.1", "build_flavor" : "default", "build_type" : "tar", "build_hash" : "e36acdb", "build_date" : "2018-09-13T22:18:07.696808Z", "build_snapshot" : false, "lucene_version" : "7.4.0", "minimum_wire_compatibility_version" : "5.6.0", "minimum_index_compatibility_version" : "5.0.0" }, "tagline" : "You Know, for Search" }

返回上述结果,即为成功。

 

 

3.安装Logstash

(1)下载tar压缩包:

 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.1.tar.gz

(2)解压:tar -zxvf logstash-6.4.1.tar.gz

(3)启动测试:# bin/logstash -e 'input { stdin { } } output { stdout {} }'

我们现在可以在命令行下输入一些字符,然后我们将看到logstash的输出内容:

1 hello world 
2 2017-11-21T01:22:14.405+0000 0.0.0.0 hello world


 

4.安装Kibana

(1)获取kibana安装包,解压,进入目录:wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.1-linux-x86_64.tar.gz

(2)解压:tar -xzf kibana-6.4.1-linux-x86_64.tar.gz

(3)修改配置文件,这里我们需要修改两处地方:

elk结合zabbix架构图 elk有哪些组件组成_elk结合zabbix架构图_02

第一处是kibana运行的服务器host,这里很奇怪,我开始配置阿里云公网IP和127.0.0.1都不行,换成0.0.0.0就可以了,还没去研究,这里记录下。

第二处是elasticsearch的IP和端口。

(4)cd到kibana的文件下启动:bin/kibana

这个时候如果没问题我们就可以访问kibana的可视化界面了,通过阿里云公网IP访问,端口是5601:

elk结合zabbix架构图 elk有哪些组件组成_大数据_03

 

到此,ELK安装安装完毕,至于如何使用,之后再写两篇。