Windows系统+ELK+Logback 搭建日志收集服务器
1. ELK是什么?
ELK是由Elasticsearch、Logstash、Kibana这3个软件的首字母缩写。
Elasticsearch是一个分布式搜索分析引擎,稳定、可水平扩展、易于管理是它的主要设计初衷
Logstash是一个灵活的数据收集、加工和传输的管道软件
Kibana是一个数据可视化平台,可以通过将数据转化为酷炫而强大的图像而实现与数据的交互将三者的收集加工,存储分析和可视转化整合在一起就形成了 ELK 。
2. ELK流程
ELK的流程应该是这样的:Logback->Logstash->(Elasticsearch<->Kibana)。
ELK流程分为以下几步:
(1)应用程序产生出日志,由logback日志框架进行处理。
(2)将日志数据输出到Logstash中
(3)Logstash再将数据输出到Elasticsearch中
(4)Elasticsearch再与Kibana相结合展示给用户
3. ELK官网
https://www.elastic.co/cn/downloads?elektra=home&amp&storm=banner

ELk采集日志方案 elk收集windows日志_ELk采集日志方案

4. 环境配置
4.1 基础环境
jdk 1.8 安装完成后,配置JAVA_HOME,如下图所示:

ELk采集日志方案 elk收集windows日志_elasticsearch_02

在cmd命令窗口中运行java -version命令,如果现实如下结果,表示安装成功:

ELk采集日志方案 elk收集windows日志_下载安装_03


4.2 下载安装

Kibana下载安装请参考:

Elasticsearch下载安装请参考:

Logstash下载安装请参考:

4.3 配置Elasticsearch 

4.4 配置logstash

在logstash文件夹的bin目录里新建 logstash.conf 配置文件,具体内容如下,具体参数可以自定义:

4.5 head插件安装
es5以上就需要安装node和grunt,所以安装head插件的前提,需要把node和grunt安装好。
(1)安装node (请参考:)
(2)安装grunt
在node安装路径下,使用命令安装:npm install -g grunt-cli 安装grunt

npm install -g grunt-cli

ELk采集日志方案 elk收集windows日志_elasticsearch_04


安装结束后,使用命令grunt -version查看是否安装成功,出现如下截图,说明安装成功。

ELk采集日志方案 elk收集windows日志_下载安装_05

(3) 下载安装head插件
下载地址:https://github.com/mobz/elasticsearch-head 

ELk采集日志方案 elk收集windows日志_下载安装_06

下载后的 elasticsearch-head-master 压缩文件为:

ELk采集日志方案 elk收集windows日志_ELk采集日志方案_07

解压elasticsearch-head-master.zip包,解压后的文件为:

 

ELk采集日志方案 elk收集windows日志_ELk采集日志方案_08

(4) 安装pathomjs
在dos窗口进入到head路径下,使用命令npm install 安装 pathomjs
命令:

npm install

ELk采集日志方案 elk收集windows日志_elasticsearch_09

(5) 启用服务
安装完成后执行grunt server 或者npm run start 运行head插件,如果不成功重新安装grunt。成功如下
命令:

grunt server

ELk采集日志方案 elk收集windows日志_下载安装_10

(6) 浏览器下访问 http://localhost:9100/

ELk采集日志方案 elk收集windows日志_elasticsearch_11

解决未连接问题:
修改elasticsearch.yml,增加跨域的配置(需要重启es才能生效)

http.cors.enabled: true
http.cors.allow-origin: "*"

ELk采集日志方案 elk收集windows日志_ELk采集日志方案_12

5. 启动服务操作流程
(5.1) 启动elasticsearch服务
进入D:\ruanjian\elasticsearch-7.6.2-windows-x86_64\elasticsearch-7.6.2\bin目录下,双击elasticsearch.bat启动elasticsearch服务

ELk采集日志方案 elk收集windows日志_下载安装_13


(5.2) 运行运行head插件

进入D:\ruanjian\elasticsearch-head-master目录下,执行 npm run start 命令

ELk采集日志方案 elk收集windows日志_elasticsearch_14


(5.3) 启动logstash服务

进入D:\ruanjian\logstash-7.6.2\bin目录下,执行 logstash -f logstash.conf 命令

ELk采集日志方案 elk收集windows日志_Elastic_15


(5.4) 启动Kibana服务

进入D:\ruanjian\kibana-7.6.2-windows-x86_64\bin目录下,双击kibana.bat启动Kibana服务

ELk采集日志方案 elk收集windows日志_ELk采集日志方案_16

(5.5) 在浏览器中输入:http://localhost:5601/,如果出现如下界面,表示服务启动成功:

ELk采集日志方案 elk收集windows日志_下载安装_17

(5.6) 创建kibana索引

ELk采集日志方案 elk收集windows日志_elasticsearch_18

ELk采集日志方案 elk收集windows日志_Elastic_19

ELk采集日志方案 elk收集windows日志_下载安装_20

ELk采集日志方案 elk收集windows日志_Elastic_21

ELk采集日志方案 elk收集windows日志_ELk采集日志方案_22

(5.7) 点击Discover

ELk采集日志方案 elk收集windows日志_Elastic_23

ELk采集日志方案 elk收集windows日志_ELk采集日志方案_24

到此,所有服务安装完成,平台搭建完成。