ELK简介：
ELK=Elasticsearch+ Logstash + Kibana，是同一家公司开发的3个开源工具，可组合起来搭建海量日志分析平台，目前很多公司都在使用这种方式搭建日志分析平台进行大数据分析。
参考：初识ES数据库
Logstash介绍:
Logstash是一个完全开源的工具，它可以对你的日志进行收集、过滤、分析，支持大量的数据获取方法，并将其存储供以后使用（如搜索）。说到搜索，logstash带有一个web界面，搜索和展示所有日志。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。核心流程：Logstash事件处理有三个阶段：inputs→filters→outputs。是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。
传统日志收集存在的问题：
传统日志收集一般都是用log4j，slf4j，logback等一些日志插件，帮我们做日志存储并保存到本地，可配置按每天存储或指定日志文件大小等一些功能。在单体应用下这样做或许没啥问题，但是当做了集群或者是分布式系统中问题一下就暴露出来了。
例如：当系统出现异常我们需要查询某个日志时，我们需要这样做：
- 先定位到某个服务，确定该日志是哪个服务产生的。
- 由于服务做了集群会自动负载均衡，我们不知道该日志在哪个服务节点（实例）上，
需要依次登录到每个节点的服务器进行排查，当服务节点很多时可想而知这样的工作量是巨大的；而且日志文件一般很大查询相率也不高。
而ELK就可以帮我们解决这个痛点，Logstath将各服务节点的日志收集起来并集中存储到ES，ES强大的搜索功能可以帮我们实现快速查询，我们只需要利用Kibana可视化界面进行查询操作即可展示结果。
ELK日志收集原理图解：
注：Logstash三个核心功能Input（收集读取日志）、Filter（过滤日志信息）、Output（将日志存储到ES）。
在实际应用中，还需要引入消息队列如Kafka，后面在介绍。
ELK环境搭建
搭建顺序为Elasticsearch、Logstash，Kibana只是个图形化界面先搭后搭都不影响。
1. 安装ES与Kibana并启动
关于ES与Kibana的安装这里不赘述了，请参考：Elasticsearch入门（ES，Kibana可视化界面安装）
2. 安装Logstash
- 下载安装包：
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz - 解压：
tar -zcvf logstash-6.4.3.tar.gz - 在Logstash的config目录下放入myservice.conf文件（见下）
- 启动：
./logstash -f myservice.conf #进入logstash的bin目录下，启动时指定配置文件
myservice.conf文件内容如下：
input{
#从文件读取日志信息输送到控制台 path:这里测试ES的日志收集,就不单独搭建服务了
file{
# 要读取的日志文件，还可以是Kafk、数据库、MongoDB、Redis...
path => "/usr/local/elasticsearch-6.4.3/1ogs/myes.1og"
codec => "json" # 以JSON格式读取日志
type => "elasticsearch" # 索引类型，可自定义 如：order-service
start_position=>"beginning"
}
}
# filter{
#
# }
output{
# 标准输出,写入ES
# stdout{}
# 输出进行格式化，采用Rulby库来解析日
stdout{ codec => rubydebug }
elasticsearch {
# hosts:配置ES服务列表地址
hosts => ["192.168.2.101:9200"]
#index:根据每天日期创建索引 格式：es-YYYY.MM.dd 默认索引类型：doc
index => "es-%{+YYYY.MM.dd}"
}
}3. 测试是否成功
启动后我们查看到Logstash日志输出如下JSON字符串即表示成功：
4. 利用Kibana的DevTools进行查询（常用）
浏览器访问Kibana地址：http://192.168.2.101:5601
测试命令：
#### 例如今天产生的索引名为: es-2019.10.10
### 查看文档映射
GET es-2019.10.10/_mapping
### 所有字段message中匹配node-0的日志
GET es-2019.10.10/_search
{
"query": {
"match": {
"message": "node-0"
}
}
}5. 可视化界面查询
第一次进入Discover需先创建一个 es*，表示索引名为es开始的
ELK初体验就到这里了，后面将介绍ELK+Kafka实现分布式系统日志收集
