部署方案：filebeat+kafka+logstash+elasticsearch+kibana
Filebeat：轻量级日志采集器
Kafka：高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据
Logstash：实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网
ElasticSearch：分布式多用户能力的全文搜索引擎，基于RESTful web接口
Kibana：ElasticSearch的用户界面
服务器：
应用 | IP | 备注 |
kafka-1 | kafka集群 | |
kafka-2 | ||
kafka-3 | ||
kafka-manager | kafka管理界面 | |
zookeeper | 用于发现kafka集群 | |
logstash-1 | 2台loagstash消费kafka消息 | |
logstash-2 | ||
es-master | es的master节点，日志清理脚本 | |
es-master&data | master节点和存储节点 | |
es-data | es的存储节点 | |
es-data | es的存储节点 | |
kibana | 查询界面 |
应用部署：
1、Filebeat
下载地址：www.elastic.co/downloads/b… 本次采用版本：6.5.4
下载后进行解压，创建配置文件 beat-kafka.yml (默认的配置文件是filebeat.yml)
Filebeat，配置并不难，只需要配置将空的日志文件全路径和输出端的IP，默认输出是到ElasticSearch，需要调整输出到kafka（避免丢消息），具体配置可以参考：
2、Kafka
下载地址：kafka.apache.org/downloads 本次采用版本：2.12-2.1.0
下载后进行解压，修改kafka配置文件：server.properties
填写zookeeper地址（用于注册kafka）：
启动kafka： nohup ./kafka-server-start.sh /apps/svr/kafka/config/server.properties 2>&1 &
验证kafka是否启动正常：
1、新建topic： kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 1 --partitions 1 --topic test
2、检查topic是否生成正确：kafka-topics.sh --list --zookeeper :2181 kafka-topics.sh --describe --zookeeper ip:2181 --topic test
3、创建一个生产者：kafka-console-producer.sh --broker-list ip:9092 --topic test 然后随便输入一些字符
4、另起一个页面创建一个消费者：kafka-console-consumer.sh --bootstrap-server ip:9092 --topic test --from-beginning 能查看到生产者创建的数据
3、Logstash
下载地址：www.elastic.co/downloads/l… 本次采用版本：6.5.4
下载后进行解压，修改logstash配置文件kafka.conf (默认是logstash-sample.conf)，由于日志的过滤和合并已经在filebeat配置，logstash只需要配置input和ouput
input用于配置消息来源（即kafka集群），outpurt用于配置消息输出，输出地址为es的集群
4、Elasticsearch
下载地址：www.elastic.co/downloads/e… 本次采用版本：6.5.4
下载后解压，修改配置文件elasticsearch.yml，其中node.data 和node.master需要注意，node.data为true（存储节点），node.master为true（master节点），两者都不为true（分发节点），
集群情况下需要额外配置transport.tcp.port ，用于内部tcp交流
启动es：nohup ./elasticsearch 2>&1 &
5、Kibana
下载地址： https://www.elastic.co/downloads/kibana 本次采用版本：6.5.4
解压后修改配置文件kibana.yml，
启动kibana：nohup ./kibana 2>&1 &
