简介
Logstash 是一个开源的数据采集引擎。
Logstash 就像是一个管子，左面接数据源接收数据，右面接存储目的地，管子中间有过滤器，对接收到的数据进行过滤，只存储符合要求的数据。
例如
左面可以对接 日志文件、Reids、Kafka ……
右面可以对接 Elasticsearch、Kafka、MongoDB……
所以 Logstash 的核心构成就是 input、filter、output。
Logstash 可以整合那么多技术，与每个技术进行对接时，是不是都需要我们自己写代码呢？
Logstash 已经准备了200多个插件，接入这些主流技术时，只需要简单配置一下就行了，在不满足需求时，也可以自己进行扩展。
下面就实际体验一下Logstash，看看如何对接 Elasticsearch、Redis。
安装
Logstash 不需要安装，只要已经安装好了JAVA环境，下载解压后就可以用。
下载
https://www.elastic.co/downloads/logstash
解压
tar zxvf logstash-5.0.2.tar.gz
运行
进入解压目录，执行bin目录下的logstash命令
cd logstash-5.0.2
bin/logstash -e 'input { stdin { } } output { stdout {} }'这个命令是在启动时指定了一个简单的配置：input 和 output 都是标准的输入输出 - 屏幕
启动过程需要一小段时间，等待一下，启动完成后，会显示信息“Successfully started Logstash ... ”
然后输入一个字符串试试，例如
hello world
就会得到一条反馈
2016-12-07T08:38:18.711Z MacbookPro.local hello world
这样我们就完成了一个最简单的体验。
输出到Elasticsearch
上个例子中把output指向了屏幕，现在试试输出到 elasticsearch
使用下面的命令启动logstash
bin/logstash -e 'input { stdin { } } output { elasticsearch { } }'input 还是屏幕，output 指向了 elasticsearch，其中没有任何参数，就是使用默认参数，连接到本地的9200端口，如果是其他地址，可以通过参数 host 指定。
启动后，会自动在 elasticsearch 中创建索引，查看一下 es 的所有索引
curl 'localhost:9200/_cat/indices?v'
会看到一个 logstash 开头的索引
然后在 logstash 中随意输入字符串测试一下，这时就没有反馈信息了
到 elasticsearch 中查看一下
curl -XGET 'localhost:9200/logstash-2016.12.03/_search?pretty' -d'
{
"query": { "match_all": {} },
"size": 100
}'会显示出刚刚输入的字符串。
从Redis读取数据
下面把input改为redis，output还使用屏幕，便于查看
新建配置文件 conf/redis.conf
input {
redis {
data_type => "pattern_channel"
key => "logstash-*"
host => "localhost"
port => 32768
}
}
output {
stdout { codec => rubydebug }
}input 中配置了redis的连接信息和key的匹配规则
output 中的 codec 用来对输出信息进行美化
启动
bin/logstash -f conf/redis.conf
启动完成后，等待redis的数据
然后在redis中输入命令
PUBLISH logstash-demo "hello world"
在logstash的控制台中就可以看到接收到的信息：
{
"@timestamp" => 2016-12-07T09:37:51.533Z,
"@version" => "1",
"message" => "hello world",
"tags" => [
[0] "_jsonparsefailure"
]
}小结
上面我们体验了3个示例：
1）最简单的屏幕输入屏幕输出
2）屏幕输入，输出到elasticsearch
3）Redis输入，屏幕输出
可以感受到logstash的简单便利和使用方法。
ELK是一套很强大的组合，以后再深入介绍，希望本文能让您明白了logstash的使用思路。
