说明: 本文只是对相应的功能进行简介,并不会具体介绍部署方案,因为所有的包都是使用的tar.gz格式解压直接可用的,如果有什么不懂的地方或是本人有说错的地方,欢迎大家提问和质疑,也欢迎大家一起交流学习。

环境:

 OS:ubuntu14.0

 Kernel:3.13.0-24-generic

 logstash:1.5.1

 elasticsearch:1.6.0

 kibana:4.1

 nginx:1.9.1

 tomcat:7.0

 java:1.7.0

Step1:

 所有ELK的安装包都可以去官网下载,虽然速度稍慢,但还可以接受,官网地址:

    https://www.elastic.co/

Step2:

 配置安装nginx,这里不做详细安装介绍,有需要请参考以下链接:

    http://note.youdao.com/share/?id=41198b582303e7cae269763f285f3bfc&type=note

 nginx日志格式配置:

    

log_format  www_log  '$remote_addr - $remote_user [$time_local] "$request" $request_time '
                     '$status $body_bytes_sent "$http_referer" '
                     '"$http_user_agent" "$http_x_forwarded_for"';

Step3:

 在Logstash1.5.1版本,pattern的目录已经发生改变,存储在/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.1.10/目录下,但是好在配置引用的时候是可以对patterns的目录进行配置的,所以本人在Logstash的根目录下新建了一个patterns目录。而配置目录在1.5.1版本中也不存在了,如果是rpm包安装的,可以在/etc/logstash/conf.d/下面进行配置,但个人测试多次,这样启动经常性的失败,目前还没有去分析原因(个人不推荐使用RPM包安装)。所以大家可以采用Nohup或者screen的方式进行启动

 专属nginx的pattern配置:

NGINXACCESS %{IP:client} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{HOST:domain} %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:useragent} "(%{IP:x_forwarder_for}|-)"

以上格式是本人在以下网址一点一点测试出来的,其实的每一个%后面跟的参数都对应了nginx日志的相应内容(如果有其它日志检索的需要,可以在“http://grokdebug.herokuapp.com/”进行格式的测试)。通过logstash的filter功能中的grok方法,引用相关的pattern,对日志内容进行分类传输给elasticsearch,这样才能在Kibana上根据标签检索想要的信息。

Step4:

 logstash启动配置(conf/log.conf):

input {
    file {
        type => "test_nginx"
        path => "/opt/nginx/logs/access.log"
        }
    file {
        type => "test_tomcat"
        path => "/opt/tomcat/logs/catalina.out"
        }
}
filter {
    grok {
        type => "test_nginx"
        pattern => "%{NGINXACCESS}"
        patterns_dir => ["/data/log_monitor/logstash/pattern"]
        }
    geoip {
        type => "test_nginx"
        source => "client"
        add_tag => "[geoip]"
        }
}
#说明,在这里引用了geoip模块,但是此模块在国内用起来不是很理想,国内的网络环境太复杂了。另外,配置的时候注意类型及其各个参数的对应,不然检索的时候可能会失败。
output {
    elasticsearch {
        type => "test_nginx"
        host => "192.168.0.1"
        }
    elasticsearch {
        type => "test_tomcat"
        host => "192.168.0.1"
        }
}

Step5:

建议安装elasticsearh的head扩展模块,可以通过网页查看集群及日志的状态,安装方法:

sh elasticsearch/bin/plugin -install mobz/elasticsearch-head

访问地址:

http://192.168.0.1:9200/_plugin/head/

Step6:

启动ELK

nohup sh logstash/bin/logstash -f logstash/conf/log.conf &
nohup sh elastic/bin/elastcisearch &
nohup sh kibana/bin/kibana &

编后语:看起来是不是很简单?本人在安装完成后,觉得十分不易,其它论坛网站也有不少文档可以参考,但是说的内容都不是很清晰。其实我个人也是看了许久官网文档介绍才搞清楚怎么回事,提醒一下,官方文档(虽然是英文的)已经说明的很清楚了,仔细发现与观察,很快就能掌握。目前正在深入学习Kibana相关的功能模块,如果有所成果,一定会再次分享!