一、简介: ELK为Elasticsearch、Logstash和Kibana三个组件组成: Elasticsearch是一款开源分布式搜索引擎,它的特点有:分布式、零配置、自动发现、索引自动分片、索引副本机制、restful风格接口、多数据源等。 Logstash是一款完全开源的日志收集、分析、存储的软件。其可以对收集的日志进行格式化处理。 Kibana可以为Elasticsearch和Logstash的日志分析提供友好的web展示界面,可以进行日志汇总、分析和搜索等。 Filebeat是一个以logstash-forwarder的源码为基础的日志收集器,以客户端的形式安装在要被监控日志的服务器上,监控日志目录或日志文件(以查看文件尾的形式),然后将日志数据转发给Logstash解析或者Elasticsearch建立索引。

二、下载地址: 官网地址:https://www.elastic.co/downloads 对应版本软件下载地址: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gz https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz

三、ELK工作原理图

四、服务器及环境说明 1、服务器:

2、软件说明

五、配置基础环境 1、关闭所有服务器的防火墙及selinux 2、server-1与server-2服务器上配置JDK环境 #rpm -ivh jdk-8u131-linux-x64.rpm 3、配置系统参数 #echo "vm.max_map_count = 655360" >>/etc/sysctl.conf && sysctl –p 编辑/etc/security/limits.conf文件,新增以下内容 * soft nofile 65536

  • hard nofile 65536
  • soft nproc 65536
  • hard nproc 65536 六、安装部署 1、server-1安装elasticsearch(所有源码包均下载至/opt) #cd /opt/ELK #tar xf elasticsearch-5.4.1.tar.gz && mv elasticsearch-5.4.1.tar.gz elasticsearch #cd elasticsearch/config Elasticsearch的配置信息 新建es普通用户启动服务 #useradd es #chown –R es.es /opt/ELK/elasticsearch #su es #cd /opt/ELK/elasticsearch 启动服务 #nohup bin/elasticsearch & 查看端口监听状态

2、server-1安装Kibana #cd /opt/ELK #tar xf kibana-5.4.1-linux-x86_64.tar.gz && mv kibana-5.4.1 kibana #cd /opt/ELK/kibana 启动服务 #nohup bin/kibana & 在server-1上安装nginx,配置将nginx的80端口代理至kibana监听的5601端口上(配置忽略) 3、server-2上安装Logstash #cd /opt #tar xf logstash-5.4.1.tar.gz && mv logstash-5.4.1 logstash #cd logstash/bin 启动服务 #nohup ./logstash –f 1.conf & 4、server-3上安装Filebeat #cd /opt #tar xf filebeat-5.4.1-linux-x86_64.tar.gz && mv filebeat-5.4.1 filebeat 编辑filebeat.yml文件 启动服务 #nohup ./filebeat & 七、测试 通过web界面访问,创建index patterns 查看日志

以上为ELK的单节点部署及简单使用,后续分享集群部署及高级用法。