ELK实战之ELK架构实用演示

一、ELK实用架构解析(1)用户通过nginx或haproxy访问ELK日志统计平台,IP地址为keepalived的vip地址。(2)nginx将请求转发到kibana(3)kibana到elasticsearch获取数据,elasticsearch是两台做的集群,数据会随机保存在任意一台elasticsearch服务器。(4)logstash①从redis中取出数据并发送到elasticsea

原创 点赞0 阅读10000+ 收藏2 评论0 2018-01-02

ELK实战之使用filebeat代替logstash收集日志

一、Filebeat介绍Filebeat是轻量级单用途的日志收集工具,用于在没有安装java的服务器上专门收集日志,可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。官方文档:https://www.elastic.co/guide/en/beats/filebeat/6.0/index.html二、Filebeat安装和配置1、filebeat安装#

原创 点赞0 阅读10000+ 收藏4 评论0 2018-01-02

ELK实战之logstash收集日志写入redis

一、部署redis1、下载redis[root@linux-node2~]#wgethttp://download.redis.io/releases/redis-4.0.6.tar.gz[root@linux-node2~]#tar-zxvfredis-4.0.6.tar.gz[root@linux-node2~]#mvredis-4.0.6/usr/loca/src[root@linux-no

原创 点赞1 阅读10000+ 收藏0 评论3 2018-01-02

ELK实战之通过TCP收集日志

一、TCP收集日志使用场景tcp模块的使用场景如下:有一台服务器A只需要收集一个日志,那么我们就可以不需要在这服务器上安装logstash,我们通过在其他logstash上启用tcp模块,监听某个端口,然后我们在这个服务器A把日志通过nc发送到logstash上即可。二、标准输出测试TCP模块[root@linux-node2~]#cat/etc/logstash/conf.d/tcp.confi

原创 点赞0 阅读6453 收藏0 评论0 2018-01-02

ELK实战之java日志收集

1、Java日志收集使用codec的multiline插件实现多行匹配,这是一个可以将多行进行合并的插件,而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并。https://www.elastic.co/guide/en/logstash/6.0/plugins-codecs-multiline.html语法例子:input{stdin{codec=>multiline{#

原创 点赞1 阅读10000+ 收藏0 评论1 2017-12-28

ELK实战之Tomcat的json日志收集

一、安装tomcat1、下载tomcat[root@linux-node2~]#wgethttp://apache.fayea.com/tomcat/tomcat-8/v8.5.20/bin/apache-tomcat-8.5.20.tar.gz[root@linux-node2~]#tar-zxfapache-tomcat-8.5.24.tar.gz[root@linux-node2~]#mva

原创 点赞0 阅读7386 收藏1 评论1 2017-12-28

ELK实战之收集Nginx的json格式日志

一、安装Nginx[root@linux-node1~]#yuminstallnginx-y[root@linux-node1~]#vim/etc/nginx/nginx.conf#修改日志格式为json格式,并创建一个nginxweb的网站目录log_formataccess_json'{"@timestamp":"$time_iso8601",''"host":"$server_addr",'

原创 点赞0 阅读10000+ 收藏0 评论0 2017-12-27

ELK实战之Kibana部署及message日志收集

一、Kibana安装kiabana下载地址:https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-x86_64.rpm[root@linux-node1~]#wgethttps://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-x86_64.rpm[root@linux-node

原创 点赞1 阅读10000+ 收藏1 评论3 2017-12-27

ELK实战之logstash部署及基本语法

一、logstash的安装1、logstash介绍Logstash是一个开源的数据收集引擎,可以水平伸缩,而且logstash是整个ELK当中拥有最多插件的一个组件,其可以接收来自不同源的数据并统一输入到指定的且可以是不同目的地。2、安装logstash环境准备:关闭防火墙和Selinux,并且安装java环境logstash下载地址:https://artifacts.elastic.co/do

原创 点赞0 阅读10000+ 收藏0 评论0 2017-12-27

ELKStack实战之Elasticsearch环境准备

一、ELKStack简介中文指南:https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/detailsELKStack包含:ElasticSearch、Logstash、KibanaElasticSearch是一个搜索引擎,用来搜索、分析、存储日志。它是分布式的,也就是说可以横向扩容,可以自动发现,索引自动分片,总之很强大。文档https:

原创 点赞0 阅读7597 收藏0 评论0 2017-12-26
写文章