自由linux的博客_日志处理

logstash

elastics

earch

原创 2016-06-21 22:33:00 8634 阅读 1点赞 2收藏

Elasticsearch权威指南--集群

本文是基于Elasticsearch2.3写的1.一个空的集群如果启动单个Elasticsearch实例，没有数据和索引。那么集群就是如下形式：Node 节点，就是一个运行的Elasticsearch实例。一个集群Cluster包含一个或者多个具有相同cluster.name的节点。cluster.name在elasticsearch.yml中指定。一个集群中的节点共同分担整个集群的数据和压力。当

elasticsearch

原创 2016-04-21 22:16:36 1553 阅读

使用Logstash收集PHP相关日志

这里收集三种日志PHP的错误日志，PHP-FPM的错误日志和慢查询日志在php.ini中设置error_log = /data/app_data/php/logs/php_errors.log在php-fpm.conf中设置error_log = /data/app_data/php/logs/php-fpm_error.logslowlog = /data/app_data/php/logs/p

php-fpm

logstash

收集日志

原创 2015-05-04 14:34:27 6877 阅读

使用Logstash收集MongoDB日志并通过Zabbix报警

一应用场景描述在有些情况下，仅仅通过Zabbix去监控MongoDB的端口和各种状态还不够，MongoDB的日志监控也是很重要的。例如Mongos连接后端的Shard报SocketException错误等。二使用Logstash分析MongoDB日志要记录慢查询首先需要开启慢查询记录功能use jd05; db.setProfilingLevel(1,50) {&nbs

zabbix

mongodb

logstash

原创推荐 2015-04-23 10:22:17 10000+阅读 2点赞 1收藏 4评论

使用Logstash收集MySQL日志

一处理MySQL慢查询日志和错误日志MySQL的慢查询日志有两种记录方式，文件和表。MySQL的慢查询日志如下：/usr/local/mysql/bin/mysqld, Version: 5.5.21-log (Source distribution). started with: Tcp port: 3306&nb

mysql

logstash

原创 2015-04-21 10:45:53 10000+阅读 1评论

使用Logstash收集Nginx日志

尽量少使用grok进行过滤可以减轻logstash的负担，提高处理效率。首先将Nginx日志格式作调整log_format json '{"@timestamp":"$time_iso8601",'

Logstash

ELK

原创 2015-04-14 12:25:17 10000+阅读

使用Kibana4

Kibana4 需要Elasticsearch1.4.4以后版本从官网下载kibana-4.0.2-linux-x64.tar.gz新版使用node.js开发，自带WEB容器配置文件config/kibana.yml 默认使用5601端口，使用http://xxxxx:5601访问添加启动脚本/etc/init.d/kibana#! /bin/sh # From&n

kibana

原创 2015-04-10 18:49:47 1756 阅读

使用Logstash的grok过滤日志文件

可以使用Logstash的grok模块对任意文本解析并结构化输出。Logstash默认带有120中匹配模式。可以参见源代码logstash/patterns/grok-patternslogstash/lib/logstash/filters/grok.rbgrok的语法格式为 %{SYNTAX:SEMANTIC}SYNTAX是文本要匹配的模式，例如3.14匹配 NUMBER 模式，12

logstash

grok

原创 2015-04-10 13:25:13 10000+阅读 2收藏

部署ELK中央日志处理系统

ELKRedis作为Broker，用户中央Logstash和其他Logstash agent的缓冲。在中央Logstash上，Redis作为数据的输入来源，在其他Logstash agent上，Redis作为数据的输出。Central/data/app_platform/logstash/conf/central.confinput { redis {

部署

日志处理

ELK

原创 2015-04-07 19:08:55 4600 阅读 1点赞 2评论

Nginx,PHP-FPM,Redis,Twemproxy等的日志轮转

/etc/logrotate.d/nginx/data/app_data/nginx/logs/*.log { daily missingok &nb

Nginx

原创 2015-04-02 17:02:19 1286 阅读

Logrotate使用

$ rpm -qa|grep logrotate logrotate-3.7.8-17.el6.x86_64$ rpm -qi logrotate-3.7.8-17.el6.x86_64 Name : logrotate &n

logrotatein

原创 2015-03-30 14:03:00 1017 阅读

Rsyslog使用

1.Rsyslog介绍Rsyslog is Rocket-fast System for Log processing.Rsyslog是CentOS6系列默认的日志处理软件。Rsyslog基于模块化设计，提供高性能，安全的日志处理系统。Rsyslog是多线程的，支持TCP,UDP,TLS,RELP.Rsyslog实际上syslog的一个增强版本。2.安装RsyslogCentOS下默认已经安装了r

rsyslog

原创 2015-02-17 22:47:29 3651 阅读 1点赞 1评论

Elasticsearch 安装使用

Elasticsearch是一个全文搜索引擎。安装Elasticsearch时需要先安装Javawget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.zipunzip elasticsearch-1.4.2.zipcd elasticsearch-

安装

Elasticsearch

原创 2015-02-16 21:56:49 695 阅读

Kibana使用安装

1.Kibana介绍Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的。2.安装配置Kibanawget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.zipunzip kibana-3.1.2.zipmv kiban

kibana

原创 2015-02-10 11:22:52 1767 阅读

Logstash使用介绍

一应用场景描述最近在研究日志平台解决方案。最终选择使用目前比较流行的ELK框架，即Elasticsearch，Logstash，Kibana三个开源软件的组合来构建日志平台。其中Elasticsearch用于日志搜索，Logstash用于日志的收集，过滤，处理等，Kibana用于日志的界面展示。最核心的就是要先了解Logstash的工作原理。二 Logstash介绍Logstash是一款用于接收

使用

logstash

原创 2015-01-31 14:46:52 4546 阅读 2点赞 3评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Linux SA John

升级ELK到最新版本

Elasticsearch权威指南--集群

使用Logstash收集PHP相关日志

使用Logstash收集MongoDB日志并通过Zabbix报警

使用Logstash收集MySQL日志

使用Logstash收集Nginx日志

使用Kibana4

使用Logstash的grok过滤日志文件

部署ELK中央日志处理系统

Nginx,PHP-FPM,Redis,Twemproxy等的日志轮转

Logrotate使用

Rsyslog使用

Elasticsearch 安装使用

Kibana使用安装

Logstash使用介绍