从零开始搭建一个ELKB日志收集系统
Oct.21.2016
log
elk 当今的软件开发多核以及分布已经成为了常态，基本上稍大型的应用都是多台机器分布式部署。分布式在提高性能的同时也带来了很多问题，今天我们只讨论一点，那就是如何处理多台机器线上系统的日志。以我司的某个应用T为例，部署在了百度云5台机子上，其中一台拥有公网IP，使用了百度云提供的负载均衡服务。
当你有十台机器需要监控时，你手动去添加是没有问题的。但是当你有五十台、上百台或更多服务器要监控时，你会怎么做 ？ Active Agent Auto-Registration 主要用于 Agent 主动且自动向 Server 注册。很好的解决了 Agent IP、系统、配置不统一等问题。 非常适合现在的云环境中。一、安装 Agent shell > cd /scripts ;
转载
2024-06-17 18:37:37
346阅读
对于互联网行业来说，最有价值的数据往往蕴含在服务的日志之中。从日志中，我们不仅仅可以获取到服务的使用量、服务效果、问题定位信息等，还可以通过监控系统及时地识别出服务的“健康”状态，规避风险，推动服务优化升级。在监控系统中，日志处理就是采集服务运行时生成的原始日志，根据用户配置的解析规则，从中提取可用数据，形成监控指标的过程，这个过程一般由监控系统的日志采集Agent完成。通用的日志采集Agent一
转载
2024-05-13 16:11:47
96阅读
最近接手维护一个日志系统，它用于对应用服务器上的日志进行收集然后提供实时分析、处理并最后将日志存储到目标存储引擎。针对这三个环节，业界已经有一套组件来应对各自的需求需求，它们是flume+kafka+hdfs/hbase。我们在实时分析、存储这两个环节，选择跟业界的实践相同，但agent是团队自己写的，出于对多种数据源的扩展需求以及原来收集日志的方式存在的一些不足，于是调研了一下flume的age
转载
2024-05-06 20:34:40
86阅读
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。通过agent接收日志，然后暂存起来，再发送到目的地。3.agent里面包含3个核心组件：source、channel、sink。 3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thr
转载
2024-01-27 15:35:28
104阅读
1、ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kibana三个开源工具组成,不过现在还新增了一个Beats，它是一个轻量级的日志收集处理工具(Agent)，Beats占用资源少。1）Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等2
转载
2024-02-28 08:36:03
88阅读
zabbix进程组成结构，默认情况下zabbix包含5个程序：zabbix_agentd、zabbix_get、zabbix_proxy、zabbix_sender、zabbix_server，另外一个zabbix_java_gateway是可选，这个需要另外安装。下面来分别介绍下他们各自的作用。进程介绍zabbix_agentd &nbs
转载
2024-04-29 19:45:36
54阅读
logagent是部署在每台服务器上的一个deamon进程，起着日志数据的传输通道。对外提供http服务拉取日志，结构如下： 其中，请求过滤器，负责访问源解析统计，权限认证等container：包含了正在访问的文件句柄集合，当日志滚动文件名变更发生时可以防止错误定位handler：获取日志数据的处理器，
转载
2024-03-29 09:50:17
82阅读
介绍这个架构 zabbix agent是装到被监控的机器上 zabbix agent 可以主动向zabbix server汇报数据；也可以是zabbix server主动来拉取 zabbix可以监控数据库，操作系统，磁盘，cpu，应用，监控的数据全部都拿到存到数据库里去 拿到数据之后是要给用户展示的，是有个web界面的，可以和用户进行交互 这个网站使用php写的，web服务可以用nginx也可以用
首先，了解Linux系统日志的五种分类：/var/log/messages ##系统服务及日志，包括服务的信息，报错等等
/var/log/secure ##系统认证信息日志
/var/log/maillog ##系统邮件服务信息
/var/log/cron ##系统定时任务信息
/var/log/boot.log ##系统启动信息日志管理服务
转载
2024-09-22 14:56:30
31阅读
Cluster的日志体系Cluster的日志体系：Oracle cluster不像数据库那样，具有丰富的视图、工具可以用来辅助诊断，他的日志和trace文件时唯一的选择。但不想oracle只有alert日志和集中trace文件，oraclecluster的日志体系比较复杂。 4：11g R2RAC 日志$GRID_HOME/log/：每个节
一、介绍：由于生产环境中Nginx访问日志很多，我们需要随时监控Nginx服务器返回的状态码，方便我们能及时定位相关问题。以下是按照分钟对数据进行抓取二、Zabbix_Agentd创建监控脚本1) 创建脚本之前核对Nginx的日志格式；我这里Nginx日志格式如下，使用 "" 分割日志参数。log_format main ' $http_x_forwarded_for" "$remote_us
转载
2024-04-28 19:31:15
20阅读
由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。大家都知道ELK技术栈是采集、
登陆IDRAC9 WEB管理界面，在菜单栏< 维护>下选择 在联网的情况下推荐完成SupportAssist的注册，根据提示安装ISM并进行信息登记。如暂不注册，则点击取消继续。进入SupportAssist界面，点击< 开始收集>确认要收集的数据及日志保存的地址后，点击< 收集>。存储日志默认为勾选状态。提示收集任务正在进行并显示收集进度，日志收集只
logstash logstash基于JRuby实现，可以跨平台运行在JVM上优点：主要的优点就是它的灵活性，这还主要因为它有很多插件。然后它清楚的文档已经直白的配置格式让它可以再多种场景下应用。这样的良性循环让我们可以在网上找到很多资源，几乎可以处理任何问题。劣势：Logstash 致命的问题是它的性能以及资源消耗（默认的堆大小是 1GB）。尽管它的性能在近几年已经有很大提升，与它的替
转载
2024-04-24 14:17:59
46阅读
在生产环境记录应用的运行日志已经成为惯例，但日志需要经过处理和分析才有意义，第三方日志管理工具的出现正旨在解决这个问题。软件分析公司Takipi负责产品市场的Josh Dreyfuss今日撰文，比较了三个有代表性的日志管理工具：Splunk、Sumo Logic和Logstash，从功能、易用性、资源占用等方面分析了它们的优缺点。\u0026#xD;\u0026#xD; 概述\u0026#xD;
转载
2024-05-17 06:26:12
60阅读
开源实时日志收集平台ELK由ElasticSearch、Logstash、Kibana三个开源工具组成，官方网址为：https://www.elastic.co/products在Elastic 5.0版本之后，官方又加入了Beats套件，然后把他们统称为Elastic Stack。 ElasticSearch：是一个开源的分布式搜索引擎，其特点有：分布式，零配置，自动发现，索引自动分片
转载
2024-04-03 13:02:21
70阅读
1. 传统架构
1.1. Rsync方式说明：在生产环境上部署rsync传输脚本并设置定时，按天或按小时将日志传输到日志收集服务器 1） 优点对生产服务器和日志收集服务器造成的压力较小数据较精确，且可以比较方便的重复运行2） 缺点不能实时或者方便的得到想要的统计数据不方便实施分布式需要对每种日志正价同步脚本和设置定时，维护起
转载
2024-07-29 16:41:29
34阅读
一、Zabbix-Agent客户端的安装一、Zabbix-Agent客户端的安装在前一篇文章《Zabbix介绍》有提到过，Zabbix客户端的数据采集方式可以分为SSH/Telnet/SNMP/Agent等，此处介绍用Agent方式对客户端数据进行采集。实验环境如下。①Zabbix-Server：192.168.10.67（主机名：server）②Zabbix-Agent：192.168.10.6
一、系统环境操作系统： Centos 6.4 64bitzabbix-agent 版本： Zabbix agent v2.2.7 (revision 50148) (24 October 2014)二、出现的问题zabbix-agent机器上，发现TIME_WAIT过多tcp 0 0 xxx.xx.161.183:10050 xxx.xx.161.174:59
转载
2024-06-17 23:40:15
52阅读
