前段时间，老大叫我在新闻服务上，查看下redis的read time out的异常，我用linux命令查，感觉有点麻烦，所以就自己搭了一个elk的日志收集系统。注意这里只能在本地分析日志文件，如果日志文件在别的主机上，在下一章会进行讲述。我采用了很笨的方法，我把要分析的日志拷贝到本地主机上，然后在本地虚拟机上创建了一个elk系统。这里先给出我要分析的日志格式，不过我只要error的日志，其他级别的
转载
2024-10-28 11:31:57
4阅读
ELK：开源搜索与分析技术栈（2）一、Elaticsearch Java客户端1. Ela2 Elasticsearch官方提供的Java客户端分为：Java API Client（Transport）和Java Rest Client（RestAPI）两种。1.1 Java API Client （Transport）默认连接的是9300端口，基于TCP传输协议，底层基于netty框架（一种提供
List接口概述
有序的 collection（也称为序列）。此接口的用户可以对列表中每个元素的插入位置进行精确地控制。用户可以根据元素的整数索引（在列表中的位置）访问元素，并搜索列表中的元素。
Collection将集合划分为两大类：**
List集合
Set集合
List接口的特点
有序【存储有序】
可重复
可以存储 null值
部分子集合线程安全，部分不安全 例如 ArrayLi
转载
2024-06-20 19:22:56
15阅读
文章目录一、部署Elasticsearch软件1、安装 Elasticsearch 软件2、添加elasticsearch群集3、常见群集管理监控命令二、安装Elasticsearch-head插件1、本机安装2、浏览器插件安装三、构建es+kibana+filebeat架构（小型）1、安装kibana2、安装filebeat3、修改日志格式为json四、构建filebeat+redis+logs
本节书摘来自华章出版社《ELK Stack权威指南（第2版）》一书中的第1章，第1.3节，作者 饶琛琳 1.3 配置语法Logstash社区通常习惯用Shipper、Broker和Indexer来描述数据流中不同进程各自的角色，如图1-2所示。不过我见过很多运用场景里都没有用Logstash作为Shipper，或者说没有用Elasticsearch作为数据存储，也就是说也没有Indexer。所以，
syslog是 Unix 系统的一个常见组件，用于执行系统日志记录活动。 syslogd 是它的守护进程，syslogd 从一组日志源（如 /dev/log 和 /dev/klog ）中读取数据，并按照 /etc/syslog.conf 中的说明处理这些日志消息。通过调用syslog()，可将应用程序日志消息记录到 syslog 中。syslog 消息采用一种包含可选优先级和设备的标准
ELK是elasticsearch+logstash+kibana的组合，是一款日志收集解决方案的简写，而EFK是elasticsearch+filebeat+kibana的组合，解决同样的问题，它们之间的区别就是logstash与filebeat的区别。1、既有ELK，为何又再弄个EFK呢？是因为logstash是使用java语言编写的，在实际使用中，明显存在耗资源较大，运行占用CPU和内存高等
转载
2024-04-19 16:58:05
132阅读
filebeat+logstash收集错误日志发送邮件提醒典型ELK应用架构因为只收集错误日志并且数据量并不是非常大所以简化流程使用filebeat+logstash发送异常日志软件版本说明filebeatfilebeat-8.4.3-linux-x86_64.tar.gz日志采集器logstashlogstash-7.17.7-linux-x86_64.tar.gz日志收集、过滤、转发一、fil
转载
2024-06-03 20:20:49
99阅读
日志主要包括系统日志、应用程序日志和安全日志等。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理。开源
转载
2024-10-28 11:39:25
60阅读
一、传统系统的日志收集的问题在传统项目中，如果在生产环境中，有多台不同的服务器集群，如果生产环境需要通过日志定位项目的Bug的话，需要在每台节点上使用传统的命令方式查询，这样效率非常低下。 通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服
转载
2024-09-23 16:40:10
85阅读
1.下载相关软件及插件http://www.elastic.co --- > 产品 --- > elasticsearch、logstash、kibana、filebeat等可以下载 tar、zip、rpm等多种格式，具体想用哪个需要按自己的需求选择或wget https://download.elastic.co/elasticsearch/release/org/elasticse
转载
2024-05-22 13:40:10
97阅读
系列文章目录第一节 ElasticSearch概述 1.1 ElasticSearch8.2.0最新版本下载以及安装 1.2 ElasticSearch8.2.0遇到的问题 第二节 Elasticsearch-head概述 1.1 ElasticSearch-head最新版本下载以及安装 1.2 ElasticSearch-head遇到的问题 第三节 Logstash概述 第四节 Kibana概述
转载
2024-10-28 10:13:03
46阅读
目录一、log4cplus介绍二、log4cplus下载三、log4cplus配置3.1 打开解决方案3.2 进行相应设置3.3 目标程序的配置四、测试Demo 一、log4cplus介绍log4cplus是C++编写的开源的日志系统，前身是java编写的log4j系统，受Apache Software License保护，作者是Tad E. Smith。log4cplus具有线程安全、灵活、以
转载
2024-09-30 21:28:50
96阅读
目录一、为什么要使用ELK二、ELK作用二、组件一、elasticsearch特点二、logstash工作过程INPUT（输入）FILETER(过滤)OUTPUTS（输出）三、kibana三、架构类型ELKELKKELFKELFKKEFK四、构建ELk集群一、环境配置二、安装node1与node2节点的elasticsearch三、在node1安装elasticsearch-head插件四、nod
转载
2024-10-28 10:41:43
555阅读
1.简单的将日志打印到屏幕
import logging
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
屏幕上打印:
WARNING:root:This is warning message
默认情况下，lo
转载
2023-10-05 14:53:58
0阅读
通过syslog接收远程日志 通过syslog接收远程主机的日志，需要做一些环境配置。 客户机A通过syslog将日志信息发送到服务主机B（或称日志采集服务器）。以下说明配置过程（我的实验环境是，客户机A：Solaris 10，服务主机B：redhat linux企业服务器版）： www.2cto.com 客户机A配置：vi /etc/sys
转载
2023-10-07 13:56:03
258阅读
syslog-ng部署： 用于接收交换机输出的日志。 syslog-ng安装很简单，可以顺便搜一下，文章有很多。我是yum直接安装的。 syslog-ng配置：vi /etc/syslog-ng/syslog-ng.conf 配置文件需要添加source 和destination#设置接收日志的协议和端口，localhost填写本机IP地址
source s_remote {
tc
转载
2023-08-30 22:58:39
150阅读
目录一.ELK 概述1.ELK简介2.使用ELK原因3.完整日志系统基本特征4.ELK 的工作原理二.ELK日志分析系统部署节点部署信息1.ELK Elasticsearch 集群部署（==在Node1、Node2节点上操作==）①环境准备②部署 Elasticsearch 软件③安装 Elasticsearch-head 插件2.ELK Logstash 部署（==在 Apache 节点上操作
转载
2024-08-06 12:48:55
493阅读
1、环境，基于java开发环境（jdk1.8及以上，node.js） 2、首先下载elk三剑客(这里以7.6.2为例子，elk需要版本统一) 连接：https://www.elastic.co/cn/downloads/past-releases#elasticsearch （e） https://www.elastic.co/cn/downloads/past-releases#logstash
转载
2024-04-21 15:38:53
44阅读
syslog.conf的格式 /etc/syslog.conf文件中的一项配置记录由“选项”(selector)和“动作”(action)两部分组成，两者间用tab制表符进行分隔（使用空格间隔是无效的）。而“选项”又有一个或多个形如“类型.级别”格式的保留字段组合而成，各保留字段间用分号分隔。如下所示：类型.级别[；类型.级别] 'TAB' 动作 类型：
转载
2024-04-30 15:26:04
19阅读
