1.rsyslog的server配置 [root@VM_0_34_centos 0413]# cat /etc/rsyslog.conf |egrep -v '^#|^$' $ModLoad imuxsock # provides support for local system logging (
原创
2023-06-20 09:10:48
154阅读
# Kubernetes 日志收集与分析指南
在现代的微服务架构下，Kubernetes 已成为部署和管理容器化应用的热门选择。有效的日志收集与分析对于监控和故障排查至关重要。本篇文章将向新手开发者介绍如何在 Kubernetes 中实现日志收集与分析，包括每一步需要执行的代码和详细注释。
## 整体流程
首先，我们需要定义一个大致的工作流程。以下是实现日志收集与分析的主要步骤：
| 步骤
目录一、ELK简介二、下载源码或二进制包三、配置java环境四、准备elk启动账户五、配置elasticsearch5.1 解压二进制包5.2 准备配置文件5.3 配置文件参数注释5.4 修改jvm.option参数5.5 修改内核参数5.6 配置环境变量5.7 启动es服务六、配置kibana6.1 解压二进制包6.2 修改配置文件6.3 配置环境变量6.4 启动服务七、配置logstash7.
kube-proxy踩坑日志（三）根据某同事反馈，在某环境中，创建容器化的kafka集群的时候，发现调度到节点上的kafka的容器起不来，通过查看kafka容器的日志，发现日志中报错，端口xxxx已经被使用，通过 ss -lptn | grep xxxx发现对应的进程居然是kube-proxy。（环境中kube-proxy使用的是iptables模式）关于kube-proxy为什么要监
转载
2023-08-30 16:37:33
202阅读
目录： 一、logging四大组件 1. 日志器Logger 2. 处理器Handler 3. 过滤器Filter 4. 格式器Formatter 二、Logging的工作流程： 三、设置日志级别 四、输出日志记录 五、日志记录配置 六、其它实用的方法 一、logging四大组件： 记录器（Logg ...
转载
2021-08-12 12:01:00
291阅读
2评论
// 1. 统一日志处理
// Logback 使用
// 日志级别 error warn info debug 一般 info
// 设置 日志 在配置文件中 application.properties 设置
//#设置日志 级别
// logging.level.root=warn
// 把日志写入文件 使用日志工具类
// 1. log4j
// 2. Logback 使用
转载
2023-07-27 23:01:04
154阅读
使用AOP进行操作日志和异常日志处理。操作日志：1、定义annotation，可参考自己的需要进行修改@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
public @interface Log {
// 模块
String model();
// 类型
int type();
/
转载
2023-07-05 15:29:49
98阅读
日志收集是一个很普遍的需求，各个服务的log日志，打点日志都需要收集起来做离线etl或实时分析。日志收集工具也有很多开源的可供选择，flume, logstash, filebeat等等。 目前360商业化最主要的日志收集场景是投放引擎端的打点日志收集，中间件服务日志收集，这两种场景都是日志先持久化在本地，然后通过日志收集工具收集。技术选型投放引擎对资源占用比较敏感， 所以
DevOps日志收集分析工具：提升开发运维效率的利器
随着软件开发和运维的不断发展，DevOps（Development and Operations）已经成为当今IT行业的热门议题。DevOps的目标是通过协作、自动化和监控等方法，让软件开发和运维团队能够更加高效地工作。而在DevOps实践中，日志收集和分析工具被广泛应用，成为了一个不可或缺的利器。
日志是软件开发和运维过程中产生的重要信息
# Java 批量日志收集分析
## 1. 概述
在开发过程中，我们通常会遇到需要收集和分析大量日志的情况。Java 提供了许多强大的库和工具，使我们能够轻松地实现日志的收集和分析。本文将指导你完成一个简单的批量日志收集和分析的实现过程。以下是整个流程的概览：
| 步骤 | 描述 |
| --- | --- |
| 1 | 定义日志格式 |
| 2 | 收集日志 |
| 3 | 解析日志 |
YUM 安装logstash下载安装公钥： rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch创建logstash.repo: vim /etc/yum.repos.d/logstatsh.repo [logstash-5.x]
name=Elastic repository for
原创
2017-08-02 22:57:43
1477阅读
Linux ELK初体验 搭建架构安装步骤JDK 在环境配置中，主要介绍Mac和linux配置，windows系统大致相同，当然，前提是大家都安装了JDK1.8及以上版本~[root@VM_234_23_centos ~]# java -version
java version "1.8.0_161"
Java(TM) SE Runt
filebeat简介及配置说明一、Filebeat简介二、安装使用（windows和linux安装包）1.下载并解压filebeat2.编辑配置文件filebeat.yml3.启动三、配置文件详细说明 一、Filebeat简介Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kaf
日志清理 Kafka将消息存储在磁盘中，为了控制磁盘占用间的不断增加就需要对消息做一定的清理操作。Kafka 中每个分区副本都对应一个Log ，而Log又可以分为多个日志分段，这样也便于日志的清理操作。 Kafka 提供了两种日志清理策略。日志删除（Log Retention）：按照一定的保留策略直接删除不符合条件的日志分段。日志压缩（Log Compaction）：针对每个消息的key进行整合，
转载
2023-09-02 22:12:00
130阅读
搭建kafka的日志收集平台（原理）项目描述：项目环境：项目原理：第一部分：user访问nginx web服务第二部分：kafka和zookeeper2.1、kafka是什么？为什么要使用kafka？2.1.1、 kafka是什么？2.1.2、kafka中有什么？2.1.3、kafka如何保证高可用2.1.4、kafka如何保证数据的一致性2.1.5、fakfa中的ISR2.1.6、kafka存
一、
原创
2021-09-03 16:14:46
2842阅读
点赞
H2题外内容：因本IIS服务器经过硬件负载均衡进行代理转，导致IIS无法直接识别出外部客户端IP地址，因此需要安装x_forward_for可能用于识别，参考如下文章：https://blog.csdn.net/hzfw2008/article/details/105066565/H2一、Windows下载安装Logstash下载地址：https://www.elastic.co/cn/downl
原创
2021-09-23 14:43:31
1162阅读
点赞
# elk收集分析nginx access日志首先elk的搭建按照这篇文章[使用elk+redis搭建nginx日志分析平台](http://.cnblogs.com/yjf512/p/4199105.html)说的，使用redis的push和pop做队列，然后有个logstash_index...
原创
2022-01-18 13:29:15
351阅读
1、GC日志参数JVM的GC日志的主要参数包括如下几个：-XX:+PrintGC输出GC日志 -XX:+PrintGCDetails输出GC的详细日志 -XX:+PrintGCTimeStamps输出GC的时间戳
原创
精选
2023-07-17 14:18:22
219阅读
