1、概览本文主要讲解下如何编写Fluent Bit配置文件来采集和转发Kubernetes日志。如果对Kubernetes日志管理机制和Fluent Bit不熟悉，请先阅读《从 Docker 到 Kubernetes 日志管理机制详解》、《Kubernetes日志采集——Fluent Bit详细介绍（一）》、《Kubernetes日志采集——Fluent Bit插件详细配置（二）》这三篇博文。2、
转载
2024-03-02 09:25:25
212阅读
一.grep的作用 全称：Global search regular expression and print out the line 全面搜索研究正则表达式并显示出来 作用：grep命令是一种强大的文本搜索工具，根据用户指定的“模式”对目标文本进行匹配检查，打印匹配到行。由正则表达式或者字符及基本文本字符所编写的过滤条件二.grep的使用1.使用命令 -i ##忽略字母大小写 -v ##条件取
转载
2024-03-29 06:13:20
100阅读
简介 前面我们的nginx日志编码使用的json，logstash直接输入预定义好的 JSON 数据，这样就可以省略掉 filter/grok 配置,但是在我们的生产环境中，日志格式往往使用的是普通的格式，因此就不得不使用logstash的filter/grok进行过滤，下面我们就来讲下如何配置。配置1.nginx日志格式 为了帮助我们有效的理解grok的正则表达式，因此在这我们将日志
缘由写这篇文章的原因是因为在项目开发中需要使用日志收集框架，但是发现现有的日志收集工具并不能完全满足我们的需求。我们需要一些定制化的功能，涉及到读取Oracle日志，但是网上关于这方面的资料比较分散，不好找到全面的介绍。因此花费了很多时间，于是便打算记录下来。适用人员有一定fluentd基础的人，会一点ruby的就更好了FluentdFluentd是一款开源的日志收集工具，可以帮助您从各种不同的数
转载
2023-11-19 12:36:32
269阅读
1.nginx查日志脚本首先查看日志每个值对应的意思，根据这个去查请求的ip地址 log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
转载
2024-04-30 14:52:51
27阅读
作者：antwang前言Nginx日志对于统计、系统服务排错很有用。Nginx日志主要分为两种：access_log(访问日志)和error_log(错误日志)。通过访问日志我们可以得到用户的IP地址、浏览器的信息，请求的处理时间等信息。错误日志记录了访问出错的信息，可以帮助我们定位错误的原因。本文将详细描述一下如何配置Nginx日志。设置access_log访问日志主要记录客户端的请求。客户端向
转载
2024-03-01 23:26:53
129阅读
nginx日志管理Nginx日志主要分为两种：access_log访问日志：通过访问日志可以得到用户的IP地址，浏览器的信息，请求的处理时间等信息。error_log错误日志：错误日志记录了访问出错的信息，可以用来定位错误的原因。Nginx访问日志1 设置访问日志访问日志主要记录客户端的请求，客户端向Nginx服务器发起的每一次请求都记录在这里。具体要记录哪些信息可以通过log_format指令定
转载
2024-02-22 18:47:02
249阅读
# 如何过滤出MySQL慢查询数量
在MySQL数据库中，慢查询是指执行时间较长的查询语句，可能会对系统性能产生影响。因此，及时发现并优化慢查询是数据库管理的重要工作之一。本文将介绍如何通过MySQL自带的工具和方法来过滤出慢查询数量，并提供示例以帮助读者更好地理解。
## 步骤一：开启慢查询日志
首先，我们需要在MySQL配置文件中开启慢查询日志。编辑MySQL配置文件（一般位于`/etc
原创
2024-03-28 03:36:43
28阅读
概述日志收集框架有很多，logstash，flume，fluentd等等，这里我们使用fluentd 我们这里会尝试使用fluentd->elasticsearch->kibana搭建一个日志采集和展示平台 也可以使用fluent-plugin-kafka来把把采集的日志发送到kafka，然后在jstorm里对收集到的数据进一步加工处理，最后存入redis，流程为：fluentd-
转载
2024-07-19 09:06:39
118阅读
服务搭建流程概览1）确定需要收集的日志及位置 2）搭建日志收集服务：Elasticsearch + Kibana + Fluentd 3）验证日志收集成功（能够查看）集群环境概述操作系统：CentOS Linux release 7.4.1708 (Core) 集群版本：Kubernetes v1.16.2 软件版本：Docker version 19.03.8第一步、需要收集的日志syste
转载
2024-04-24 14:03:55
234阅读
目录1.ClickHouse 概述2.Clickhouse 特点2.1 列式存储2.2 DBMS的功能2.3 多样化引擎2.4 高吞吐写入能力2.5 数据分区与线程级并行2.6 性能对比3.Clickhouse 应用场景4.ClickHouse 不完美之处1.ClickHouse 概述 ClickHouse 是俄罗斯的Y
转载
2023-08-18 16:43:07
343阅读
如：过滤出8月30号22点到8月31号8点的secure日志日志格式：Aug 31 03:00:01 localhost crond[21772]: pam_limits(crond:session): unknown limit type 'proc'
Aug 31 03
原创
2016-08-31 09:37:45
10000+阅读
3评论
1.一个例子 项目日志生成在某个路径，如/var/log/project,里面有warn，info，error目录，分别对应不同级别的日志，需要采集这些日志。 需要采集特定格式的日志，如： [2018-11-24 08:33:43,253][ERROR][http-nio-8080-exec-4][ ...
转载
2021-08-20 09:15:00
1722阅读
2评论
EFK日志采集方案方案介绍实现目标：k8s集群所有节点container和kubelet服务日志采集、k8s集群所有pod日志采集并对自定义应用日志实现过滤和清洗操作。fluent bit采集：相较于fluentd而言，fluent bit更加轻量，且内置了pod日志解析插件和service日志采集功能无需编写复杂的日志处理配置。因此使用daemonset方式在每个节点部署fluent bit容器
转载
2024-08-12 12:49:36
462阅读
在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。 本文采用grok过滤器，使用match正则表达式解析，根据自己的log_format定制。1、nginx日志格式 log_format配置如下：
转载
2024-04-24 13:46:18
71阅读
关于nginx负载均衡策略配置，可参考nginx 负载均衡策略从nginx 1.9.13开始，默认情况下不重试非幂等请求（PUT、POST等），当在配置中增加失败重试配置时，如果后端服务器响应超时，Get请求会重新选择一台上游服务器进行重试，而POST请求则会返回504 Gateway Time-out，不会进行重试。可使用以下两种方式处理POST请求失败重试问题方式1想在1.9.13或更高版本上
转载
2024-02-24 09:19:39
76阅读
location ~ \.ico$ { log_not_found off;# access_log off;}access_log表示匹配以.ico结尾的地址，访问日志是否开启。log_not_found表示没有发现该资源是否记录错误日志。
原创
2016-12-23 11:15:56
1108阅读
转载 http://www.icyfire.me/2014/11/13/logstash-es-kibana.html安装参考http://www.cnblogs.com/yjf512/p/4194012.htmllogstash,elasticsearch,kibana三件套elk+redis 搭建nginx日志分析平台Elasticsearch + Logstash + Kibana
转载
精选
2015-07-02 17:41:02
2540阅读
fluent瞬态 我们调用的每个远程服务最终都会失败。 无论它们多么可靠，这都是不可避免的。
“一切都会一直失败” – Werner Vogels
这些失败可能来自多种因素。 网络问题，硬件问题，暂时不可用的服务，超出响应时间等。 其中一些失败可能会在短时间内自动解决，如果再次调用远程服务，它将立即成功响应。 我们称这些错误为暂时错误。 当我们遇到暂时性错误时，我们可以做一些事情
转载
2024-10-09 02:10:22
34阅读
# Python怎么过滤出符合条件的文件
在日常工作中，经常会遇到需要筛选出符合特定条件的文件的情况，比如找出某个目录下所有以".txt"结尾的文件。那么在Python中，我们可以通过一些方法来实现这个功能。
## 问题描述
假设我们有一个存储文件的目录，现在需要从这个目录中筛选出所有以".txt"结尾的文件，然后对这些文件做进一步的处理。
## 解决方案
### 步骤一：获取目录下所有
原创
2024-06-09 03:39:52
171阅读
