前言本篇文章会从一些nginx上实用的插件进行介绍，以及应对后端服务出现故障处理、高并发限流、黑白名单插件、Nginx第三方插件的应用。这里包括爬虫限流、以及恶意请求，这些常见的场景下的处理。代理服务故障处理当请求过来，有一台服务器可能挂掉，然后nginx可能挂掉。以及 请求有一千五百万，但是所有服务器处理性能不够。以及出现故障时，主动健康检查支持不够，nginx； 被动健康检查 ngx
转载
2024-04-28 14:24:04
99阅读
1、概览本文主要讲解下如何编写Fluent Bit配置文件来采集和转发Kubernetes日志。如果对Kubernetes日志管理机制和Fluent Bit不熟悉，请先阅读《从 Docker 到 Kubernetes 日志管理机制详解》、《Kubernetes日志采集——Fluent Bit详细介绍（一）》、《Kubernetes日志采集——Fluent Bit插件详细配置（二）》这三篇博文。2、
转载
2024-03-02 09:25:25
212阅读
在上一篇《在 Kubernetes 集群中使用 MetalLB 作为 LoadBalancer（上）》中，我们使用 MetalLB 的 Layer2 模式作为 LoadBalancer 的实现，将 Kubernetes 集群中的服务暴露到集群外。还记得我们在 Configmap 中为 MetalLB 分配的 IP 地址池么？apiVersion: v1
kind: ConfigMap
metada
转载
2024-08-29 15:54:42
86阅读
day 152.3.23. DEFINE_PROFILEexample 1-压力分布example 2-速度、湍流动能和湍流耗散率分布example 3-固定速度UDFexample 4-壁面产热率分布example 5-作为物理流动时间函数的质量流量UDFexample 6-质量流量入口的质量流量UDF 2.3.23. DEFINE_PROFILEDEFINE_PROFILE可以定义随空间坐标
转载
2024-03-26 23:08:54
141阅读
简介 前面我们的nginx日志编码使用的json，logstash直接输入预定义好的 JSON 数据，这样就可以省略掉 filter/grok 配置,但是在我们的生产环境中，日志格式往往使用的是普通的格式，因此就不得不使用logstash的filter/grok进行过滤，下面我们就来讲下如何配置。配置1.nginx日志格式 为了帮助我们有效的理解grok的正则表达式，因此在这我们将日志
Nginx日志的指令主要有两条：log_format，设置日志的格式access_log，指定日志文件的存放路径、格式和缓存大小两条指令在Nginx配置文件中的位置可以在http{……..}之间，也可以在虚拟主机之间，即server(…….)两个大括号之间。log_format 语法如下： log_format name format [format …] name表示定义的格式名称(name名
转载
2024-06-05 13:14:31
67阅读
1. Nginx服务的信号控制1.1.Nginx服务的信号控制调用命令为 kill -signal PIDsignal:即为信号；PID即为获取到的master线程ID1. 发送TERM/INT信号给master进程，会将Nginx服务立即关闭。kill -TERM PID / kill -TERM `cat /usr/local/nginx/logs/nginx.pid`
kill -INT
转载
2024-04-18 11:30:00
81阅读
fluentd是一个开源的日志收集系统，能够收集各式各样的日志, 并将日志转换成方便机器处理的json格式。fluentd日志架构安装不同操作系统的安装方式不同，具体可以参考:另外在生产环境中安装Fluentd之前，也需要对操作系统做一些配置，如:设置好NTP时间同步调整允许操作的文件符最大个数优化内核中与网络相关的参数等具体配置可以参考:本文为了便于快速测试，直接使用fluentd的docker
官网地址：https://www.fluentd.org/下载地址：https://www.fluentd.org/downloadFluentd文档地址：https://docs.fluentd.org/installationFluentd Bit文档地址：https://docs.fluentbit.io/manual/ Fluentd 和 Fluent Bit： &nb
目录1.ClickHouse 概述2.Clickhouse 特点2.1 列式存储2.2 DBMS的功能2.3 多样化引擎2.4 高吞吐写入能力2.5 数据分区与线程级并行2.6 性能对比3.Clickhouse 应用场景4.ClickHouse 不完美之处1.ClickHouse 概述 ClickHouse 是俄罗斯的Y
转载
2023-08-18 16:43:07
343阅读
Nginx日志的指令主要有两条：log_format，设置日志的格式access_log，指定日志文件的存放路径、格式和缓存大小两条指令在Nginx配置文件中的位置可以在http{……..}之间，也可以在虚拟主机之间，即server(…….)两个大括号之间。log_format 语法如下： log_format name format [format …]
name表示定义的格式名称(name名
转载
2024-04-24 14:19:37
49阅读
配置部分域名记录post请求数据：nginx.conf# 添加$request_body参数log_format log_format_name_1 '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_a
原创
2023-03-06 00:07:59
270阅读
目录 一 、Nginx-Tomcat 等常用服务日志分析Nginx 日志Tomcat日志MongoDB 日志Redis 日志二 、日志切割服务 logrotate三、日志切割示例Nginx 切一切Tomcat 切一切 一 、Nginx-Tomcat 等常用服务日志分析在实际生产中，我们知道哪些应用的日志会自动分割吗？哪些应用日志需要我们通过服务进行定时分割？接下来我们来看看。对比的标准是否会
1. 默认格式:log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded
原创
2023-09-13 09:51:00
390阅读
Fluentd是一个开源的数据收集工具，它可以从各种来源收集日志数据，并将其转发到不同的目标。在Kubernetes集群中，Fluentd可以帮助我们收集和分析容器日志，从而提供更好的可观察性和故障排查能力。本文将介绍如何在Kubernetes上使用Fluentd来收集和处理日志数据。
## 为什么需要Fluentd?
在Kubernetes集群中，每个容器都会生成日志数据，这些日志数据对于故
原创
2024-02-04 09:22:15
139阅读
官网地址：1https://www.fluentd.org/下载地址：1https://www.fluentd.org/downloadFluentd文档地址：1https://docs.fluentd.org/installationFluentd Bit文档地址：1https://docs.fluentbit.io/manual/ Fluentd 和 Fluent Bit： 
转载
2024-05-24 21:48:52
177阅读
故障描述： 在添加Nginx的子配置文件后报错误nginx: [emerg] unknown log format "main" 无法重新加载，仔细查看配置没有语法错误经过调试才发现是定义log_format的时候写到HTTP模块最下面，导致子配置文件无法识别。错误的写法我是先引入了子配置文件然后才定义日志格式,所以报无法识别解决方法：将
转载
2021-08-27 14:03:13
651阅读
nginx服务器日志相关指令主要有两条：1.一条是log_format，用来设置日志格式；2.另外一条是access_log，用来指定日志文件的存放路径、格式和缓存大小，可以参加ngx_http_log_module。 log_format指令用来设置日志的记录格式，它的语法如下： log_format name format {format ...} name 定义的格
转载
2024-03-06 10:33:21
166阅读
[GitHub] https://github.com/fluent/fluentd[Doc] h
转载
2023-08-10 13:20:30
1112阅读
0. 安装、启动 安装 更新：最近貌似会安装最新版本2.3.2安装会有问题，可以手动下载td-agent-2.2.1-0.el6.x86_
原创
2022-08-21 00:15:19
109阅读
