一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求: 支持不同业务获取数据,如监控业务，数
转载
2024-05-17 11:32:13
253阅读
OpenRestyOpenResty1 OpenResty介绍1.1 Nginx 的流程定义1.1.1 流程详解1.1.2 OpenResty处理流程2 Openresty安装2.1 yum安装2.1.1 添加OpenResty仓库2.1.2 安装OpenResty2.2 源代码编译安装2.2.1 安装编译环境2.2.2 下载最新版源码2.2.3 下载缓存插件2.2.4 编译OpenResty2
转载
2024-06-15 20:25:14
289阅读
OpenResty基本介绍 Nginx有很多的特性和好处，但是在Nginx上开发成了一个难题，Nginx模块需要用C开发，而且必须符合一系列复杂的规则，最重要的用C开发模块必须要熟悉Nginx的源代码，使得开发者对其望而生畏。 &nbs
转载
2024-03-03 23:01:39
457阅读
Openresty学习使用（一）记录爬虫结果日志业务场景openresty安装openresty配置Java调用问题 业务场景日志记录很多时候是一种高并发场景的解决方案，对于不那么重要或者及时的场景可以通过异步记录日志的方式，异步将日志存储成文件，可以加快业务的返回，后续可以用ELK等框架对日志进行分析处理。 本文所说的爬虫都是垂直领域的爬虫，结果都以JSON格式进行返回。由于爬虫整体的不稳定性
转载
2024-03-26 14:32:04
299阅读
大多数情况下，调试信息，都可以通过ngx.say打印出来，但是有的时候，我们希望打印调试日志，不影响到返回数据，所以系统打印到其它地方，比如日志文件，或者控制台这里主要用到一个方法就是ngx.log，这个方法可以将日志输出到error.log里面，支持多种级别消息，如下：ngx.STDERR
ngx.EMERG
ngx.ALERT
ngx.CRIT
ngx.ERR
ngx.WARN
ngx.NOT
转载
2024-06-14 13:46:10
483阅读
什么是KongKong 是面向现代架构（混合云，混合组织）的下一代 API 网关平台，具有云原生、高性能，易用、可扩展等特性。适用于 Api Gateway, Kubernetes Ingress, Service Mesh Sidecar 等场景。主要特性有:云原生: 与平台无关，Kong 可以从裸机运行到 Kubernetes高性能 : 背靠非阻塞通信的 nginx，性能自不用说插件机制 :
转载
2024-07-25 10:50:40
83阅读
应用场景和日志文件解析本配置主要解决 Nginx 向 MySQL 中实时插入日志的问题，采用 OpenResty + Mysql 实现。1. 刚开始的时候看了 Nginx 和 MySQL 的连接模块。比如说 nginx-mysql-module，可以连接 MySQL。但是插入日志时遇到问题，我们知道 nginx 的执行过程先是 location 解析并重写阶段，然后是访问权限控制阶段，接着是内容生
转载
2024-07-03 23:17:39
189阅读
Openresty的同步输出与流式响应默认情况下， ngx.say和ngx.print都是异步输出的，先来看一个例子：location /test {
content_by_lua_block {
ngx.say("hello")
ngx.sleep(3)
ngx.say("the world")
}
}执行测试，可以发现首先， /t
转载
2024-04-13 13:42:46
453阅读
一、摘要Linux服务器上我们用Logrotate来分割归档日志文件，结合crond我们可以指定每天在某个时间自动整理日志等文档。本文主要说明了Centos下Logrotate的使用和配置的方法。配置文件Logrotate的配置文件位于 /etc/logrotate.conf。Logrotate的子配置文件位于文件夹 /etc/logrotate.d/如何使用我们先试用帮助命令
转载
2024-06-04 10:21:08
155阅读
********************* 部署过程 **************************一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 
转载
2024-07-18 17:20:35
233阅读
一、摘要Linux服务器上我们用Logrotate来分割归档日志文件，结合crond我们可以指定每天在某个时间自动整理日志等文档。本文主要说明了Centos下Logrotate的使用和配置的方法。配置文件Logrotate的配置文件位于 /etc/logrotate.conf。Logrotate的子配置文件位于文件夹 /etc/logrotate.d/如何使用我们先试用帮助命令
转载
2024-08-14 22:19:11
254阅读
搭建openresty的web服务之后，日志文件随着时间和业务量会逐渐增大，既占用磁盘空间，又不便于日志查看，调查问题。这个时候，就可以使用logrotate做下定时日志切割啦，既方便又省事。一、logrotate介绍logrotate程序是一个日志文件管理工具。用于分割日志文件，删除旧的日志文件，并创建新的日志文件，起到“转储”作用。可以节省磁盘空间。Linux系统默认安装logrotate工具
转载
2024-04-24 13:47:41
132阅读
一、项目背景公司决定对多个系统多个客户端的用户行为进行收集，考虑到数据量和并发数都可能过高，所以决定采用标题这一技术组合来实现，第一次搞这个，记录一下操作过程以及遇到的坑，下面是具体的操作步骤。二、使用步骤1.安装openresty此步骤参考地址如下：安装了openresty就不需要单独安装nginx了，先安装openresty仓库。1.yum install yum-utils 2.
《OpenShift 4.x HOL教程汇总》 说明：本文已经在OpenShift 4.6环境中验证 文章目录安装Elastic Search Operator安装Cluster Logging Operator查看Kibana参考 OpenShift 4 缺省安装完是没有提供基于ElasticSesrch-Fluentd-Kibana（EFK）的集群日志环境。我们可以通过以下步骤在OpenSh
静态资源服务 通过本地文件系统提供服务：对css，js文件，图片等静态文件反向代理服务 缓存：将一些数据经常不变的，缓存到Nginx中，直接给用户提供服务 负载均衡api服务 OpenResty 数据库的服务比较简单，tps和并发远远高于应用服务，所有Nginx可以直接访问数据库提高性能 利用nginx强大的并发性能，实现web防火墙等复杂的业务功能；Nginx优点高并发，高性能：对每
一：日志记录模式(LOGGING、FORCE LOGGING、NOLOGGING)
1.三者的含义
LOGGING：当创建一个数据库对象时将记录日志信息到联机重做日志文件。LOGGING实际上是对象的一个属性，用来表示在创建对象时是否记录REDO日志，包括在做DML时是否记录REDO日志。一般表上不建议使用NOLOGGING,在创建索引或做大量数据导入时，可以使用NOLOGGING。
自动切割备份nginx的日志首先安装一个nginxyum -y install gcc gcc-c++ pcre-devel openssl-devel
tar xf nginx-1.12.2.tar.gz
./configure && make && make install
/usr/local/nginx/sbin/nginx装完启动后向日志里加一些东西用来测
转载
2024-07-11 10:00:25
66阅读
目的：相关日志一天为单位生成，避免单个日志文件过大，导致IO效率降低实现：利用系统自带的logrotate切割日志logrotate简介 logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，我们把它叫做“转储”。我们可以根据日志文件的大小，也可以根据其天数来转 储，这个过 程一般通过 cron 程序来执行。logrotate 程序还可以
Openresty学习使用（四）日志切割说明Logrotate日志切割问题执行时间的问题如何告诉应用程序重新打开日志文件 说明安装新版nginx的时候，会自动在/etc/logrotate.d目录下面生成一个nginx的文件，每天会自动进行日志切割，保留10天的文件等。但是openresty并没有这个功能，所以需要手动创建配置文件。LogrotateLinux服务器上我们可以用Logrotate
转载
2024-02-16 17:48:49
360阅读
简介 在很多数据采集场景下，Flume作为一个高性能采集日志的工具，相信大家都知道它。许多人想起Flume这个组件能联想到的大多数都是Flume跟Kafka相结合进行日志的采集，这种方案有很多他的优点，比如高性能、高吞吐、数据可靠性等。但是我们如果要求对日志进行实时的采集，这显然不是一个好的解决方案。原因如下： 就目前来说，Flume能支持实时监控一个目录的数据文件，一旦对某个目录的文件采集完
转载
2024-02-28 14:12:15
0阅读
