大多数情况下，调试信息，都可以通过ngx.say打印出来，但是有的时候，我们希望打印调试日志，不影响到返回数据，所以系统打印到其它地方，比如日志文件，或者控制台这里主要用到一个方法就是ngx.log，这个方法可以将日志输出到error.log里面，支持多种级别消息，如下：ngx.STDERR
ngx.EMERG
ngx.ALERT
ngx.CRIT
ngx.ERR
ngx.WARN
ngx.NOT
一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求: 支持不同业务获取数据,如监控业务，数
Openresty学习使用（一）记录爬虫结果日志业务场景openresty安装openresty配置Java调用问题 业务场景日志记录很多时候是一种高并发场景的解决方案，对于不那么重要或者及时的场景可以通过异步记录日志的方式，异步将日志存储成文件，可以加快业务的返回，后续可以用ELK等框架对日志进行分析处理。 本文所说的爬虫都是垂直领域的爬虫，结果都以JSON格式进行返回。由于爬虫整体的不稳定性
概况最近实习领导要我了解一下nginx+lua实现日志采集，我们这边日志的采集好像就是用的这个。然后就在网上找了一下教程，说老实话，因为以前没接触过过这两个东西所以一开始比较懵。最终决定参考一位大哥的教程。 不得不说他的教程应该是救了很多人，因为我看到的Openresty+Lua+Kafka的教程八成都是原封不动搬他的，连图都没改就离谱。甚至到google上还有英文版的，截图用的也是一模一样。（当
********************* 部署过程 **************************一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 
什么是KongKong 是面向现代架构（混合云，混合组织）的下一代 API 网关平台，具有云原生、高性能，易用、可扩展等特性。适用于 Api Gateway, Kubernetes Ingress, Service Mesh Sidecar 等场景。主要特性有:云原生: 与平台无关，Kong 可以从裸机运行到 Kubernetes高性能 : 背靠非阻塞通信的 nginx，性能自不用说插件机制 :
一、摘要Linux服务器上我们用Logrotate来分割归档日志文件，结合crond我们可以指定每天在某个时间自动整理日志等文档。本文主要说明了Centos下Logrotate的使用和配置的方法。配置文件Logrotate的配置文件位于 /etc/logrotate.conf。Logrotate的子配置文件位于文件夹 /etc/logrotate.d/如何使用我们先试用帮助命令
应用场景和日志文件解析本配置主要解决 Nginx 向 MySQL 中实时插入日志的问题，采用 OpenResty + Mysql 实现。1. 刚开始的时候看了 Nginx 和 MySQL 的连接模块。比如说 nginx-mysql-module，可以连接 MySQL。但是插入日志时遇到问题，我们知道 nginx 的执行过程先是 location 解析并重写阶段，然后是访问权限控制阶段，接着是内容生
Openresty的同步输出与流式响应默认情况下， ngx.say和ngx.print都是异步输出的，先来看一个例子：location /test {
content_by_lua_block {
ngx.say("hello")
ngx.sleep(3)
ngx.say("the world")
}
}执行测试，可以发现首先， /t
Nginx 和 OpenRestyNginxNginx 是一个高性能的HTTP和反向代理服务，也是一个IMAP/POP3/SMTP服务。 1、处理响应请求很快 2、高并发连接 3、低的内存消耗 4、具有很高的可靠性： 5、高扩展性 6、热部署 master 管理进程与 worker 工作进程的分离设计，使得 Nginx 具有热部署的功能，可以在 7 × 24 小时不间断服务的前提下，升级 Ngin
一、摘要Linux服务器上我们用Logrotate来分割归档日志文件，结合crond我们可以指定每天在某个时间自动整理日志等文档。本文主要说明了Centos下Logrotate的使用和配置的方法。配置文件Logrotate的配置文件位于 /etc/logrotate.conf。Logrotate的子配置文件位于文件夹 /etc/logrotate.d/如何使用我们先试用帮助命令
我部署了LDAP Server，但openldap默认没有保存日志，需要自己配置rsyslog服务来保存日志编辑/etc/rsyslog.conf ，加入以下内容，将日志保存在以下路径 local4.* /var/log/ldap/openldap.log 重启
搭建openresty的web服务之后，日志文件随着时间和业务量会逐渐增大，既占用磁盘空间，又不便于日志查看，调查问题。这个时候，就可以使用logrotate做下定时日志切割啦，既方便又省事。一、logrotate介绍logrotate程序是一个日志文件管理工具。用于分割日志文件，删除旧的日志文件，并创建新的日志文件，起到“转储”作用。可以节省磁盘空间。Linux系统默认安装logrotate工具
简介 在很多数据采集场景下，Flume作为一个高性能采集日志的工具，相信大家都知道它。许多人想起Flume这个组件能联想到的大多数都是Flume跟Kafka相结合进行日志的采集，这种方案有很多他的优点，比如高性能、高吞吐、数据可靠性等。但是我们如果要求对日志进行实时的采集，这显然不是一个好的解决方案。原因如下： 就目前来说，Flume能支持实时监控一个目录的数据文件，一旦对某个目录的文件采集完
自动切割备份nginx的日志首先安装一个nginxyum -y install gcc gcc-c++ pcre-devel openssl-devel
tar xf nginx-1.12.2.tar.gz
./configure && make && make install
/usr/local/nginx/sbin/nginx装完启动后向日志里加一些东西用来测
Openresty学习使用（四）日志切割说明Logrotate日志切割问题执行时间的问题如何告诉应用程序重新打开日志文件 说明安装新版nginx的时候，会自动在/etc/logrotate.d目录下面生成一个nginx的文件，每天会自动进行日志切割，保留10天的文件等。但是openresty并没有这个功能，所以需要手动创建配置文件。LogrotateLinux服务器上我们可以用Logrotate
完整配置如下所示：1 user nginx; #运行的用户
2 pid /var/run/nginx.pid;
3 worker_processes auto; #定义了nginx对外提供web服务时的worder进程数，CPU核的数量、存储数据的硬盘数量及负载模式
4 worker_rlimit_nofile 100000; #更改worker进程的最大打开文件数限制,比'ulimit -
Ø 简介Open_resty是由nginx核心+第三方模块组成，它集成了lua开发环境，让nginx从一个代理服务器变成一个web服务器，nginx是基于事件驱动的模型并且是异步非阻塞(AIO)模型，所以可以应付高并发量的请求数据，并且它还提供了许多诸如mysql、memchaed和redis等组件，让nginx开发web应用更加easy。Ø 下载o
openresty开发系列11--openresty的api入门1）ngx_lua模块的hello world编辑nginx下conf配置文件nginx.conf# vi nginx.conf
在server模块加上
location /helloworld {
default_type text/html;
content_by_lua 'ngx.say("hello world
编译openresty：./configure --prefix=/usr/local/openresty --with-luajit --with-http_ssl_module --with-stream --with-stream=dynamic --with-stream_ssl_module --with-stream_realip_module --with-mail --with-m
