自动切割备份nginx的日志首先安装一个nginxyum -y install gcc gcc-c++ pcre-devel openssl-devel
tar xf nginx-1.12.2.tar.gz
./configure && make && make install
/usr/local/nginx/sbin/nginx装完启动后向日志里加一些东西用来测            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-11 10:00:25
                            
                                66阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            什么是KongKong 是面向现代架构(混合云,混合组织)的下一代 API 网关平台,具有云原生、高性能,易用、可扩展等特性。适用于 Api Gateway, Kubernetes Ingress, Service Mesh Sidecar 等场景。主要特性有:云原生: 与平台无关,Kong 可以从裸机运行到 Kubernetes高性能 : 背靠非阻塞通信的 nginx,性能自不用说插件机制 :             
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-25 10:50:40
                            
                                83阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、摘要Linux服务器上我们用Logrotate来分割归档日志文件,结合crond我们可以指定每天在某个时间自动整理日志等文档。本文主要说明了Centos下Logrotate的使用和配置的方法。配置文件Logrotate的配置文件位于 /etc/logrotate.conf。Logrotate的子配置文件位于文件夹 /etc/logrotate.d/如何使用我们先试用帮助命令            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-04 10:21:08
                            
                                155阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            本次针对灰度测试重点如下: 1. 灰度API组的添加、删除、查询(对应提测接口)2. 灰度版本与API组的映射的添加、删除、查询(对应提测接口)3. 灰度分流是否正常,在配置了1和2的路由后,对应版本的请求是否正确路由到指定后段API组(可通过API组的日志确认),默认走stable API组流程是否正确(即没有配置任何灰度的时候,是否所有版本都路由到stable API)4. API组            
                
         
            
            
            
            搭建openresty的web服务之后,日志文件随着时间和业务量会逐渐增大,既占用磁盘空间,又不便于日志查看,调查问题。这个时候,就可以使用logrotate做下定时日志切割啦,既方便又省事。一、logrotate介绍logrotate程序是一个日志文件管理工具。用于分割日志文件,删除旧的日志文件,并创建新的日志文件,起到“转储”作用。可以节省磁盘空间。Linux系统默认安装logrotate工具            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-24 13:47:41
                            
                                132阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、摘要Linux服务器上我们用Logrotate来分割归档日志文件,结合crond我们可以指定每天在某个时间自动整理日志等文档。本文主要说明了Centos下Logrotate的使用和配置的方法。配置文件Logrotate的配置文件位于 /etc/logrotate.conf。Logrotate的子配置文件位于文件夹 /etc/logrotate.d/如何使用我们先试用帮助命令            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-14 22:19:11
                            
                                254阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Openresty学习使用(四)日志切割说明Logrotate日志切割问题执行时间的问题如何告诉应用程序重新打开日志文件 说明安装新版nginx的时候,会自动在/etc/logrotate.d目录下面生成一个nginx的文件,每天会自动进行日志切割,保留10天的文件等。但是openresty并没有这个功能,所以需要手动创建配置文件。LogrotateLinux服务器上我们可以用Logrotate            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-16 17:48:49
                            
                                360阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            切片工作,我们可以一级一级的切,也可以,所有的一块切,Recreate All Tiles这项是说,在没有进行任何的切片工作时,可以选用这项;Recreate Empty Tiles这项是说,如果之前已经对某一级进行了切片,再重新切片时,可以选这项,具体可以查看帮助;Delete Tiles这项可以删除之前切的切片;比方说我们计算机正在切图,突然间断电了,切了几天,几十G的地图切片,怎么办?我们不            
                
         
            
            
            
            Openresty学习使用(一)记录爬虫结果日志业务场景openresty安装openresty配置Java调用问题 业务场景日志记录很多时候是一种高并发场景的解决方案,对于不那么重要或者及时的场景可以通过异步记录日志的方式,异步将日志存储成文件,可以加快业务的返回,后续可以用ELK等框架对日志进行分析处理。 本文所说的爬虫都是垂直领域的爬虫,结果都以JSON格式进行返回。由于爬虫整体的不稳定性            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-26 14:32:04
                            
                                299阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一:场景描述对于线上大流量服务或者需要上报日志的nginx服务,每天会产生大量的日志,这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上,而且大流量日志本身对磁盘也是一种冲击。 我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求: 支持不同业务获取数据,如监控业务,数            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-17 11:32:13
                            
                                253阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            大多数情况下,调试信息,都可以通过ngx.say打印出来,但是有的时候,我们希望打印调试日志,不影响到返回数据,所以系统打印到其它地方,比如日志文件,或者控制台这里主要用到一个方法就是ngx.log,这个方法可以将日志输出到error.log里面,支持多种级别消息,如下:ngx.STDERR
ngx.EMERG
ngx.ALERT
ngx.CRIT
ngx.ERR
ngx.WARN
ngx.NOT            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-14 13:46:10
                            
                                485阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Openresty日志切割|Mongo日志|Tomcat日志切割|            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2018-09-14 10:21:35
                            
                                1148阅读
                            
                                                        
                                点赞
                            
                                                                             
                 
                
                             
         
            
            
            
            Openresty的同步输出与流式响应默认情况下, ngx.say和ngx.print都是异步输出的,先来看一个例子:location /test {
    content_by_lua_block {
        ngx.say("hello")
        ngx.sleep(3)
        ngx.say("the world")
    }
}执行测试,可以发现首先, /t            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-13 13:42:46
                            
                                453阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            应用场景和日志文件解析本配置主要解决 Nginx 向 MySQL 中实时插入日志的问题,采用 OpenResty + Mysql 实现。1. 刚开始的时候看了 Nginx 和 MySQL 的连接模块。比如说 nginx-mysql-module,可以连接 MySQL。但是插入日志时遇到问题,我们知道 nginx 的执行过程先是 location 解析并重写阶段,然后是访问权限控制阶段,接着是内容生            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-03 23:17:39
                            
                                189阅读
                            
                                                                             
                 
                
                             
         
            
            
            
              ********************* 部署过程 **************************一:场景描述对于线上大流量服务或者需要上报日志的nginx服务,每天会产生大量的日志,这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上,而且大流量日志本身对磁盘也是一种冲击。             
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-18 17:20:35
                            
                                233阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            日志切割在linux下的日志会定期进行滚动增加,我们可以在线对正在进行回滚的日志进行指定大小的切割(动态)
如果这个日志是静态的。比如没有应用向里面写内容。那么我们也可以用split工具进行切割;
其中Logrotate支持按时间和大小来自动切分,以防止日志文件太大。
真正内容:当日志达到某个特定的大小,我们将日志分类,之前的日志保留一个备份,再产生的日志创建一个同名的文件保存新的日志.配置文件介            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-08 16:49:04
                            
                                197阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            先来写一个nginx日志切割的脚本vim /usr/local/sbin/nginx_logrotate.shd=`date -d "-1 day" +%Y%m%d` [ -d /tmp/nginx_log ] || mkdir /tmp/nginx_logmv /tmp/access.log /tmp/nginx_log/$d.log/etc/init.d/nginx reload 2            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2016-01-04 01:00:55
                            
                                935阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            #!/bin/bash
#logrun
#Date:2017-6-21
#Author:xcn(baishuchao@yeah.net)
#version 1.0
#bs_error_log
LOGPATH=/application/web/Backstage/log/nginx_error.log
BASEPATH=/data/log/
DATE=`date +%F_%H-%            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2017-06-21 18:19:38
                            
                                639阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            先来写一个nginx日志切割的脚本vim /usr/local/sbin/nginx_logrotate.shd=`date -d "-1 day" +%Y%m%d` [ -d /tmp/nginx_log ] || mkdir /tmp/nginx_logmv /tmp/access.log /tmp/nginx_log/$d.log/etc/init.d/nginx reload 2            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2016-02-25 11:32:46
                            
                                361阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            SetEnvIf Request_URI ".*\.gif$" p_w_picpath-request SetEnvIf Request_URI ".*\.jpg$" p_w_picpath-request SetEnvIf Request_URI ".*\.png$" p_w_picpath-request SetEnvIf Request_URI ".*\.bmp            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2016-02-25 11:43:02
                            
                                480阅读