Linux学习整理-日期时间1. date2. sleep3. cal4. hwclock（很少用的命令）5. 时间同步（ntpd）5-1. ntpstat5-2. ntpd5-3. ntpdate 1. date经常使用的日期命令 打印或者设定系统时间[root@centos ~]# date
Wed Mar 23 09:00:29 JST 2022打印UTC时间[root@centos ~]
转载
2024-04-30 21:21:51
85阅读
一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求: 支持不同业务获取数据,如监控业务，数
转载
2024-05-17 11:32:13
253阅读
Openresty学习使用（一）记录爬虫结果日志业务场景openresty安装openresty配置Java调用问题 业务场景日志记录很多时候是一种高并发场景的解决方案，对于不那么重要或者及时的场景可以通过异步记录日志的方式，异步将日志存储成文件，可以加快业务的返回，后续可以用ELK等框架对日志进行分析处理。 本文所说的爬虫都是垂直领域的爬虫，结果都以JSON格式进行返回。由于爬虫整体的不稳定性
转载
2024-03-26 14:32:04
299阅读
大多数情况下，调试信息，都可以通过ngx.say打印出来，但是有的时候，我们希望打印调试日志，不影响到返回数据，所以系统打印到其它地方，比如日志文件，或者控制台这里主要用到一个方法就是ngx.log，这个方法可以将日志输出到error.log里面，支持多种级别消息，如下：ngx.STDERR
ngx.EMERG
ngx.ALERT
ngx.CRIT
ngx.ERR
ngx.WARN
ngx.NOT
转载
2024-06-14 13:46:10
485阅读
********************* 部署过程 **************************一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 
转载
2024-07-18 17:20:35
233阅读
应用场景和日志文件解析本配置主要解决 Nginx 向 MySQL 中实时插入日志的问题，采用 OpenResty + Mysql 实现。1. 刚开始的时候看了 Nginx 和 MySQL 的连接模块。比如说 nginx-mysql-module，可以连接 MySQL。但是插入日志时遇到问题，我们知道 nginx 的执行过程先是 location 解析并重写阶段，然后是访问权限控制阶段，接着是内容生
转载
2024-07-03 23:17:39
189阅读
Openresty的同步输出与流式响应默认情况下， ngx.say和ngx.print都是异步输出的，先来看一个例子：location /test {
content_by_lua_block {
ngx.say("hello")
ngx.sleep(3)
ngx.say("the world")
}
}执行测试，可以发现首先， /t
转载
2024-04-13 13:42:46
453阅读
OpenResty(又称：ngx_openresty) 是一个基于 Nginx 与 Lua 的高性能可伸缩的 Web 平台，由中国人章亦春发起，它打包了标准的 Nginx 核心，很多的常用的第三方模块，以及它们的大多数依赖项。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中
转载
2024-09-29 06:56:20
96阅读
前言一直想学习自动化测试，但是都没行动，业余时间学习零零碎碎并记录20210421。 7、为项目添加日志logging模块介绍logging格式输出logging四大组件：Logger，Handler，Filter，Formatter为项目添加log日志用户登录代码加日志打印from time import sleep
from util import util
import pytes
一、命令介绍1. cat连接文件并打印到标准输出设备上，cat经常用来显示文件的内容。注意：当文件较大时，文本在屏幕上迅速闪过（滚屏），用户往往看不清所显示的内容。因此，一般用more等命令分屏显示。为了控制滚屏，可以按Ctrl+S键，停止滚屏；按Ctrl+Q键可以恢复滚屏。按Ctrl+C（中断）键可以终止该命令的执行，并且返回Shell提示符状态。cat(选项)(参数)-n或-number：有1
使用openpyxl 操作excel(xlsx)由于 xlrd 和xlwt 停止更新并阉割了自己的能力来推荐使用这个库，涉及到xlsx文件的处理使用这个库。这个库不支持xls操作安装pip install openpyxl
# 如果涉及图片处理
pip install pillow功能介绍openpyxl 可以对xlsx文件进行读取和写入操作，字体单元格对齐格式等样式操作读写操作介绍openp
转载
2024-08-13 14:23:46
70阅读
WAF简介 什么是WAF Web应用防护系统（也称：网站应用级入侵防御系统 。英文：Web Application Firewall，简称： WAF）。利用国际上公认的一种说法：Web应用 防火墙 是通过执行一系列针对HTTP/HTTPS的 安全策略 来专门为Web应用提供保护的一款产品。 WAF的功能 支持IP白名单和黑名单功能，直接将黑名单的IP访问拒绝。 支持URL白名单，将不需要过滤
转载
2024-06-07 19:50:36
38阅读
Loadrunner日志设置与查看
1.打开EXtended Log
Log告诉了我们一切,默认的Log是standard Log,这时远远不够的.我们要extended log,打开路径为runtime settings-->log-->extended log.把parameter substitution和data returned by
server和advan
转载
2024-06-12 23:19:50
138阅读
openresty开发系列33--openresty执行流程之2重写赋值阶段一）重写赋值阶段1）set_by_lua 语法：set_by_lua $res <lua-script-str> [$arg1 $arg2 …]语境：server、server if、location、location if阶段：rewrite设置nginx变量，我们用的set指令即使配合if指令也很难实现负责
转载
2024-08-21 21:53:42
168阅读
目录登录实现B 端登录之后，浏览器存 cookie登录代码实现细节，cookie设计网关介绍API 网关是什么为什么需要网关从技术角度来看，什么是Kong？为什么使用 KongKong 网关解析 cookiekong 项目简介，流量转发鉴权 lua 脚本服务解析请求此方案实现的优缺点单点登录问题登录续期问题注销问题登录实现B 端登录之后，浏览器存 cookie 登录后的cookie
c
转载
2024-09-18 10:34:31
116阅读
# OpenResty中使用Redis实现过期时间管理
在实际的Web开发中，很多时候我们需要对数据进行缓存，并且需要设置缓存的过期时间。OpenResty是一个基于Nginx的高性能Web平台，而Redis是一个开源的内存数据库。在OpenResty中结合Redis可以方便地实现数据的缓存和过期时间管理。
## Redis的过期时间
Redis提供了一种非常方便的方式来设置数据的过期时间，
原创
2024-03-28 05:20:12
66阅读
在 Lua 中，函数 time、date 和 difftime 提供了所有的日期和时间功能。在
原创
2022-11-04 10:12:22
252阅读
1. 原理分析分析 :在采集数据的网页上进行埋点(在网页中预先加入小段 javascript 代码) , 编写采集数据的js(该js一般再用一个服务器去存储 , 为的就是解耦合 , 便于修改)通过img标签的src属性解决跨域问题<img src="http://collection.itcast.cn/log.gif?name=allen&item=001">将数据传递给后端
9.1 负载均衡的原理
kong 为后端服务器节点提供了2种负载均衡策略，一种是直接基于dns的策略，另外一种是动态的环形均衡器策略，其中后者无需dns服务器
即可进行服务的注册与发现。
9.1.1 基于 DNS 的负载均衡
当服务中的host属性不能被解析为上游名称或此host属性的名称并不在本地的 DNS host 文件中，且服务中的host属性是名称而不是ip地址时，
kon
前言HTTP 的缓存机制，可以说这是前端工程师需要掌握的重要知识点之一。本文将针对 HTTP 缓存整体的流程做一个详细的讲解，争取做到大家读完整篇文章后，对缓存有一个整体的了解。HTTP 缓存分为 2 种，一种是强缓存，另一种是协商缓存。主要作用是可以加快资源获取速度，提升用户体验，减少网络传输，缓解服务端的压力。这是缓存运作的一个整体流程图： Http缓存.jpg
强缓存不需要发送请
