使用openpyxl 操作excel(xlsx)由于 xlrd 和xlwt 停止更新并阉割了自己的能力来推荐使用这个库，涉及到xlsx文件的处理使用这个库。这个库不支持xls操作安装pip install openpyxl
# 如果涉及图片处理
pip install pillow功能介绍openpyxl 可以对xlsx文件进行读取和写入操作，字体单元格对齐格式等样式操作读写操作介绍openp
转载
2024-08-13 14:23:46
70阅读
Openresty学习使用（一）记录爬虫结果日志业务场景openresty安装openresty配置Java调用问题 业务场景日志记录很多时候是一种高并发场景的解决方案，对于不那么重要或者及时的场景可以通过异步记录日志的方式，异步将日志存储成文件，可以加快业务的返回，后续可以用ELK等框架对日志进行分析处理。 本文所说的爬虫都是垂直领域的爬虫，结果都以JSON格式进行返回。由于爬虫整体的不稳定性
转载
2024-03-26 14:32:04
299阅读
一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求: 支持不同业务获取数据,如监控业务，数
转载
2024-05-17 11:32:13
253阅读
大多数情况下，调试信息，都可以通过ngx.say打印出来，但是有的时候，我们希望打印调试日志，不影响到返回数据，所以系统打印到其它地方，比如日志文件，或者控制台这里主要用到一个方法就是ngx.log，这个方法可以将日志输出到error.log里面，支持多种级别消息，如下：ngx.STDERR
ngx.EMERG
ngx.ALERT
ngx.CRIT
ngx.ERR
ngx.WARN
ngx.NOT
转载
2024-06-14 13:46:10
485阅读
********************* 部署过程 **************************一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 
转载
2024-07-18 17:20:35
233阅读
Openresty的同步输出与流式响应默认情况下， ngx.say和ngx.print都是异步输出的，先来看一个例子：location /test {
content_by_lua_block {
ngx.say("hello")
ngx.sleep(3)
ngx.say("the world")
}
}执行测试，可以发现首先， /t
转载
2024-04-13 13:42:46
453阅读
应用场景和日志文件解析本配置主要解决 Nginx 向 MySQL 中实时插入日志的问题，采用 OpenResty + Mysql 实现。1. 刚开始的时候看了 Nginx 和 MySQL 的连接模块。比如说 nginx-mysql-module，可以连接 MySQL。但是插入日志时遇到问题，我们知道 nginx 的执行过程先是 location 解析并重写阶段，然后是访问权限控制阶段，接着是内容生
转载
2024-07-03 23:17:39
189阅读
文章目录synchronized原理分析流程分析认识对象头轻量级锁锁膨胀自旋锁偏向锁wait()和notify原理 synchronized原理分析为了避免临界区的竞态条件发生，有多种手段可以达到目的。阻塞式的解决方案：synchronized，Lock非阻塞式的解决方案：原子变量认识到synchronized可以通过是线程进入阻塞的方式来避免临界区竞态条件的发生流程分析创建两个线程来分别进行50
一、命令介绍1. cat连接文件并打印到标准输出设备上，cat经常用来显示文件的内容。注意：当文件较大时，文本在屏幕上迅速闪过（滚屏），用户往往看不清所显示的内容。因此，一般用more等命令分屏显示。为了控制滚屏，可以按Ctrl+S键，停止滚屏；按Ctrl+Q键可以恢复滚屏。按Ctrl+C（中断）键可以终止该命令的执行，并且返回Shell提示符状态。cat(选项)(参数)-n或-number：有1
OpenResty(又称：ngx_openresty) 是一个基于 Nginx 与 Lua 的高性能可伸缩的 Web 平台，由中国人章亦春发起，它打包了标准的 Nginx 核心，很多的常用的第三方模块，以及它们的大多数依赖项。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中
转载
2024-09-29 06:56:20
96阅读
前言一直想学习自动化测试，但是都没行动，业余时间学习零零碎碎并记录20210421。 7、为项目添加日志logging模块介绍logging格式输出logging四大组件：Logger，Handler，Filter，Formatter为项目添加log日志用户登录代码加日志打印from time import sleep
from util import util
import pytes
WAF简介 什么是WAF Web应用防护系统（也称：网站应用级入侵防御系统 。英文：Web Application Firewall，简称： WAF）。利用国际上公认的一种说法：Web应用 防火墙 是通过执行一系列针对HTTP/HTTPS的 安全策略 来专门为Web应用提供保护的一款产品。 WAF的功能 支持IP白名单和黑名单功能，直接将黑名单的IP访问拒绝。 支持URL白名单，将不需要过滤
转载
2024-06-07 19:50:36
38阅读
Loadrunner日志设置与查看
1.打开EXtended Log
Log告诉了我们一切,默认的Log是standard Log,这时远远不够的.我们要extended log,打开路径为runtime settings-->log-->extended log.把parameter substitution和data returned by
server和advan
转载
2024-06-12 23:19:50
138阅读
目录登录实现B 端登录之后，浏览器存 cookie登录代码实现细节，cookie设计网关介绍API 网关是什么为什么需要网关从技术角度来看，什么是Kong？为什么使用 KongKong 网关解析 cookiekong 项目简介，流量转发鉴权 lua 脚本服务解析请求此方案实现的优缺点单点登录问题登录续期问题注销问题登录实现B 端登录之后，浏览器存 cookie 登录后的cookie
c
转载
2024-09-18 10:34:31
116阅读
多种实现方式在多线程环境下，我们可能需要输出很多信息，每个线程产生的日志信息可能都是类似的，我们如何区分出哪些信息是同一个线程输出的呢？其实log4j已经提供了多种实现方式：1.使用PatternLayout，在设定输出格式的时候增加%t参数，这样会输出各个线程的线程名称，这样我们就可以根据线程名称区分哪些内容是同一个线程输出出来的。2.使用NDC，也是基于PatternLayout，在设定输出格
转载
2024-01-26 08:00:56
171阅读
一、基本使用Logger 是一款 Android 平台上的简单、优雅、强大的开源日志库。1，Logger 提供了以下方法：打印线程的信息打印类的信息打印方法的信息优雅的打印JSON数据优雅的打印换行符打印简洁的信息点击日志跳转至源码2，引入依赖库，在 app 根目录的 build.gradle 文件中加入如下代码：compile 'com.orhanobut:logger:1.15'3，包括的方法
转载
2023-12-30 23:57:05
158阅读
class Logger(object): level_relations = { 'debug':logging.DEBUG, 'info':logging.INFO, 'warning':logging.WARNING, 'error':logging.ERROR, 'crit':logging
原创
2022-08-23 16:16:30
1527阅读
# 如何在 Spark 中打印日志
## 引言
Apache Spark 是一个强大的大数据处理框架，它能够高效地处理大规模数据集。在数据处理过程中，日志记录是一个非常重要的环节，可以帮助开发者了解程序的执行情况，快速排查错误。本文将详细介绍如何在 Spark 中打印日志，包括整个流程和具体实现步骤。
## 流程概述
在 Spark 中打印日志的基本流程可以用以下几个步骤来概括：
| 步
System.out.println("12345");
转载
2016-08-25 22:05:00
176阅读
2评论
9.1 负载均衡的原理
kong 为后端服务器节点提供了2种负载均衡策略，一种是直接基于dns的策略，另外一种是动态的环形均衡器策略，其中后者无需dns服务器
即可进行服务的注册与发现。
9.1.1 基于 DNS 的负载均衡
当服务中的host属性不能被解析为上游名称或此host属性的名称并不在本地的 DNS host 文件中，且服务中的host属性是名称而不是ip地址时，
kon
