前言公司游戏项目服务端运行过程中，依赖 Redis 保存游戏过程数据。与客户端一次交互会对 Redis 进行大量的操作，在内网开发环境下测试，一次操作开销在 1-2 ms，建立连接和网络开销累积在一起大大降低了响应速度，这种场景下可以使用 Redis Pipeline 进行优化。Redis PipelineRedis 服务本身并没有专门的 Pepeline 功能，而是客户端自行实现的一种交互方式。
转载
2023-06-14 23:09:36
692阅读
pipeline 流水线：when 例子说明本次例子实现以下功能：
1， 能够参数化选择发布的环境
2， pipeline脚本中利用参数进行阶段选择
3， 可以选择分支
4， 可以选择部署到开发环境或者提交到测试
5， 提交测试需要填写提测版本号（提测必须填写）
6， 提交测试时，备注配置变化（无变化可以不填写）添加需要的构建参数1. 分支参数2.部署动作参数， Deploy_to_develop
转载
2024-10-28 01:14:01
35阅读
志愿者在PIL的基础上创建了一个分支版本，命名为Pillow。这个库专们用来处理图片，支持最新的python3版本。安装要注意的一点是，Pillow和PIL不能共存在同一个环境中，所以如果安装的有PIL的话，那么安装Pillow之前应该删除PIL。Pillow的安装比较的简单，直接pip安装即可：pip install PillowImageImage是Pillow中最为重要的类，实现了Pillo
转载
2023-08-10 15:11:42
68阅读
Maven 常见问题dependencies 和 dependencyManagement，plugins 和 pluginManagement 有什么区别？dependencyManagement 是表示依赖 jar 包的声明，即你在项目中的 dependencyManagement 下声明了依赖，maven 不会加载该依赖，dependencyManagement 声明可以被继承。depend
在sklearn中提供了Pipeline(管道操作) 可以将多个estimators组装成一个。对于固定流程的一个项目来说，在一个Pipline中可以定义一些列的操作例如（特征提取，标准化，分类）并将它定义成一个estimator,实现便捷的代码附用。总的来说pipline的意义有：便捷：只需要使用fit和predict两个methods,就可以基于定义好的Pipeline对数据进行一系列的操作。
转载
2023-12-09 13:22:13
65阅读
# 实现Jenkins Pipeline的archiveArtifacts用法
作为一名经验丰富的开发者，你对Jenkins Pipeline的archiveArtifacts用法肯定不陌生。现在有一位刚入行的小白需要你的帮助，让我们一起来教他如何实现这一功能。
## 整体流程
首先，让我们来看一下整个流程，可以用表格展示步骤：
| 步骤 | 描述 |
|------|------|
|
原创
2024-06-15 05:35:46
238阅读
ShareLibrary + SaltStack
转载
2021-07-27 14:05:27
700阅读
shell 参数set -e （脚本出现异常时马上退出）set -e 选项可以让你的脚本在出现异常时马上退出，后续命令不再执行。默认情况下Shell脚本不会因为错误而结束执行，但大多数情况是，我们希望出现异常时就不要再往下走了。假如你的if判断条件里会出现异常，这时脚本也会直接退出，但可能这并不是你期望的情况，这时你可以在判断语句后加上 || true 来阻止退出。set -o pipefail
一、pipeline出现的原因1.Redis执行命令的过程redis客户端执行一条命令的过程：发送命令－〉命令排队－〉命令执行－〉返回结果使用python给redis发送命令时的过程：客户端发送请求，获取socket，阻塞等待返回；服务端执行命令并将结果返回给客户端；2.效率提升当redis需要执行的命令较多时，这样的一来一回的网络传输所消耗的时间被称为RTT(Round Trip Time)，显
转载
2023-09-11 20:24:37
152阅读
1.插入数据1. >>> import redis
2.
3. >>> conn = redis.Redis(host='192.168.8.176',port=6379)
4.
5. >>> pipe = conn.pipeline()
6.
7. >>> pipe.hset("hash_key","leizhu
转载
2023-06-17 22:03:08
143阅读
python pipeline写入redis
1.需求描述在实际业务中，需要将百万量级的数据导入到redis。而由于写入程序和redis所在机房不同，导致每条记录的写入存在一定时延，被百万次写入放大后，竟然需要用3个小时才能完成全部写入。2.解决方法为此，改用pipeline写入redis。pipeline的作用，是能够将多条命令集中起来，一次发送到redis服务端，从
转载
2023-06-25 21:06:19
245阅读
一、JPA:JPA全称Java Persistence API.JPA通过JDK 5.0注解或XML描述对象－关系表的映射关系，并将运行期的实体对象持久化到数据库中实现数据持久化。同时，它还是JCP 组织发布的 Java EE 标准之一，因此任何声称符合 JPA 标准的框架都遵循同样的架构。而Hiber
转载
2024-03-23 15:02:43
42阅读
一、pipeline出现的背景：redis客户端执行一条命令分4个过程：发送命令－〉命令排队－〉命令执行－〉返回结果这个过程称为Round trip time(简称RTT, 往返时间)，mget mset有效节约了RTT，但大部分命令（如hgetall，并没有mhgetall）不支持批量操作，需要消耗N次RTT ，这个时候需要pipeline来解决这个问题。二、pepeline的性能1、未使用pi
转载
2023-06-29 11:52:48
143阅读
在使用Kubernetes（K8S）进行持续集成和持续部署（CI/CD）时，Jenkins是一个非常强大且常用的工具。Jenkins pipeline可以帮助我们实现将整个CI/CD流程定义为代码，同时结合Python脚本可以实现更多自定义的功能和操作。
首先，让我们来看一下如何在Jenkins中使用pipeline来构建和部署Python应用程序。
### 实现"jenkins pipeli
原创
2024-05-07 10:01:14
123阅读
当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用：验证爬取的数据(检查item包含某些字段，比如说name字段) 查重(并丢弃) 将爬取结果保存到文件或...
原创
2022-05-09 14:16:52
113阅读
一、key pattern 查询相应的key （1）redis允许模糊查询key 有3个通配符 *、?、[] （2）randomkey：返回随机key （3）type key：返回key存储的类型 （4）exists key：判断某个key是否存在 （5）del key：删除key （6）rename key newkey：改名 （7）renamenx key ne
转载
2024-05-29 00:16:45
44阅读
关于Pipeline的代码如下： # 使用Pipeline搭建使用朴素贝叶斯模型的分类器，使用CountVectorizer对文本特征进行抽取 pip_count = Pipeline([ ('count_vect', CountVectorizer(analyzer='word')), ('mnb
原创
2022-09-23 18:13:55
117阅读
一、Jenkins Pipeline Pipeline，是一套运行于Jenkins上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排与可视化。 Stage：阶段，一个Pipeline可以划分成若干个Stage，每个Stage代表一组操作，例如：“Build”，“Test”，“Deploy”。【注意】Stage是一个逻辑分组的概念，
转载
2023-10-29 21:16:12
615阅读
Cortex-A53 是顺序执行的还是乱序执行的？CA53 是顺序执行（in-order）的流水线。The Cortex-A53 processor is Arm’s first Armv8-A processor aimed at providing power-efficient 64-bit processing. It features an in-order, 8-stage, dual
转载
2023-12-23 23:11:53
87阅读
Item Pipeline是项目管道，本节我们详细了解它的用法。首先我们看看Item Pipeline在Scrapy中的架构，如下图所示。图中的最左侧即为Item Pipeline，它的调用发生在Spider产生Item之后。当Spider解析完Response之后，Item就会传递到Item Pipeline，被定义的Item Pipeline组件会顺次调用，完成一连串的处理过程，比如数据清洗、
原创
2021-01-19 14:34:06
960阅读
