一、服务端优化（一）限制Redis内存大小 需要使用maxmemory来设置Redis的最大内存，例如 maxmemory 1GB 在64位操作系统中，Redis的内存大小是没有限制的，因为maxmemory配置项是被注释掉的，这样就会导致在Redis内存不足时，Redis会使用磁盘作为其虚拟内存，而当操作系统将Redis所用的内存分配至磁盘时，将会阻塞Redis进程，到处Redis出现延迟，
转载
2023-06-14 21:43:42
178阅读
一、缓存的收益与成本1、受益①加速读写②后端服务器通过前端缓存降低负载，业务端使用redis缓存降低sql负载2、成本①缓存端和数据端有时会因为时间窗口不一致导致数据时效不一致，和更新策略有关②多了一层缓存逻辑，代码维护成本提高③使用主从，哨兵，集群等，服务器成本提高，进而运维成本也提高3、使用场景①降低后端负载：对高消耗的sql，join结果集/分组统计的结果做缓存②加速请求响应：利用缓存优化i
转载
2023-06-13 23:37:26
156阅读
优化Redis内存的9个要点
1.注意在redis.conf中的小聚合数据类型的特殊编码设置：
hash-max-zipmap-entries 64 (hash-max-ziplist-entries for Redis >= 2.6)
hash-max-zipmap-value 512 (hash-max-ziplist-valu
转载
2023-07-20 23:38:02
65阅读
vim /etc/sysctl.confvm.overcommit_memory = 1 #最好不要设置为0，Linux的OOM机制在内存不足的情况下，会自动选择性Kill进程点数过高的进程，0会中招。sysctl vm.overcommit_memory=10：表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存
转载
2022-12-05 16:03:41
204阅读
阻塞点1、集合全量查询和聚合操作；2、bigkey 删除；（删除key时，需要释放内存，为了高效管理，释放的内存需要加到内存管理链表，方便后续分配。）3、清空数据库；4、AOF 日志同步写；（rdb和aof重写都是子线程操作不会阻塞主线程，aof同步写大量key会造成redis阻塞）5、从库加载 RDB 文件。我们通过关键点和客户端需要返回的数据来判断，读取操作是不能异步进行的，所以集合全量查询和
转载
2023-05-25 14:52:25
97阅读
一 缓存设计1.1 缓存穿透（恶意攻击、访问不存在数据）缓存穿透是指查询一个根本不存在的数据， 缓存层和持久层都不会命中。通常出于容错的考虑， 如果从持久层查不到数据则不写入缓存层。缓存穿透将导致不存在的数据每次请求都要到持久层去查询， 失去了缓存保护后端存储的意义。造成缓存穿透的基本原因有两个：自身业务代码或者数据出现问题。一些恶意攻击、 爬虫等造成大量空命中。缓存穿透问题解决方案：方案一、缓存
转载
2024-07-02 14:56:26
18阅读
通常来看，Redis开发和运维人员更加关注的是Redis本身的一些配置优 化，例如AOF和RDB的配置优化、数据结构的配置优化等，但是对于操作系 统是否需要针对Redis做一些配置优化不甚了解或者不太关心。然而事实证 明一个良好的系统操作配置能够为Redis服务良好运行保驾护航。 在第1章我们提到过，Redis的作者对于Windows操作系统并不兴趣，目 前大部分公司都会将Web服务器、数据库服务
转载
2024-09-05 15:08:33
43阅读
# 优化 Linux 内核参数以提升 Redis 性能
在使用 Redis 作为缓存数据库时，为了提高其性能，我们需要对 Linux 内核参数进行优化。下面将介绍一些常见的优化方法，并附上相应的代码示例。
## 1. 提高文件描述符限制
Redis 在运行过程中会频繁地进行文件 I/O 操作，因此需要提高 Linux 系统的文件描述符限制。
```bash
# 查看当前文件描述符限制
ul
原创
2024-06-25 05:06:30
98阅读
一：集群CLUSTER INFO 打印集群的信息CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。CLUSTER MEET <ip> <port> 将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。 CLUSTER FORGET <node_id> 从集群中移除 node_id 指定的节点。 CL
转载
2023-06-13 10:18:13
97阅读
redigo的redis.Pool 配置参数调优 reids.Pool结构介绍 // github.com/garyburd/redigo/redis/pool.go
type Pool struct {
// Dial()方法返回一个连接，从在需要创建连接到的时候调用
Dial func() (Conn, error)
// TestOnBorrow()方
转载
2023-08-24 17:44:04
205阅读
Sentinel节点本质上是一个特殊的Redis节点， 所以也可以通过info命令来查询它的相关信息，
转载
2022-08-17 01:38:28
421阅读
1.最大打开文件数量（1）编辑资源限制文件，针对redis用户做资源访问控制
原创
2022-12-09 11:41:09
147阅读
一、梯度下降法: 学习率1、批量梯度下降法每次更新需要在整个数据集上求出优点：如果loss是个凸函数，则批量梯度下降会在全局最小值处收敛；若loss非凸，则会收敛于局部最小值缺点：1）更新速度慢 2）不能在线训练模型 3）如果数
转载
2024-05-21 16:23:08
76阅读
linux系统调优包括两个文件，一个是limits.conf文件，一个是sysctl.conf文件，这两个文件分别在/etc/secriuty/limits.conf和/etc/sysctl.conf下，具体修改内容如下：vi /etc/security/limits.conf
* soft nproc 11000 #限制最多打开的软件数
* hard nproc
转载
2024-05-07 11:30:00
63阅读
优化超参数子集以实现目标。Intuition优化是在实验中微调超参数以优化特定目标的过程。它可能是一个涉及计算的过程，具体取决于参数的数量、搜索空间和模型架构。超参数不仅包括模型的参数，还包括来自预处理、分割等的参数（选择）。当查看所有可以调整的不同参数时，它很快就变成了一个非常大的搜索空间。然而，仅仅因为某些东西是超参数并不意味着需要调整它。lower=True修复一些超参数（例如在预处理期间）
转载
2024-08-23 15:45:48
89阅读
OpenCV中的SVM参数优化 分类：机器学习（11） opencv（18） 版权声明：本文为博主原创文章，未经博主允许不得转载。 SVM（支持向量机）是机器学习算法里用得最多的一种算法。SVM最常用的是用于分类，不过SVM也可以用于回归，我的实验中就是用SVM来实现SVR（支持向量回归）。
转载
2024-03-05 16:44:02
73阅读
Linux详解零、文章目录
一、Linux简介1、简介在服务器端，Linux是最流程的操作系统。Linux 有一个强大的服务器软件生态系统：Docker、Redis、MySQL、Nginx、Hadoop 等等。Linux 内核最初只是由芬兰人林纳斯·托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基
网格搜索对给定参数进行组合，用某标准进行评价，只适合小数据集 class sklearn.model_selection.GridSearchCV(estimator, param_grid, scoring=None, fit_params=None, n_jobs=None, iid=’warn’, refit=True, cv=’warn’, verbose=0,
pre_dispatc
转载
2024-04-29 09:11:19
106阅读
nginx配置参数优化nginx作为高性能web服务器，即使不特意调整配置参数也可以处理大量的并发请求。以下的配置参数是借鉴网上的一些调优参数，仅作为参考，不见得适于你的线上业务。worker进程worker_processes**：**该参数表示启动几个工作进程，建议和本机CPU核数保持一致，每一核CPU处理一个进程。worker_rlimit_nofile**：**它表示Nginx最大可用的文
原创
2021-02-27 19:23:38
1978阅读
