我们知道Redis是基于内存的key-value数据库，因为系统的内存大小有限，所以我们在使用Redis的时候可以配置Redis能使用的最大的内存大小。1、通过配置文件配置通过在Redis安装目录下面的redis.conf配置文件中添加以下配置设置内存大小。//设置Redis最大占用内存大小为100M
maxmemory 100mbredis的配置文件不一定使用的是安装目录下面的redis.con
转载
2024-06-11 08:58:24
29阅读
质差聚类优化：cpu的分支预测，有序数组的的求和比无序数组快很多，就是因为CPU分支预测器的存在。解决办法：用移位来取代分支，让分支器更好预测等等。actor:通常对一个actor的调用会在不同线程上处理，一组线程处理一组actor，很多actor调用同一个线程，也就是说线程与actor之间的关系是多对多的关系。需要返回结果的时候可以考虑future。spark_strming=0.5-n秒的准实
转载
2024-10-30 17:05:26
3阅读
# Redis 不停重连的现象解析
在现代应用架构中，Redis作为一个高效的键值存储，广泛被应用于缓存、消息队列等场景。然而，有时候我们会遇到“Redis不停重连”的问题，这不仅影响了应用性能，还可能造成用户体验的下降。本文将通过解析这个现象的原因，并提供一些解决方案。
## Redis 重连的原因
Redis不停重连的原因通常可以归结为以下几个方面：
1. **网络问题**：网络不稳定
原创
2024-08-10 04:20:08
294阅读
过2天的跟踪确认，发布服务的内存泄漏问题彻底解决了，总结这次故障排除过程，可以说是一波三折。10月4日大蜘蛛上线后，我就隐约感到内存消耗不正常，当时没太在意，接下来连续几天，早上一起来，就发现任务管理器中的内存使用量达到了1300M,才开始到网上找资料，开始艰苦的故障排除过程。网上找技术资料，Baidu是帮不上什么忙的，google的网页搜索用处也不大，google的网上论坛搜索不错，但经常不能用
转载
2024-05-24 19:11:00
54阅读
Redis持久化简介从两个点，我们来了解下Redis持久化为什么需要持久化？Redis是个基于内存的数据库。那服务一旦宕机，内存中的数据将全部丢失。通常的解决方案是从后端数据库恢复这些数据，但后端数据库有性能瓶颈，如果是大数据量的恢复，1、会对数据库带来巨大的压力，2、数据库的性能不如Redis。导致程序响应慢。所以对Redis来说，实现数据的持久化，避免从后端数据库中恢复数据，是至关重要的。Re
转载
2023-08-17 17:21:06
162阅读
### 实现"redis luttece 不停重连"流程
#### 步骤表格
| 步骤 | 描述 |
|------|------------------------------|
| 1 | 引入redis客户端库 |
| 2 | 创建redis连接池 |
| 3 | 实现重连逻辑
原创
2024-03-15 06:00:21
121阅读
Redis数据迁移方式生产环境可能涉及到单台或者redis集群的迁移，比较幸运的是redis的提供了很多种数据迁移的方式，并且都非常简单。具体迁移的方式大家可以参考其他博客。我这里重点讨论生产环境迁移的需求和解决方案。方案一 生产环境迁移方案生产环境要求一般保证数据不能丢失目标集群和源集群的redis服务不能停止数据要实时同步基于以上三点要求，我觉得唯一可以满足的方式就是通过集群的同步机制。增加一
转载
2023-08-30 08:53:43
331阅读
# 实现“redis 不停地bgsave”流程
## 整体流程
下面是实现“redis 不停地bgsave”的整体流程，你可以通过以下步骤来完成任务：
```mermaid
graph TD
A(开启Redis服务器) --> B(设置自动bgsave)
B --> C(监控bgsave是否成功)
C --> D(循环执行)
```
## 具体步骤
### 步骤一
原创
2024-03-10 03:31:01
64阅读
前言
Redis是一个开源的高性能键值对数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，并借助许多高层级的接口使其可以胜任如缓存、队列系统等不同的角色。
Redis持久化了解
为了让性能更加优异，Redis默认是把所有的数据都存在内存中的。但是当服务器重启或程序异常崩溃时，Redis的数据就会全部丢失。因此出现了持久化的概念。持久化
转载
2024-02-04 22:28:03
55阅读
SDSSDS本质上就是char *，但是因为有了表头sdshdr结构的存在，所以SDS比传统C字符串在某些方面更加优秀。一般传统C字符串是有结束符的，遇到’\0‘则认为已经到达末尾，忽略结尾以后的所有字符。**SDS表头的buf被定义为字节数组，判断是否到达字符串结尾的依据是表头的len成员。**因此获取字符串长度时间复杂度为O(1)。总结下sds的特点是：可动态扩展内存、二进制安全、快速遍历字符
转载
2023-12-24 16:28:52
24阅读
文章目录前言准备工作主从同步原理主节点宕机恢复相关配置项日志观察同步过程哨兵(Sentinel)原理日志解读其他问题参考链接 前言本问阐述 Redis 主从同步、哨兵监控和故障迁移的过程，并通过各个服务日志加以验证。准备工作主从和哨兵安装见 安装过程。为了方便通过日志观察同步过程，你可以在每个 Redis 和 Sentinel 配置文件中修改下面参数，实现前台运行并将日志输出到控制台。# 这两个
转载
2023-10-25 16:22:30
68阅读
## Java内存不停增加触发major GC
在Java开发中，内存管理是一个至关重要的话题。Java虚拟机（JVM）通过垃圾回收来管理内存，以便释放不再使用的对象，从而避免内存泄漏和OOM（Out of Memory）异常。在JVM的垃圾回收过程中，会触发不同类型的垃圾回收，其中包括minor GC和major GC。
### 什么是major GC？
在JVM的垃圾回收过程中，majo
原创
2024-04-11 03:13:03
73阅读
开始前先说明一下环境 redis规模是在kubernetes环境下搭建的集群三主三从模式 使用hostpath将数据保存在宿主机上 6个POD分布在三台机器上 需求是要把6个POD分开调度到6台机器上 迁移的大概想法就是 redis的三个master节点不做迁移 只迁移三个slave 因为是生产环境中 安全第一 迁移前保证集群状态正常以及确认master节点分布在已有的主机节点上 确认新迁移的主机
转载
2023-07-28 14:19:56
116阅读
源码版本：redis 4.0.6前置工作配置vscode 调试源码：https://www.cxc233.com/blog/e1d54234.html要点提要1.pub/sub2.Redis哨兵模式（采用Raft算法）3.数据结构相关4.LRU实现5.Redis事务6.关于持久化设计// TODO + 7.内存碎片整理 + 8.redis 线程模型及实现 + 9.哨兵raft算法实现1.pub/s
转载
2023-11-14 10:18:52
68阅读
Redis持久化与集群这一篇是之前就想写的，但是考虑到学习一样东西有一样好的方式是对比，就先写的MySQL的复制，备份与恢复与Redis的持久化，集群有许多相同之处（我私以为最大的区别是Redis是存储在内存，MySQL是在磁盘，其他的思想其实差不多）1.什么是Redis持久化1.1 Redis持久化定义将Redis的数据从内存存储到磁盘（可以存储到MySQL数据库，或直接存储为Redis能够识别
转载
2024-09-27 06:35:29
94阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言迁移步骤问题分析和处理： 前言线上redis的数据迁移，将老服务器数据迁移到新服务器中，主要采用dump.rdb文件进行恢复，redis使用docker部署，部署脚本如下：docker run --name redis_6379 –ip 10.10.1.10 -p 6379:6379 –network=v_over
转载
2023-05-26 17:19:51
220阅读
在使用 Mac 进行开发时，redis 是一个常用的缓存数据库。然而，很多用户遇到“mac 关闭终端 redis 不停止”的问题。这意味着即使在关闭终端后，后台的 redis 服务仍然在运行。这不仅浪费了系统资源，还可能引发其他使用问题。本文将记录解决该问题的过程，涵盖背景定位、演进历程、架构设计、性能攻坚、故障复盘及扩展应用的各个方面。
### 背景定位
在现代应用架构中，Redis 被广泛
当前，Redis 从节点出现了“不停刷日志”的问题，这意味着在 Redis 集群中，从节点的日志文件持续增长，可能消耗大量的磁盘空间和 I/O 资源，从而影响整个集群的性能。本文将详细记录处理这一问题的步骤，包括背景定位、参数解析、调试步骤、性能调优、排错指南和最佳实践。
### 背景定位
在大型 Redis 集群中，用户报告称其从节点出现了异常的日志增长现象。此问题可能导致从节点的 I/O
这篇笔记很久以前就想写出来，一直忘记就没写，现在放出来希望能帮到有需要的人。由于工作关系，需要将服务器A的redis数据库迁移到服务器B上，一开始是打算停服后再把rdb文件复制过去，但是这个方法显然对现有业务造成很大影响。网上查了一下，再结合自己的研究，发现其实是可以不停服迁移的，而且方法也很简单。有两种情况，一种是服务器B中没有开启redis服务，可以新建一个配置文件，修改相关字段来实现迁移；另
转载
2023-05-25 16:51:10
283阅读
1、背景 - 在项目的实施过程中，由于有dev环境和pro环境，这时会有两个redis集群，但是部分数据从甲方的三方数据库中获取存入生产环境的redis集群中，为了方便测试和数据校验，需要将生产redis集群的各节点数据同步到测试环境的redis集群中，最好能实时的同步增量数据。2、方案写一个多数据源的redis项目，从一个redis集群读出来写到另外一个redis集群。PASS(太蠢了)AOF，
转载
2023-09-18 22:44:52
324阅读
