一、redis-shake简介 redis-shake是阿里云开源的用于Redis数据迁移和过滤的工具。 Github参考：redis-shake简介1.1、迁移工具对比redis-migrate-tool redis-migrate-tool是唯品会开源的一款Redis异构集群之间的数据实时迁移工具，不过已经有两年没有更新了，我个人觉得这是一款比较完善的工具，特别是数据校验。redis-shak
转载
2023-12-10 17:05:42
278阅读
pika是什么pika 是DBA和基础架构组联合开发的类Redis 存储系统，所以完全支持Redis协议，用户不需要修改任何代码，就可以将服务迁移至pika。Pika是一个可持久化的大容量redis存储服务，兼容string、hash、list、zset、set的绝大接口(兼容详情)，解决redis由于存储数据量巨大而导致内存不够用的容量瓶颈，并且可以像redis一样，通过slaveof命令进行主
转载
2023-09-08 18:57:17
181阅读
Reids配置文件详解 # redis 配置文件示例
# 当你需要为某个配置项指定内存大小的时候，必须要带上单位，
# 通常的格式就是 1k 5gb 4m 等酱紫：
#
# 1k => 1000 bytes
# 1kb => 1024 bytes
# 1m => 1000000 bytes
# 1mb => 1024*1024 bytes
# 1g =&g
Redis迁移的两种方式
转载
2023-05-25 11:19:32
312阅读
Redis cluster使用slots来分配集群中的资源，因此官方提供了热迁移slots的方案，以便于迁移redis cluster节点中的信息。此方案不仅可以使用于节点迁移，也可以根据资源的不同，配置不同的slots数量。集群原环境：主机IP：集群节点端口：10001-10006集群当前主备关系： 迁移需求：现在有节点redis007,需要将redis002替换掉迁移步骤：首先验证环
转载
2023-07-10 22:25:31
191阅读
redis支持migrate key的命令，支持从源redis节点迁移key到目标节点上，目标节点再执行restore命令，将数据加载进内存中。以800MB，数据类型为zset(skiplist) 的 key为例，测试环境为本地开发机上两台redis，忽略网络的影响。原生的redis 在restore时执行需要163s，优化后的redis执行需要27s。1. 原生redis restore的性能瓶
转载
2024-04-10 13:45:16
58阅读
1. redis-shake它支持解析、恢复、备份、同步四个功能恢复restore：将RDB文件恢复到目的redis数据库。备份dump：将源redis的全量数据通过RDB文件备份起来。解析decode：对RDB文件进行读取，并以json格式解析存储。同步sync：支持源redis和目的redis的数据同步，支持全量和增量数据的迁移，支持从云下到阿里云云上的同步，也支持云下到云下不同环境的同步，支
转载
2023-06-29 14:32:28
238阅读
上一篇写了redis-cluster集群的搭建过程，这里讲一下redis的迁移过程，因为以前的生产环境是单实例的，所有迁移起来比较麻烦，参考了一下网上的资料，可以使用修改卡槽的办法来实现迁移。具体的思路是这样，redis 包含16348 个卡槽，是hash分布的，所有的数据都分布在上面，先把redis-cluster所有的卡槽全部集中到一个节点9000上，然后在单节点上通过rds 持久化数据，把持
转载
2023-06-13 15:54:35
106阅读
一、常见redis数据迁移方式
业内，常见的redis数据迁移方式有以下三种：
aof（日志文件）、
rdb（快照文件）、
replication（主从复制）。
其中，aof和rdb两种方式适用于跨网络（网络隔离）的redis实例之间的数据迁移，通过：在源实例上执行指令（bgrewriteaof/bgsave）生成aof或者rdb文件 -> 下载数据文件 ->
转载
2023-08-24 13:43:23
782阅读
一 前言如图，是我的环境。这里边有三个系统，1 业务系统。2 redis cluster集群。3 redis cluster集群的管理系统。系统1，会对redis中进行秒级的数据添加，读取，删除操作。系统3，是redis集群的增加节点减少节点，节点failover功能进行管理。如图目前，我的系统里，redis共占用了a1，b1，c1，d1四台物理设备。我的目的是，在不影响业务系统运行的情况下，将r
转载
2023-06-30 13:11:27
153阅读
前言:如果同步过程中发现数据量不一致,先不要断开主从,分析一下每日进redis的数据量是否很大,以及键的过期时间目录一、redis到redis数据迁移方案1.建立 “主从” 方式迁移 2.redis-port方式迁移数据3.redis-shake迁移二、redis迁移pika方案（aof_to_pika工具迁移）1.工具准备aof_to_pika.zip2.具体操作步骤三、
转载
2024-07-01 17:00:38
113阅读
# 迁移 Redis 数据库
Redis 是一种高性能的键值存储数据库，广泛应用于缓存、消息队列和实时数据分析等场景。然而，随着数据量的增加，有时我们需要对 Redis 进行迁移，比如从一个 Redis 实例迁移到另一个实例，或者从本地迁移到云环境。本文将详细讲解 Redis 数据迁移的步骤和代码示例。
## 迁移方法概述
迁移 Redis 数据可以采取几种不同的方法，最常用的有：
1.
原创
2024-09-28 04:34:01
43阅读
1，先停止java的后台和.net的后台，停止对redis cluster进行访问2，然后 cd /usr/local/redis-cluster/7001 每个节点都要做如下操作7001-7006bin/redis-cli -c -h 10.17.100.222 -p 7001 -a 'redis!123456'执行save 然后把 7001-7006目录下的du
转载
2023-06-13 23:58:07
77阅读
1：开发中断程序，登录各个主节点查看key信息 INFO
# Keyspace
db0:keys=573153,expires=23977,avg_ttl=6721214720
# Keyspace
db0:keys=574792,expires=24263,avg_ttl=6741152890
# Keyspace
db0:keys=574647,expires=24500,avg_ttl
转载
2023-06-13 11:25:03
113阅读
工具特性快速多线程基于redis复制实时迁移迁移过程中，源集群不影响对外提供服务异构迁移支持Twemproxy集群，redis cluster集群，rdb文件 和 aof文件。过滤功能当目标集群是Twemproxy，数据会跳过Twemproxy直接导入到后端的redis迁移状态显示完善的数据抽样校验(-C redis_check)redis-migrate-tool 是维品会开源的一款redis数
转载
2023-06-07 15:52:29
227阅读
Redis数据迁移与校验一、Redis数据迁移1.1 Redis数据迁移工具1.1.1 redis-migration1.1.2 redis-migrate-tool1.1.3 redis-port1.1.4 redis-shake1.2 redis-shake介绍二、Redis数据校验2.1 redis-full-check Redis常见的数据迁移方式有以下三种：RDB迁移、AOF迁移
转载
2023-07-28 16:54:55
4335阅读
Redis3.0集群安装手册 一、概述 要让集群正常工作至少需要3个主节点，在这里我们要创建6个Redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下 127.0.0.1:7000127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 &n
转载
2024-06-15 09:48:23
30阅读
Redis-shake是阿里云自研的开源Redis数据传输工具，支持对Redis数据进行解析（decode）、恢复（restore）、备份（dump）和同步（sync或rump），易于部署，灵活高效。Redis-shake的sync（同步）模式支持全量数据迁移和增量数据迁移，详细的迁移流程如下图所示： 想了解redis-shake，请访问 https://help.aliyun.com/docum
转载
2023-07-07 14:00:33
94阅读
离线迁移与在线迁移相比，离线迁移适宜于源实例与目标实例的网络无法连通的场景，或者源端实例部署在其他云厂商Redis服务中，无法实现在线迁移。存在的问题由于生产环境的各种原因，我们需要对现有服务器进行迁移，包括线上正在运行的redis集群环境 如何去做?涉及到数据源变动，原有数据如何平滑迁移到新实例，从而可以实现无缝迁移?方案汇总save/bgsave导出RDB+Redis-Shake进行迁移基于r
转载
2023-07-03 20:12:24
238阅读
对集群维护调整数据的存储，就是对slot哈希槽和节点的调整。Redis内置的集群支持动态调整，可以在集群不停机的情况下，改变slot、添加或删除节点。 ps -ef | grep redis
./redis-cli -p 7001 cluster nodes (查看集群信息)
#分片重哈希，可以连接任意节点，对哈希槽进行重分配
#cd /root/redis-4.0.14/s
转载
2023-10-10 11:53:37
128阅读
