唯品会开源的redis在线迁移工具
原创
2018-09-05 09:57:44
10000+阅读
pika是什么pika 是DBA和基础架构组联合开发的类Redis 存储系统，所以完全支持Redis协议，用户不需要修改任何代码，就可以将服务迁移至pika。Pika是一个可持久化的大容量redis存储服务，兼容string、hash、list、zset、set的绝大接口(兼容详情)，解决redis由于存储数据量巨大而导致内存不够用的容量瓶颈，并且可以像redis一样，通过slaveof命令进行主
转载
2023-09-08 18:57:17
181阅读
Redis cluster使用slots来分配集群中的资源，因此官方提供了热迁移slots的方案，以便于迁移redis cluster节点中的信息。此方案不仅可以使用于节点迁移，也可以根据资源的不同，配置不同的slots数量。集群原环境：主机IP：集群节点端口：10001-10006集群当前主备关系： 迁移需求：现在有节点redis007,需要将redis002替换掉迁移步骤：首先验证环
转载
2023-07-10 22:25:31
191阅读
Redis迁移的两种方式
转载
2023-05-25 11:19:32
312阅读
redis支持migrate key的命令，支持从源redis节点迁移key到目标节点上，目标节点再执行restore命令，将数据加载进内存中。以800MB，数据类型为zset(skiplist) 的 key为例，测试环境为本地开发机上两台redis，忽略网络的影响。原生的redis 在restore时执行需要163s，优化后的redis执行需要27s。1. 原生redis restore的性能瓶
转载
2024-04-10 13:45:16
58阅读
上一篇写了redis-cluster集群的搭建过程，这里讲一下redis的迁移过程，因为以前的生产环境是单实例的，所有迁移起来比较麻烦，参考了一下网上的资料，可以使用修改卡槽的办法来实现迁移。具体的思路是这样，redis 包含16348 个卡槽，是hash分布的，所有的数据都分布在上面，先把redis-cluster所有的卡槽全部集中到一个节点9000上，然后在单节点上通过rds 持久化数据，把持
转载
2023-06-13 15:54:35
106阅读
1. redis-shake它支持解析、恢复、备份、同步四个功能恢复restore：将RDB文件恢复到目的redis数据库。备份dump：将源redis的全量数据通过RDB文件备份起来。解析decode：对RDB文件进行读取，并以json格式解析存储。同步sync：支持源redis和目的redis的数据同步，支持全量和增量数据的迁移，支持从云下到阿里云云上的同步，也支持云下到云下不同环境的同步，支
转载
2023-06-29 14:32:28
238阅读
一 前言如图，是我的环境。这里边有三个系统，1 业务系统。2 redis cluster集群。3 redis cluster集群的管理系统。系统1，会对redis中进行秒级的数据添加，读取，删除操作。系统3，是redis集群的增加节点减少节点，节点failover功能进行管理。如图目前，我的系统里，redis共占用了a1，b1，c1，d1四台物理设备。我的目的是，在不影响业务系统运行的情况下，将r
转载
2023-06-30 13:11:27
153阅读
前言:如果同步过程中发现数据量不一致,先不要断开主从,分析一下每日进redis的数据量是否很大,以及键的过期时间目录一、redis到redis数据迁移方案1.建立 “主从” 方式迁移 2.redis-port方式迁移数据3.redis-shake迁移二、redis迁移pika方案（aof_to_pika工具迁移）1.工具准备aof_to_pika.zip2.具体操作步骤三、
转载
2024-07-01 17:00:38
113阅读
一、常见redis数据迁移方式
业内，常见的redis数据迁移方式有以下三种：
aof（日志文件）、
rdb（快照文件）、
replication（主从复制）。
其中，aof和rdb两种方式适用于跨网络（网络隔离）的redis实例之间的数据迁移，通过：在源实例上执行指令（bgrewriteaof/bgsave）生成aof或者rdb文件 -> 下载数据文件 ->
转载
2023-08-24 13:43:23
782阅读
# 迁移 Redis 数据库
Redis 是一种高性能的键值存储数据库，广泛应用于缓存、消息队列和实时数据分析等场景。然而，随着数据量的增加，有时我们需要对 Redis 进行迁移，比如从一个 Redis 实例迁移到另一个实例，或者从本地迁移到云环境。本文将详细讲解 Redis 数据迁移的步骤和代码示例。
## 迁移方法概述
迁移 Redis 数据可以采取几种不同的方法，最常用的有：
1.
原创
2024-09-28 04:34:01
43阅读
1：开发中断程序，登录各个主节点查看key信息 INFO
# Keyspace
db0:keys=573153,expires=23977,avg_ttl=6721214720
# Keyspace
db0:keys=574792,expires=24263,avg_ttl=6741152890
# Keyspace
db0:keys=574647,expires=24500,avg_ttl
转载
2023-06-13 11:25:03
113阅读
1，先停止java的后台和.net的后台，停止对redis cluster进行访问2，然后 cd /usr/local/redis-cluster/7001 每个节点都要做如下操作7001-7006bin/redis-cli -c -h 10.17.100.222 -p 7001 -a 'redis!123456'执行save 然后把 7001-7006目录下的du
转载
2023-06-13 23:58:07
77阅读
工具特性快速多线程基于redis复制实时迁移迁移过程中，源集群不影响对外提供服务异构迁移支持Twemproxy集群，redis cluster集群，rdb文件 和 aof文件。过滤功能当目标集群是Twemproxy，数据会跳过Twemproxy直接导入到后端的redis迁移状态显示完善的数据抽样校验(-C redis_check)redis-migrate-tool 是维品会开源的一款redis数
转载
2023-06-07 15:52:29
227阅读
Redis3.0集群安装手册 一、概述 要让集群正常工作至少需要3个主节点，在这里我们要创建6个Redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下 127.0.0.1:7000127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 &n
转载
2024-06-15 09:48:23
30阅读
Redis数据迁移与校验一、Redis数据迁移1.1 Redis数据迁移工具1.1.1 redis-migration1.1.2 redis-migrate-tool1.1.3 redis-port1.1.4 redis-shake1.2 redis-shake介绍二、Redis数据校验2.1 redis-full-check Redis常见的数据迁移方式有以下三种：RDB迁移、AOF迁移
转载
2023-07-28 16:54:55
4335阅读
文章目录前言准备工作主从同步原理主节点宕机恢复相关配置项日志观察同步过程哨兵(Sentinel)原理日志解读其他问题参考链接 前言本问阐述 Redis 主从同步、哨兵监控和故障迁移的过程，并通过各个服务日志加以验证。准备工作主从和哨兵安装见 安装过程。为了方便通过日志观察同步过程，你可以在每个 Redis 和 Sentinel 配置文件中修改下面参数，实现前台运行并将日志输出到控制台。# 这两个
转载
2023-10-25 16:22:30
68阅读
一些很古老的项目里使用了memcache作为缓存组件，这些组件基本都是来源于自研环境没有上云，存在很多难以解决的问题。导致无法管理，更没有跨AZ的特性没有控制面进行管理不支持扩容、跨AZ部署连接错误、连接超时频发有些项目后来改用了云上Redis作为缓存组件，但是memcached在并行运行，新逻辑使用Redis，旧的逻辑能不变就不变。这也给项目维护和迭代带来了很多麻烦。本文以域名注册项
转载
2024-07-25 17:37:42
102阅读
Redis集群间的无感数据迁移方案一、迁移工具的安装与部署1、获取RedisShake开源工具源码包git clone https://github.com/alibaba/RedisShake2、获取源码包后，会生成 RedisShake目录，进入RedisShake目录 运行软件编译命令cd RedisShake
sh build.sh
（注意事项：在编译软件之前，需要将yum库update
转载
2023-09-28 13:47:22
128阅读
前言
Redis是一个开源的高性能键值对数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，并借助许多高层级的接口使其可以胜任如缓存、队列系统等不同的角色。
Redis持久化了解
为了让性能更加优异，Redis默认是把所有的数据都存在内存中的。但是当服务器重启或程序异常崩溃时，Redis的数据就会全部丢失。因此出现了持久化的概念。持久化
转载
2024-02-04 22:28:03
53阅读
