1. 背景上半年我们使用RocksDB做存储引擎，实施了Redis数据实时落地的项目，实现了在兼容redis协议的前提下，管理超出内存大小的数据集。在主从同步方面，我们沿用了Redis原有的方案，该方案在实际运营中应对不良的网络状况显得很无力，因此我们在数据落地的基础上，为Redis开发了一套新的主从同步机制。2. Redis原生同步方式主从数据同步分一般两步走：同步已有的全量数据，和同步增量数据
转载
2023-09-21 11:26:09
71阅读
文章目录1. Redis事务1.1 Redis中事务简述1.2 Redis事务操作1.3 Redis事务的回滚2. Redis实现乐观锁3. Redis持久化3.1 RDB3.2 AOF4. 发布订阅4.1 相关命令4.2 相关测试 1. Redis事务1.1 Redis中事务简述Redis 事务的本质是一组命令的集合Redis 事务不保证原子性。Redis中，单条命令是原子性执行的，但事务不保
# Redis 订阅 Binlog：数据实时同步的新思路
随着技术的不断进步，越来越多的应用需要处理大量的数据。在这个背景下，数据库的变更日志（Binlog）作为一种重要的数据库变更记录工具，变得越来越重要。而 Redis，作为一款高性能的内存数据库，其订阅/发布（Pub/Sub）功能为我们提供了一种新的思路来实时同步 Binlog 数据。本文将详细介绍 Redis 订阅 Binlog 的工作原
原创
2024-09-27 03:52:51
100阅读
使用 Binlog 实时更新Redis缓存
Mysql 服务器准备Canal 服务器准备Canal Client测试基于 Binlog实现跨系统实时数据同步
更换数据库实现比对和补偿程序安全地实现数据备份和恢复使用 Binlog 实时更新Redis缓存Mysql 服务器准备查看当前数据是否开启主从同步show variables like '%log_bin%'; #log_bin=O
转载
2024-06-18 23:24:27
58阅读
终于到这个系列的最后一篇，在前两篇博客中，我们分别了介绍了Binlog的概念和事件总线(EventBus)的实现，在完成前面这将近好几千字的铺垫以后，我们终于可以进入正题，即通过EventBus发布Binlog，再通过编写对应的EventHandler来订阅这些Binlog，这样就实现了我们“最初的梦想”。坦白说，这个过程实在有一点漫长，庆幸的是，它终于还是来了。Binlog读取与解析首先，我们通
转载
2023-12-30 18:07:11
107阅读
终于等到了周末，在经历了一周的忙碌后，终于可以利用空闲写篇博客。其实，博主有一点困惑，困惑于这个世界早已“堆积”起人类难以想象的“大”数据，而我们又好像执着于去“造”一个又一个“差不多”的“内容管理系统”，从前我们说互联网的精神是开放和分享，可不知从什么时候起，我们亲手打造了一个又一个的“信息孤岛”。而为了打通这些“关节”，就不得不去造一张巨大无比的蜘蛛网，你说这就是互联网的本质，对此我表示无法反
转载
2024-02-20 08:33:13
0阅读
Redis03-配置文件+备份+发布订阅+主从复制+缓存问题1.Redis配置文件bind 127.0.0.1，配置绑定的ip。bind 127.0.0.1，表示只有本地机器可以访问。如果需要其他的主机访问，可以设置为 bind *。daemonize no，是否以守护进程的方式运行，默认为no，如果需要后台运行可修改为yes。pidfile /var/run/redis_6379.pid，如果以
转载
2024-02-21 21:33:56
27阅读
一、配置项redis相关配置项都存放在redis.conf文件中，暂时只列举常见的几个，其余的工作中用到再回来更新1、网络bind：指定redis只能接受来自此IP绑定的网卡的请求，注意此默认值默认外网是不可访问的，如果想要开启远程访问redis服务器，就要把127.0.0.1注释掉port：redis的服务端口protected-mode：是否开启保护模式。如果没有指定bind和密码，redis
转载
2023-08-15 22:39:04
67阅读
文章目录前言一、消息订阅二、pipeline三、事务四、布隆过滤器 前言通过redis中文文档 学习，主要记录下学习的过程。主要学习了redis的发布订阅，pipeline管道，事务，缓存lru，以及在https://redis.io/modules网站上的bloom布隆过滤器一、消息订阅 通过redis中文文档可以进行学习，具体里面Redis 发布/订阅（Pub/Sub）的详情，大家可以点击进
转载
2024-04-15 18:03:55
50阅读
缓存和数据库一致性问题中写道:无论是更新缓存还是删除缓存，只要第二步发生失败，那么就会导致数据库和缓存不一致。1.重试2.异步重试3.订阅binlog日志 具体来讲就是，我们的业务应用在修改数据时，「只需」修改数据库，无需操作缓存。那什么时候操作缓存呢？这就和数据库的「变更日志」有关了。拿 MySQL 举
转载
2023-07-21 09:54:24
307阅读
需求场景：分布式项目中，每个子项目有各自的 user 数据库， 在综合管理系统中存放这所有用户信息， 为了保持综合管理系统用户的完整性， 子系统添加用户后将用户信息以json格式保存至redis，然后发布到消息到消息通道，综合管理系统监控到子系统发布的消息前往redis 获取出用户信息保存到自己的数据库 1）redis配置1
转载
2024-06-28 20:13:30
61阅读
# 如何将MySQL的Binlog订阅到Redis
在这篇文章中，我们将学习如何将MySQL的二进制日志（Binlog）通过订阅机制发送到Redis。这不是一项简单的任务，但只要你按部就班地完成每个步骤，你就能成功实现。
## 总体流程
以下是实现该功能的总体流程：
| 步骤 | 描述 |
|------|----------------------
原创
2024-08-31 10:12:05
112阅读
目录
慢查询pipeline发布订阅BitmapHyperLogLogGEO慢查询生命周期发送命令 --> 排队 --> 执行命令 --> 返回结果说明：1.慢查询发生在第三阶段2.客户端超时不一定有慢查询，四个阶段都可能会是超时的原因两个配置slowlog-max-len1.先进先出队列2.固定长度3.保存在内存内，不会持久化slowlog-log-slower-than
转载
2024-04-10 06:54:21
65阅读
Redis是一个高性能的开源内存数据库，常用于缓存、消息队列等场景。在实际应用中，我们常常需要对Redis中的数据进行订阅和监听，以便实时获取数据变更的通知。本文将介绍如何使用Redis的binlog功能来实现数据的订阅，以解决实际应用中的一个问题。
## 问题描述
假设我们有一个在线聊天应用，用户可以通过该应用发送消息、接收消息。我们希望能够在消息发送或接收时实时获取到消息的内容，并进行处理
原创
2024-05-19 05:08:46
51阅读
# Redis订阅binlog代码
在使用Redis时，有时我们需要订阅并获取Redis的binlog（二进制日志）信息。binlog是Redis用于记录数据修改操作的一种机制，可以用来实时监控和同步数据的变化。本文将介绍如何使用代码订阅Redis的binlog，并提供相应的代码示例。
## Redis订阅binlog的原理
Redis的binlog是一种以二进制形式记录的日志文件，它包含了
原创
2024-02-01 04:45:40
30阅读
Redis.conf配置Units单位配置大小单位,开头定义了一些基本的度量单位，只支持bytes，不支持bit大小写不敏感INCLUDES类似jsp中的include，多实例的情况可以把公用的配置文件提取出来网络相关配置bind 与 protected-mode默认情况bind=127.0.0.1只能接受本机的访问请求不写的情况下，无限制接受任何ip地址的访问生产环境肯定要写你应用服务器的地址；
转载
2024-06-30 14:37:20
21阅读
1. Redis 订阅与发布1.1 什么是订阅与发布什么是订阅与发布？Redis 订阅与发布是一种消息通信模式，发布者发送消息，订阅者接收消息。Redis 主要是将消息发布者和消息订阅者之间进行耦连，发布与订阅不仅解决了消息的发布者与订阅者之间直接的代码级别的耦合，也解决了两者之间在物理部署上的耦合。Redis 在订阅者与发布者之间起到了消息路由的功能。订阅者可以通过 subscribe 和 ps
转载
2023-08-26 10:05:01
106阅读
# Java Binlog 订阅实现指南
## 1. 介绍
Binlog（Binary Log）是 MySQL 服务器生成的一种二进制日志文件，用于记录数据库的变更信息。通过订阅 Binlog，可以实现数据同步、变化监控等功能。本指南将帮助你实现 Java 中的 Binlog 订阅。
## 2. 流程概览
以下是实现 Java Binlog 订阅的主要步骤：
| 步骤 | 描述 |
|-
## 实现 Java 订阅 Binlog 的流程
### 步骤概览
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 引入相关依赖 |
| 步骤二 | 配置数据库连接信息 |
| 步骤三 | 创建 Binlog 监听器 |
| 步骤四 | 启动 Binlog 监听器 |
| 步骤五 | 处理 Binlog 事件 |
### 详细步骤说明
#### 步骤一：引入相关依赖
原创
2023-07-27 13:53:38
925阅读
# Java 订阅 Binlog 的实现指南
在现代分布式系统中，数据同步和实时处理都是非常热门的需求。MySQL 的 Binary Log（binlog）是一个非常重要的工具，用于记录对数据库的所有变化。本文将指导你如何使用 Java 订阅 MySQL 的 binlog 以实现数据的实时同步。
## 整体流程
在开始动手编写代码之前，我们先明确实现这一功能的整体流程。以下是具体的步骤：
原创
2024-09-29 04:12:02
60阅读
