分库分表使用Redis分配ID的挑战与解决方案
随着业务的快速增长，我们的数据库架构逐渐变得复杂。为了应对日益增长的数据量和访问量，我们决定采取分库分表的策略。然而，在这种架构下，如何有效地为各个微服务生成唯一的ID是一道难题。在这个博文中，我将详细记录我们在“分库分表使用Redis分配ID”的过程，包括背景定位、演进历程、架构设计、性能攻坚、复盘总结及扩展应用。
---
## 背景定位
Redis高可用方案（二）：集群与分区分区是将数据分布在多个Redis实例（Redis主机）上，以至于每个实例只包含一部分数据。分区的意义性能的提升 单机Redis的网络I/O能力和计算资源是有限的，将请求分散到多台机器，充分利用多台机器的计算能力 可网络带宽，有助于提高Redis总体的服务能力。存储能力的横向扩展 即使Redis的服务能力能够满足应用需求，但是随着存储数据的增加，单台机器受限于机
转载
2023-11-06 17:09:37
4阅读
概要首先，我们来思考下面几个问题：1、分库分表的常见方案有哪些？2、基于什么维度来做分库分表？3、分库分表之后带来了什么新的问题？下面将基于上面的问题来进行分析：分库分表方案分库分表的目的是达到垂直或水平切分的目的，切分数据使其分布到不同的库或表上。最关键的点就是路由算法，把分片键（路由的key）按照指定的路由算法进行路由存放。1、范围法 - range范围范围法对分片键按照范围进行切分，将数据切
转载
2024-03-11 16:54:52
64阅读
分表分库一般是你的业务并发高，或者数据量大的情况下进行业务拆分。但是分表后会带来一系列你想不到的问题，比如我们今天要讨论的分表分库后的 id 分配问题。分表之前，你的数据表中的主键，可以设置为自动增长等。但是分表后，id 在所有分后的表中是不能重复的。举个例子，我的用户表，我一共分了 3 个表。那么 u1 中存在 id 为 1 的主键后，u2、u3 就不能使用相同的主键 id 了。因此，分表后，要
原创
2021-04-17 14:16:08
425阅读
分表分库一般是你的业务并发高，或者数据量大的情况下进行业务拆分。但是分表后会带来一系列你想不到的问题，比如我们今天要讨论的分表分库后的 id 分配问题。分表之前，你的数据表中的主键，可以设置为自动增长等。但是分表后，id 在所有分后的表中是不能重复的。举个例子，我的用户表，我一共分了 3 个表。那么 u1 中存在 id 为 1 的主键后，u2、u3 就不能使用相同的主键 id 了。因此，分表后，要
原创
2021-05-03 11:21:55
109阅读
分表分库一般是你的业务并发高，或者数据量大的情况下进行业务拆分。但是分表后会带来一系列你想不到的问题，比如我们今天要讨论的分表分库后的id分配问题。分表之前，你的数据表中的主键，可以设置为自动增长等。但是分表后，id在所有分后的表中是不能重复的。举个例子，我的用户表，我一共分了3个表。那么u1中存在id为1的主键后，u2、u3就不能使用相同的主键id了。因此，分表后，要达到每个表中的主键不能相同，
原创
2021-03-18 21:05:59
2183阅读
数据存储性能优化当数据量达到TB级别时，传统关系型数据库基本做了分库分表，单表数据量也是非常大的。对于一些不适合用关系型数据库存储的数据，传统数据库无法做到，所以数据库本身的特性限制了多样性数据的管理。 所以nosql出现了，大家对nosql这个概念已经不陌生了，它是指不同于传统关系型数据库的其他数据库系统的一个统称，它不使用SQL作为查询语言，并且相对于传统关系型数据库来说，它提供了更高的性能以
转载
2024-02-02 18:16:39
21阅读
# 实现MySQL分库分表之后使用Redis生成ID
## 引言
在开发中，当数据库数据量庞大时，为了提高数据库的性能和扩展性，通常会采用分库分表的方式。而在分库分表的情况下，如何生成唯一的ID成为了一个挑战。本文将教会刚入行的开发者如何实现MySQL分库分表之后使用Redis生成ID的方法。
## 流程图
```mermaid
flowchart TD
A[生成ID请求]
原创
2023-12-28 07:34:29
85阅读
唯一ID的生成 下面列举几种常见的唯一ID生成方案，需要满足两大核心需求：1.全局唯一 2趋势有序 1. 用数据库的auto_increment（自增ID）来生成，每次通过写入数据库一条记录，利用数据库ID自增的特性获取唯一，有序的ID。 优点：使用数据库原有的功能，相对简单；能够保证唯一；能够保证递增性；ID之间的步长是固定且可以自定义的&
转载
2023-08-02 21:25:55
82阅读
什么是MyCat？答：MyCat是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。—————————
转载
2023-06-21 18:05:30
71阅读
根据侧重点不同，分库分表可以有两种方向，垂直方向和水平方向。1.垂直方向垂直方向上更侧重于业务分表最开始时候我们使用的是单库，也就是我们个人日常开发时用的方式。但是当正式项目上线之后，随着业务的发展，表数据表中的字段越来越多，一个表中会出现几十上百个字段管理起来会非常混乱，所以此时会采用分表的方式，将核心数据与非核心数据分开，或者可以根据表的访问频率分表。我在实习期间接触到的项目里，很明显的就进行
在大型互联网应用中，随着用户数的增加，为了提高应用的性能，我们经常需要对数据库进行分库分表操作。在单表时代，我们可以完全依赖于数据库的自增 ID来唯一标识一个用户或数据对象。但是当我们对数据库进行了分库分表后，就不能依赖于每个表的自增ID来全局唯一标识这些数据了。因此，我们需要提供一 个全局唯一的ID号生成策略来支持分库分表的环境。下面来介绍两种非常优秀的解决方案：1. 数据库自增ID——来自Fl
转载
2023-11-14 10:40:49
90阅读
ShardingJDBCShardingJDBC是用来做客户端分库分表的产品，而ShardingProxy是用来做服务端分库分表的产品。 shardingjdbc的核心功能是数据分片和读写分离，通过ShardingJDBC，应用可以透明的使用JDBC访问已经分库分表、读写分离的多个数据源，而不用关心数据源的数量以及数据如何分布。核心概念逻辑表：水平拆分的数据库的相同逻辑和数据结构表的总称真实表：在
转载
2024-02-26 18:18:05
33阅读
Redis压力测试 指令：./redis-benchmark -h 127.0.0.1Redis实现分表分库Redis数据压力如果mysql压力不够，使用mycat 如果tomcat压力不够，使用nginx 如果redis内存不够呢？ 这时我们可以使用分表分库。分库思路不管数据库还是客户的缓存都找代理(网关)对Key进行路由（这里是通过Key的长度取模）把数据存到相应Redis服务器代码解析 re
转载
2023-05-29 11:04:55
0阅读
一、为什么要分库分表软件时代，传统应用都有这样一个特点：访问量、数据量都比较小，单库单表都完全可以支撑整个业务。随着互联网的发展和用户规模的迅速扩大，对系统的要求也越来越高。因此传统的MySQL单库单表架构的性能问题就暴露出来了。而有下面几个因素会影响数据库性能:数据量MySQL单库数据量在5000万以内性能比较好，超过阈值后性能会随着数据量的增大而变弱。MySQL单表的数据量是500w-1000
转载
2023-08-15 18:41:57
52阅读
Redis内存数据库随着互联网+大数据时代的来临，传统的关系型数据库已经不能满足中大型网站日益增长的访问量和数据量。这个时候就需要一种能够快速存取数据的组件来缓解数据库服务I/O的压力，来解决系统性能上的瓶颈。数据库的发展历史1.在互联网+大数据时代来临之前，企业的一些内部信息管理系统，一个单个数据库实例就能满足系统的需求单数据库实例2.随着系统访问用户的增多，数据量的增大，单个数据库实例已经满足
转载
2023-08-15 19:16:01
100阅读
概述分库分表后涉及到的另一个问题就是主键如何保证唯一且自增。以前单库单表的时候只需要利用数据库特性进行自增即可，现在因为是各自独立的库表，数据库之间的主键自增无法进行交互，比如数据库1的订单明细表主键自增到了1001，数据库2的订单明细表主键现在是1000，如果现在往数据库2的订单明细表中插入一条数据，这个时候获取到的主键ID会是1001，这样就会造成业务上的主键冲突。全局ID为了解决订单明细表主
原创
2022-11-15 09:13:09
167阅读
# 实现“mysql分库分表id处理”教程
## 1. 整体流程
首先，我们来看一下实现“mysql分库分表id处理”的整体流程。可以用以下表格展示步骤：
| 步骤 | 内容 |
| ---- | ---- |
| 1 | 创建数据库及表结构 |
| 2 | 实现数据分库分表 |
| 3 | 实现id处理策略 |
## 2. 具体步骤
### 2.1 创建数据库及表结构
首先我们需要创
原创
2024-06-09 04:19:13
59阅读
分库拆表：
好处：
1. 数据库容量问题；
2. 解决性能压力的最优选择；
原则：
反范式数据结构设计，所谓反范式，第一要点是不用外键，不允许Join 操作，不允许任何需要跨越两个表的查询请求；第二要点是适度冗余减少查询请求。
分库方案：
1. 安全
转载
2024-05-17 03:23:15
32阅读
# MySQL 分表分库全局 ID
## 背景
在高并发的系统中，数据库的性能往往是一个瓶颈。为了解决这个问题，我们可以通过分表分库的方式将数据分散到多个数据库中，从而提高系统的扩展性和性能。
然而，在分表分库的过程中，我们面临一个新的问题，即如何生成全局唯一的 ID。在传统的单一数据库中，我们可以通过自增字段来实现全局唯一 ID 的生成。但是在分表分库的情况下，每个数据库都有自己的自增字段，
原创
2023-07-30 15:41:38
124阅读
