文章目录

  • mycat是什么;为什么要用;
  • mycat的作用
  • 原理
  • 分库分表的意义
  • 数据库优化的层次:
  • 数据切分的方式,带来的问题和解决方案
  • 分库分表带来的问题
  • mycat的特性与详细配置含义
  • mycat2与mycat1.6区别
  • mycat2映射模型
  • 多数据源解决方案
  • mycat核心概念
  • mycat全局ID
  • mycat监控与日志查看


mycat是什么;为什么要用;

mycat是数据库中间件。(中间件:是一类链接软件组件和应用的计算机软件,以便于软件各部件之间的交互)。
为什么要用mycat:

  1. Java与数据库高耦合。
  2. 高访问量高并发对数据库的压力。
  3. 读写请求数据不一致。

mycat的作用

  1. 读写分离
  2. 数据分片(分库分表):垂直拆分(分库)、水平拆分(分表)、垂直水平拆分(分库分表)
  3. 多数据源整合

原理

Mycat的原理中最重要的一个动词是“拦截”’,它拦截了用户发送过来的SQL语句,首先对SQL语句做了一些特定的分析:如分片分析、路由分析、读写分离分析、缓存分析等,然后将此SQL发往后端的真实数据库,并将返回的结果做适当的处理,最终再返回给用户。

sql server 分库 分表 中间件 分库分表中间件mycat_数据

分库分表的意义

作为数据库优化方案,解决数据库性能瓶颈问题。
数据库性能瓶颈出现的原因:连接、速度、存储。
常见数据库瓶颈问题:
- 数据库数量大,查询效率低
- 分布式数据库架构复杂对接困难
- 高访问、高并发对数据库压力大

数据库优化的层次:

  1. SQL与索引
  2. 表、存储引擎
  3. 集群架构:主从复制(一主一从、一主多从、双主架构、多主多从)、分库分表
    主从:replicate 冗余
    分片:shard
  4. 数据库配置优化(连接数)
  5. OS、Hardware

架构演进:单应用单数据库 -> 多应用单数据库 -> 多应用独立数据库

数据切分的方式,带来的问题和解决方案

分表:解决单表数据量过大导致的查询效率下降。理论分表500W,以实际业务为准。

  1. 垂直切分:基于字段的切分。
    eg:学生信息表拆分为学生基本信息表、学生学籍信息表、学生扩展信息表等
  • 垂直切分(单库)

sql server 分库 分表 中间件 分库分表中间件mycat_数据库_02

  • 垂直切分(多库)

sql server 分库 分表 中间件 分库分表中间件mycat_数据_03

  1. 水平切分:基于数据的切分。得到的表结构是相同的,只是数据存储在不同表。
    eg:
  • 水平切分(单库):
  • 渠道交易流水表:channel_tran、channel_tran_month、channel_tran_history
  • 商户费用明细表:fee_detail_202211、fee_detail_202212、fee_detail_202301
  • 水平切分(单库):

sql server 分库 分表 中间件 分库分表中间件mycat_java_04

分库分表带来的问题

  1. 跨库的关联查询(要尽量避免跨库关联查询)
  • 字段冗余
  • 数据同步 etl
  • 全局表,在所有数据库都建立上
  • ER表跨库。eg:order_info、order_detail要求id相同的放到同一个库。
  • 数据组装
  1. 分布式事务:
    CAP:一致性、可用性、分区容错性。
    BASE:BA基本可用、S软状态(中间状态)、E最终一致
  • 全局事务:XA(两阶段提交)Atomikos
  • 基于可靠消息服务的分布式事务

sql server 分库 分表 中间件 分库分表中间件mycat_分库分表_05

  • 柔性事务:TCC(Try Confirm Cancel)

sql server 分库 分表 中间件 分库分表中间件mycat_数据库_06

  1. 排序、分页、函数计算问题
    limit 1,10
    dn1: 1 3 5 7 9
    dn2: 2 4 6 8 10
  2. 全局主键
    Oracle:sequence
  • 时间戳(但时间戳不可以直接作为主键)
  • UUID(费空间、无序不适合做主键)
  • redis取一段数据做主键
  • 雪花算法(有序、QPS较高)

mycat的特性与详细配置含义

mycat2与mycat1.6区别

sql server 分库 分表 中间件 分库分表中间件mycat_数据_07


mycat2:路由注释、XA事务、MySQL8。

mycat2映射模型

sql server 分库 分表 中间件 分库分表中间件mycat_数据库_08

多数据源解决方案

DAO(AbstractRoutingDataSource) - ORM(shardbatis) - JDBC(Sharding-JDBC) - Proxy(mycat) - Server(redis等特定数据库)

mycat核心概念

术语:主机/实例、物理数据库、物理表、分片、分片节点、分片键、分片算法、逻辑表、逻辑数据库

mycat全局ID

  1. 文件方式
  2. 数据库方式
  3. 本地时间戳
  4. ZK方式

mycat监控与日志查看

9066管理端口
show @@help;

参考文档:
http://dl.mycat.org.cn/mycat-definitive-guide.pdf