文章目录
- mycat是什么;为什么要用;
- mycat的作用
- 原理
- 分库分表的意义
- 数据库优化的层次:
- 数据切分的方式,带来的问题和解决方案
- 分库分表带来的问题
- mycat的特性与详细配置含义
- mycat2与mycat1.6区别
- mycat2映射模型
- 多数据源解决方案
- mycat核心概念
- mycat全局ID
- mycat监控与日志查看
mycat是什么;为什么要用;
mycat是数据库中间件。(中间件:是一类链接软件组件和应用的计算机软件,以便于软件各部件之间的交互)。
为什么要用mycat:
- Java与数据库高耦合。
- 高访问量高并发对数据库的压力。
- 读写请求数据不一致。
mycat的作用
- 读写分离
- 数据分片(分库分表):垂直拆分(分库)、水平拆分(分表)、垂直水平拆分(分库分表)
- 多数据源整合
原理
Mycat的原理中最重要的一个动词是“拦截”’,它拦截了用户发送过来的SQL语句,首先对SQL语句做了一些特定的分析:如分片分析、路由分析、读写分离分析、缓存分析等,然后将此SQL发往后端的真实数据库,并将返回的结果做适当的处理,最终再返回给用户。
分库分表的意义
作为数据库优化方案,解决数据库性能瓶颈问题。
数据库性能瓶颈出现的原因:连接、速度、存储。
常见数据库瓶颈问题:
- 数据库数量大,查询效率低
- 分布式数据库架构复杂对接困难
- 高访问、高并发对数据库压力大
数据库优化的层次:
- SQL与索引
- 表、存储引擎
- 集群架构:主从复制(一主一从、一主多从、双主架构、多主多从)、分库分表
主从:replicate 冗余
分片:shard - 数据库配置优化(连接数)
- OS、Hardware
架构演进:单应用单数据库 -> 多应用单数据库 -> 多应用独立数据库
数据切分的方式,带来的问题和解决方案
分表:解决单表数据量过大导致的查询效率下降。理论分表500W,以实际业务为准。
- 垂直切分:基于字段的切分。
eg:学生信息表拆分为学生基本信息表、学生学籍信息表、学生扩展信息表等
- 垂直切分(单库)
- 垂直切分(多库)
- 水平切分:基于数据的切分。得到的表结构是相同的,只是数据存储在不同表。
eg:
- 水平切分(单库):
- 渠道交易流水表:channel_tran、channel_tran_month、channel_tran_history
- 商户费用明细表:fee_detail_202211、fee_detail_202212、fee_detail_202301
- 水平切分(单库):
分库分表带来的问题
- 跨库的关联查询(要尽量避免跨库关联查询)
- 字段冗余
- 数据同步 etl
- 全局表,在所有数据库都建立上
- ER表跨库。eg:order_info、order_detail要求id相同的放到同一个库。
- 数据组装
- 分布式事务:
CAP:一致性、可用性、分区容错性。
BASE:BA基本可用、S软状态(中间状态)、E最终一致
- 全局事务:XA(两阶段提交)Atomikos
- 基于可靠消息服务的分布式事务
- 柔性事务:TCC(Try Confirm Cancel)
- 排序、分页、函数计算问题
limit 1,10
dn1: 1 3 5 7 9
dn2: 2 4 6 8 10 - 全局主键
Oracle:sequence
- 时间戳(但时间戳不可以直接作为主键)
- UUID(费空间、无序不适合做主键)
- redis取一段数据做主键
- 雪花算法(有序、QPS较高)
mycat的特性与详细配置含义
mycat2与mycat1.6区别
mycat2:路由注释、XA事务、MySQL8。
mycat2映射模型
多数据源解决方案
DAO(AbstractRoutingDataSource) - ORM(shardbatis) - JDBC(Sharding-JDBC) - Proxy(mycat) - Server(redis等特定数据库)
mycat核心概念
术语:主机/实例、物理数据库、物理表、分片、分片节点、分片键、分片算法、逻辑表、逻辑数据库
mycat全局ID
- 文件方式
- 数据库方式
- 本地时间戳
- ZK方式
mycat监控与日志查看
9066管理端口
show @@help;
参考文档:
http://dl.mycat.org.cn/mycat-definitive-guide.pdf