Mysql 8表分区 mysql表分区原理

转载

mob64ca13fe1aa6 2024-07-02 00:46:17

文章标签 Mysql 8表分区面试 java 后端分库分表 文章分类 MySQL 数据库

这个是数据库分的，应用透明，代码无需修改任何东西。

2.2 内部文件

先去data目录，如果不知道目录位置的可以执行：

Mysql 8表分区 mysql表分区原理_后端

接下来看下内部文件：

Mysql 8表分区 mysql表分区原理_java_02

从上图我们可以看出，有2种类型的文件，.frm文件和.ibd文件

**.frm文件：**表结构文件
**.ibd文件：**InnoDB中，索引和数据都在同个文件.ibdata（你的执行结果可能是.MYD索引文件和.MYI数据文件，没关系，这是MyIsAm存储引擎，对应着InnoDB的.ibd文件）。因为Order这张表分为5个区，所以有5个这样的文件
**.par文件：**你执行的结果可能有.par文件也可能没有。注意：从MySql 5.7.6开始，不再创建.par分区定义文件。分区定义存储在内部数据字典中。

2.3 数据处理

分区表后，提高了MySql性能。如果一张表的话，那就只有一个.ibd文件，一颗大的B+树。如果分表后，将按分区规则，分成不同的区，也就是一个大的B+树，分成多个小的树。InnoDB一棵B+树可以存放多少行数据？

读的效率肯定提升了，如果走分区键索引的话，先走对应分区的辅助索引B+树，再走对应分区的聚集索引B+树。

如果没有走分区键，将会在所有分区都会执行一次。会造成多次逻辑IO！平时开发如果想查看sql语句的分区查询可以使用explain partitons select xxxxx语句。可以看到一句select语句走了几个分区。

mysql> explain partitions select * from TxnList where startTime>‘2016-08-25 00:00:00’ and startTime<‘2016-08-25 23:59:00’;
 ±—±------------±------------------±-----------±-----±--------------±-----±--------±-----±------±------------+
 | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | Extra |
 ±—±------------±------------------±-----------±-----±--------------±-----±--------±-----±------±------------+
 | 1 | SIMPLE | ClientActionTrack | p20160825 | ALL | NULL | NULL | NULL | NULL | 33868 | Using where |
 ±—±------------±------------------±-----------±-----±--------------±-----±--------±-----±------±------------+
 row in set (0.00 sec)

三.分库分表

当一张表随着时间和业务的发展，库里表的数据量会越来越大。数据操作也随之会越来越大。一台物理机的资源有限，最终能承载的数据量、数据的处理能力都会受到限制。这时候就会使用分库分表来承接超大规模的表，单机放不下的那种。

区别于分区的是，分区一般都是放在单机里的，用的比较多的是时间范围分区，方便归档。只不过分库分表需要代码实现，分区则是mysql内部实现。分库分表和分区并不冲突，可以结合使用。

Mysql 8表分区 mysql表分区原理_后端_03

转存失败重新上传取消

![](https://upload-images.

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》
【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】完整内容开源分享

jianshu.io/upload_images/24195226-3205acd33e0a512e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

3.1 实现

3.1.1 分库分表标准

存储占用100G+
数据增量每天200w+
单表条数1亿条+

3.1.2 分库分表字段

分库分表字段取值非常重要

在大多数场景该字段是查询字段
数值型

一般使用userId，可以满足上述条件

3.2 分布式数据库中间件

分布式数据库中间件分为两种，proxy和客户端式架构。proxy模式有MyCat、DBProxy等，客户端式架构有TDDL、Sharding-JDBC等。那么proxy和客户端式架构有何区别呢？各自有什么优缺点呢？其实看一张图便可知晓。

proxy模式的话我们的select和update语句都是发送给代理，由这个代理来操作具体的底层数据库。所以必须要求代理本身需要保证高可用，否则数据库没有宕机，proxy挂了，那就走远了。

客户端模式通常在连接池上做了一层封装，内部与不同的库连接，sql交给smart-client进行处理。通常仅支持一种语言，如果其他语言要使用，需要开发多语言客户端。

Mysql 8表分区 mysql表分区原理_分库分表_04

各自的优缺点如下：

Mysql 8表分区 mysql表分区原理_面试_05

3.3 内部文件

找了一个分库分表+分区的例子，基本上和分区表的差不多，只是多了多了很多表的.ibd文件，上面有文件的解释：

[miaojiaxing@Grim testmydata]# ls | grep ‘base_info’
 base_info_00.frm
 base_info_00#P#p_2018.ibd
 base_info_00#P#p_2019.ibd
 base_info_00#P#p_2020.ibd
 base_info_00#P#p_2021.ibd
 base_info_00#P#p_init.ibd
 base_info_00#P#p_max.ibd
 base_info_01.frm
 base_info_01#P#p_2018.ibd
 base_info_01#P#p_2019.ibd
 base_info_01#P#p_2020.ibd
 base_info_01#P#p_2021.ibd
 base_info_01#P#p_init.ibd
 base_info_01#P#p_max.ibd
 base_info.frm
 base_info.ibd

Mysql 8表分区 mysql表分区原理_java_06