mysql数据分区记录数 mysql 分区数量

转载

梦里忧郁 2023-08-01 21:25:58

文章标签 mysql数据分区记录数运维数据库 MySQL mysql 文章分类 MySQL 数据库

前言：分区是指根据一定的规则，数据库把一个表分解成多个更小的，更容易管理的部分。分区对应用来说是完全透明的，不影响应用的业务逻辑。

MySQL分区的优点：

　　1、和单个磁盘或者文件系统分区相比，可以存储更多数据；

　　2、优化查询。在Where字句中包含分区条件时，可以只扫描必要的一个或多个分区来提高查询效率；同时在涉及 SUM() 和 COUNT() 等聚合函数的查询时，可以容易地在每个分区上并行处理，最终只需要汇总所有分区得到的结果。

　　3、对于已经过期或者不需要保存的数据，可以通过删除与这些数据有关的分区来快速删除数据。

　　4、跨多个磁盘来分散数据查询，以获得更大的查询吞吐量。

一：概述

　　MySQL 支持使用大部分存储引擎（如：MyISAM、InnoDB、Memory等）创建分区表，不支持使用MERGE和CSV。 MySQL分区类型主要包括：range分区、list分区、hash分区、key分区；无论是那种MySQL分区类型，要么分区表上没有主键/唯一键，要么分区表的主键/唯一键都必须包含分区键，也就是说不能使用主键/唯一键字段之外的其他字段分区。如：

mysql> create table emp(
    ->     id int not null,
    ->     ename varchar(30),
    ->     hired date not null default '1970-01-01',
    ->     separated date not null default '9999-12-31',
    ->     job varchar(30) not null,
    ->     store_id int not null,
    ->     primary key(id)
    -> )
    -> partition by range (store_id) (
    ->     partition p0 values less than(10),
    ->     partition p1 values less than(20),
    ->     partition p2 values less than(30)
    -> );
ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function

　　去掉主键约束后，创建表会成功:

mysql> create table emp(
    -> id int not null,
    -> ename varchar(30),
    -> hired date not null default '1970-01-01',
    -> separated date not null default '9999-12-31',
    -> job varchar(30) not null,
    -> store_id int not null
    -> )
    -> partition by range (store_id) (
    -> partition p0 values less than(10),
    -> partition p1 values less than(20),
    -> partition p2 values less than(30)
    -> );
Query OK, 0 rows affected (0.02 sec)

　　分区的名字遵循MySQL标识符的原则。分区的名字不区分大小写，如果分区名分别为 mypart 和 MyPart 将会被MySQL认为是同一个分区而报错。

二：RANGE分区

　　按照range分区的表是利用取值范围将数据分区，区间要连续并且不能互相重叠，使用 values less than 操作符进行分区定义。

mysql> create table emp(
    -> id int not null,
    -> ename varchar(30),
    -> hired date not null default '1970-01-01',
    -> separated date not null default '9999-12-31',
    -> job varchar(30) not null,
    -> store_id int not null
    -> )
    -> partition by range (store_id) (
    -> partition p0 values less than(10),
    -> partition p1 values less than(20),
    -> partition p2 values less than(30)
    -> );
Query OK, 0 rows affected (0.02 sec)

　　如果增加商店ID大于等于30的行，超出分区范围，会出现错误。

mysql> insert into emp(id,ename,hired,job,store_id) values ('7934', 'MILLER', '1982-01-23', 'CLERK', 50);
ERROR 1526 (HY000): Table has no partition for value 50

　　可以使用 values less than maxvalue 设置分区，超出明确指定的分区值时，数据会存储在该分区，如：

mysql> alter table emp add partition(partition p3 values less than maxvalue);
Query OK, 0 rows affected (0.25 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> insert into emp(id,ename,hired,job,store_id) values ('7934', 'MILLER', '1982-01-23', 'CLERK', 50);
Query OK, 1 row affected (0.05 sec)

　　MySQL支持在 values less than 字句中使用表达式 partition by range (year(separated))，可自行测试。类似的函数有 to_days()、to_seconds()；5.5版本后可直接使用日期字段作为分区键。

Range分区特别使用的两种情况：

　　1、当需要删除过期的数据时，只需要简单的 ALTER TABLE emp DROP PARTITION p0 来删除p0分区中的数据，对于具有上百万条记录的表来说，删除分区要比运行一个 DELETE 语句有效得多。

　　2、经常运行包含分区间的查询，MySQL 可以很快地确定只有一个或者某些分区需要扫描，因为其他分区不可能包含有该 WHERE 字句的任何记录。

三：List 分区

　　List 分区是建立离散的值列表告诉数据库特定的值属于哪个分区，List 分区在很多方面类似于 Range 分区，区别在于 List 分区是从属于一个枚举列表的值得集合，Range 分区从属于一个连续区间值得集合。

mysql> create table expenses(
    -> expense_date date not null,
    -> category int,
    -> amount decimal (10,3)
    -> )partition by list(category) (
    -> partition p0 values in (3, 5),
    -> partition p1 values in (1, 10),
    -> partition p2 values in (4, 9),
    -> partition p3 values in (2),
    -> partition p4 values in (6)
    -> );
Query OK, 0 rows affected (0.05 sec)

　　如果插入的列值不包含分区值得列表中，insert 操作会失败报错。注意：List 分区不存在类似 values less than maxvalue 这样包含其他值在内的定义方式。将要匹配的任何值都必须在值列表中。

四：Hash 分区

　　Hash 分区主要用来分散热点读，确保数据在预先确定个数的分区中尽可能平均分布。MySQL 支持两种 Hash 分区：常规 Hash 分区、线性 Hash 分区（Linear Hash 分区）。常规 Hash 分区使用的是取模算法，线性 Hash 分区使用的是一个线性的2的幂的运算法则。

1、常规 Hash 分区

　　使用 PARTITION BY HASH(expr) PARTITIONS num 字句对分区类型、分区键和分区个数进行定义，其中 expr 是某列值或一个基于某列值返回的表达式。num 是一个非负整数，表示分区数量，默认为1。

mysql> create table emp_hash(
    -> id int not null,
    -> ename varchar(30),
    -> hired date not null default '1970-01-01',
    -> separated date not null default '9999-12-31',
    -> job varchar(30) not null,
    -> store_id int not null
    -> )
    -> partition by hash (store_id) partitions 4;
Query OK, 0 rows affected (0.03 sec)

　　假设将要保存记录的分区编号为N，那么 N=MOD(expr, num) 如，emp_hash表中有4个分区，插入一个 store_id列值为234的记录到表中：

mysql> insert into emp_hash values (1, 'Tom', '2010-10-10', '9999-12-31', 'Clerk', 234);
Query OK, 1 row affected (0.01 sec)

　　MOD(234, 4)=2 保存这条记录的分区应该是p2；从p0 开始，模为 0 时保存到 p0 依次类推。

mysql> explain partitions select * from emp_hash where store_id =234\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: emp_hash
   partitions: p2
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 2
        Extra: Using where
1 row in set (0.05 sec)

　　不推荐使用涉及多列的哈希表达式，复杂的表达式可能会引起性能问题。常规 Hash 在分区管理上需要的代价高，不适合需要灵活变动分区的需求。

2、线性 Hash 分区（Linear Hash）

　　线性 Hash 分区和常规 Hash 分区在语法上的唯一区别是在 partition by 字句中添加关键字 “Linear”，如：

mysql> create table emp_linear(
    -> id int not null,
    -> ename varchar(30),
    -> hired date not null default '1970-01-01',
    -> separated date not null default '9999-12-31',
    -> job varchar(30) not null,
    -> store_id int not null
    -> )
    -> partition by linear hash (store_id) partitions 4;
Query OK, 0 rows affected (0.03 sec)

　　线性Hash分区的优点是：在分区维护（增加、删除、合并、拆分分区时），MySQL能够处理得更加迅速；缺点是：对比常规的Hash分区（取模）的时候，线性Hash各个分区之间数据的分布不太均衡。

五：Key 分区

　　Key 分区类似于 Hash 分区，不过 Key 分区不允许使用用户自定义的表达式，需要使用 MySQL 服务器提供的 Hash 函数；同时 Hash 分区只支持整数分区，而 Key 分区支持使用 Blob 或 Text 类型外其他类型的列作为分区键

mysql> create table emp_key(
    -> id int not null,
    -> ename varchar(30),
    -> hired date not null default '1970-01-01',
    -> separated date not null default '9999-12-31',
    -> job varchar(30) not null,
    -> store_id int not null
    -> )
    -> partition by key (job) partitions 4;
Query OK, 0 rows affected (0.05 sec)

　　创建 Key 分区表的时候，可以不指定分区键，默认会首先选择使用主键作为分区键

mysql> create table emp_key1(
    -> id int not null,
    -> ename varchar(30),
    -> hired date not null default '1970-01-01',
    -> separated date not null default '9999-12-31',
    -> job varchar(30) not null,
    -> store_id int not null
    -> )
    -> partition by key () partitions 4;
Query OK, 0 rows affected (0.03 sec)

　　在没有主键的情况，会选择非空唯一键作为分区键，分区键的唯一键必须是非空的，如果不是非空会报错：

mysql> create table emp_key2(
    -> id int not null,
    -> ename varchar(30),
    -> hired date not null default '1970-01-01',
    -> separated date not null default '9999-12-31',
    -> job varchar(30) not null,
    -> store_id int not null,
	-> unique key(id)
    -> )
    -> partition by key () partitions 4;
Query OK, 0 rows affected (0.03 sec)

　　和 Hash 分区类似，在 Key 分区中使用关键字 Linear 具有同样的作用，Linear Key 分区时，分区的编号是通过2的幂算法得到的，不是通过取模得到的。

附：MySQL 分区的 null 值处理

　　1、MySQL 分区不禁止在分区键值上使用 null

　　2、Range 分区中，null 值会被当做最小值来处理

　　3、List 分区中，null 值必须出现在枚举列表中，否则不被接受

　　4、Hash/Key 分区中，null 值会被当做零值来处理

　　5、为了避免在处理 null 值时出现误判，推荐通过设置字段非空和默认值来绕开 MySQL 对 null 值的默认处理

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。