新增特性
1、更简便的 NoSQL 支持
(1)NoSQL 泛指非关系型数据库和数据存储
(2)MySQL 5.6 版本开始,支持简单的 NoSQL 存储功能
(3)MySQL 8 优化,以更灵活方式实现 NoSQL 功能,不再依赖模式(schema)
2、更好的索引
(1)在查询中,正确地使用索引可以提高查询的效率
(2)MySQL 8 新增隐藏索引、降序索引
(3)隐藏索引:测试去掉索引对查询性能的影响
(4)在查询中混合存在多列索引时,使用降序索引可以提高查询的性能
3、更完善的 JSON 支持
(1)MySQL 5.7 开始支持原生 JSON 数据存储
(2)MySQL 8 优化,增加聚合函数 JSON_ARRAYAGG()、JSON_OBJECTAGG(),将参数聚合为 JSON 数组或对象
(3)新增行内操作符 ->>,是列路径运算符 -> 的增强,对 JSON 排序做了提升,并优化 JSON 更新操作
4、安全和账户管理
(1)MySQL 8 新增 caching_sha2_password 授权插件、角色、密码历史记录、FIPS 模式支持
(2)提高数据库的安全性和性能,能够更灵活地进行账户管理工作
5、InnoDB 变化
(1)InnoDB 是 MySQL 默认存储引擎,是事务型数据库的首选引擎,支持事务安全表(ACID),支持行锁定和外键
(2)在 MySQL 8 版本中,InnoDB 在自增、索引、加密、死锁、共享锁等方面改进和优化,且支持原子数据定义语言(DDL),提高了数据安全性,对事务提供更好的支持
6、数据字典
(1)在之前 MySQL 版本中,字典数据都存储在元数据文件和非事务表中
(2)从 MySQL 8 开始,新增事务数据字典,存储着数据库对象信息,事务数据字典存储在内部事务表中
7、原子数据定义语句
(1)MySQL 8 开始,支持原子数据定义语句(Automic DDL),即原子 DDL
(2)目前,只有 InnoDB 存储引擎支持原子 DDL
(3)原子数据定义语句(DDL)将与 DDL 操作相关的数据字典更新、存储引擎操作、二进制日志写入结合到一个单独的原子事务中,这使得即使服务器崩溃,事务也会提交或回滚
(4)使用支持原子操作的存储引擎所创建的表,在执行 DROP TABLE、CREATE TABLE、ALTER TABLE、RENAME TABLE、TRUNCATE TABLE、CREATE TABLESPACE、DROP TABLESPACE 等操作时,都支持原子操作
(5)对于 MySQL 5.7 复制到 MySQL 8 版本中的语句,可以添加 IF EXISTS 或 IF NOT EXISTS 语句来避免发生错误
8、资源管理
(1)MySQL 8 开始支持创建和管理资源组,允许将服务器内运行的线程分配给特定的分组,以便线程根据组内可用资源执行
(2)组属性能够控制组内资源,启用或限制组内资源消耗
(3)目前,CPU 时间是可控资源,由虚拟 CPU 表示,服务器在启动时,确定可用的虚拟 CPU 数量
(4)可将虚拟 CPU 与资源组关联,并为资源组分配线程
(5)资源组组件为 MySQL 资源组管理提供 SQL 接口
(6)资源组的属性用于定义资源组
(7)MySQL 存在两个默认组,系统组和用户组,默认组不能被删除,其属性也不能被更改
(8)对于用户自定义的组,资源组创建时,可初始化所有的属性,除去名字和类型,其他属性都可在创建之后进行更改
(9)在一些平台下,或进行某些 MySQL 配置时,资源管理的功能将受到限制,甚至不可用
9、字符集支持
(1)MySQL 8 中默认的字符集由 latin1 更改为 utf8mb4
(2)首次增加日语所特定使用的集合,utf8mb4_ja_0900_as_cs
10、优化器增强
(1)MySQL 优化器开始支持隐藏索引和降序索引
(2)隐藏索引不会被优化器使用,验证索引的必要性时,不需要删除索引,先将索引隐藏,如果优化器性能无影响,则可以真正地删除索引
(3)降序索引允许优化器对多个列进行排序,并且允许排序顺序不一致
11、公用表表达式
(1)CTE:Common Table Expressions
(2)MySQL 支持递归和非递归两种形式的 CTE
(3)CTE 通过在 SELECT 语句或其他特定语句前,使用 WITH 语句对临时结果集进行命名
WITH 公用表名 (col_name1, col_name2 ...) AS (子查询)
SELECT * FROM 公用表名;
12、窗口函数
(1)MySQL 8 开始支持窗口函数
(2)在之前的版本中已存在的大部分聚合函数,在MySQL 8 中也可以作为窗口函数来使用
函数名称 | 描述 |
CUME_DIST() | 累积分配值 |
DENSE_RANK() | 当前行在其分区中的排名,稠密排序 |
FIRST_VALUE() | 指定区间范围内的第一行的值 |
LAG() | 取排在当前行之前的值 |
LAST_VALUE() | 指定区间范围内的最后一行的值 |
LEAD() | 取排在当前行之后的值 |
NTH_VALUE() | 指定区间范围内第N行的值 |
NTILE() | 将数据分到 N 个桶,当前行所在的桶号 |
PERCENT_RANK() | 排名值的百分比 |
RANK() | 当前行在其分区中的排名,稀疏排序 |
ROW_NUMBER() | 分区内当前行的行号 |
13、正则表达式支持
(1)MySQL 8.0.4 以后的版本中,采用支持 Unicode 国际化组件库实现正则表达式操作
(2)不仅能提供完全 Unicode 支持,且是多字节安全编码
(3)MySQL 增加 REGEXP_LIKE()、EGEXP_INSTR()、REGEXP_REPLACE()、REGEXP_SUBSTR() 等函数来提升性能
(4)另外,regexp_stack_limit、regexp_time_limit 系统变量能够通过匹配引擎来控制资源消耗
14、内部临时表
(1)TempTable 存储引擎取代 MEMORY 存储引擎,成为内部临时表的默认存储引擎
(2)TempTable 存储引擎为 VARCHAR、VARBINARY 列提供高效存储
(3)internal_tmp_mem_storage_engine 会话变量,定义内部临时表的存储引擎,两个可选值:TempTable、MEMORY,其中 TempTable 为默认存储引擎
(4)temptable_max_ram 系统配置项,定义 TempTable 存储引擎可使用的最大内存数量
15、日志记录
(1)在 MySQL 8 中错误日志子系统,由一系列 MySQL 组件构成
(2)这些组件的构成由系统变量 log_error_services 配置,能够实现日志事件的过滤和写入
16、备份锁
(1)新的备份锁允许在线备份期间,执行数据操作语句,同时阻止可能造成快照不一致的操作
(2)新备份锁由 LOCK INSTANCE FOR BACKUP、UNLOCK INSTANCE 语法提供支持,执行这些操作需要备份管理员特权
17、增强 MySQL 复制
(1)MySQL 8 复制支持对 JSON 文档进行部分更新的二进制日志记录 ,该记录使用紧凑的二进制格式,从而节省记录完整 JSON 文档的空间
(2)当使用基于语句的日志记录时,这种紧凑的日志记录会自动完成,并且可以通过将新的 binlog_row_value_options 系统变量值设置为 PARTIAL_JSON 来启用
移除旧特性
1、查询缓存
(1)语句:FLUSH QUERY CACHE和RESET QUERY CACHE
(2)系统变量:query_cache_limit、query_cache_min_res_unit、query_cache_size、query_cache_type、query_cache_wlock_invalidate
(3)状态变量:Qcache_free_blocks、Qcache_free_memory、Qcache_hits、Qcache_inserts、Qcache_lowmem_prunes、Qcache_not_cached、Qcache_queries_in_cache、Qcache_total_blocks
(4)线程状态:checking privileges on cached query、checking query cache for query、invalidating query cache entries、sending cached result to client、storing result in query cache、waiting for query cache lock
2、加密相关
(1)移除:ENCODE()、DECODE()、ENCRYPT()、DES_ENCRYPT()、DES_DECRYPT() 函数,配置项 des-key-file,系统变量 have_crypt,FLUSH 语句的 DES_KEY_FILE 选项,HAVE_CRYPT CMake 选项
(2)对于移除的 ENCRYPT() 函数,考虑使用 SHA2() 替代,对于其他移除的函数,使用 AES_ENCRYPT()、AES_DECRYPT() 替代
3、空间函数相关
(1)在 MySQL 5.7 版本中,多个空间函数已被标记为过时
(2)在 MySQL 8 中都已被移除,只保留对应的 ST_、MBR 函数
4、\N、NULL
(1)在 SQL 语句中,解析器不再将 \N 视为 NULL,所以在 SQL 语句中应使用 NULL 代替 \N
(2)这项变化不会影响使用 LOAD DATA INFILE 或 SELECT...INTO OUTFILE 操作文件的导入和导出,在这类操作中,NULL 仍等同于 \N
5、mysql_install_db
(1)在 MySQL 分布中,已移除 mysql_install_db 程序,数据字典初始化需要调用带 --initialize 或 --initialize-insecure 选项的 mysqld 来代替实现
(2)--bootstrap、INSTALL_SCRIPTDIRCMake 也已被删除
6、通用分区处理程序
(1)为了实现给定表分区,表所使用的存储引擎需要自有的分区处理程序
(2)提供本地分区支持的 MySQL 存储引擎有两个,即 InnoDB、NDB,而在 MySQL 8 中只支持 InnoDB
7、系统和状态变量信息
(1)在 INFORMATION_SCHEMA 数据库中,对系统和状态变量信息不再进行维护
(2)GLOBAL_VARIABLES、SESSION_VARIABLES、GLOBAL_STATUS、SESSION_STATUS 表都已被删除
(3)系统变量 show_compatibility_56 已被删除
(4)被删除的状态变量:Slave_heartbeat_period、Slave_last_heartbeat,Slave_received_heartbeats、Slave_retried_transactions、Slave_running
(5)以上被删除的内容都可使用性能模式中对应的内容进行替代
8、mysql_plugin 工具
(1)mysql_plugin 工具用来配置 MySQL 服务器插件
(2)可使用 --plugin-load 或 --plugin-load-add 选项,在服务器启动时,加载插件,或在运行时,使用 INSTALL PLUGIN 语句,加载插件来替代该工具
窗口函数
1、作用类似于在查询中对数据进行分组
(1)分组操作会把分组的结果聚合成一条记录
(2)窗口函数是将结果置于每一条数据记录中
2、分类
(1)静态窗口函数的窗口大小是固定的,不会因为记录的不同而不同
(2)动态窗口函数的窗口大小会随着记录的不同而变化
函数分类 | 函数 | 函数说明 |
序号函数 | ROW_NUMBER() | 顺序显示序号 |
RANK() | 并列排序,会跳过重复的序号,比如序号为 1、1、3 | |
DENSE_RANK() | 并列排序,不会跳过重复的序号,比如序号为 1、1、2 | |
分布函数 | PERCENT_PART() | 等级值百分比 |
CUME_DIST() | 累积分布值,主要用于查询小于或等于某个值的比例 | |
前后函数 | LAG(expr,n) | 返回当前行的前 n 行的 expr 的值 |
LEAD(expr,n) | 返回当前行的后 n 行的 expr 值 | |
首尾函数 | FIRST_VALUE(expr) | 返回第一个 expr 的值 |
LAST_VALUE(expr) | 返回最后一个 expr 的值 | |
其它函数 | NTH_VALUE(expr, n) | 返回第 n 个 expr 的值 |
NTILE(n) | 将分区中的有序数据分为 n 个桶,记录桶编号 |
3、语法结构
函数 OVER([PARTITION BY 字段名 ORDER BY 字段名 ASC|DESC])
函数 OVER 窗口名 … WINDOW 窗口名 AS([PARTITION BY 字段名 ORDER BY 字段名 ASC|DESC])
(1)OVER 关键字:指定函数窗口的范围
(2)如果省略后面括号中的内容,则窗口会包含满足 WHERE 条件的所有记录,窗口函数会基于所有满足 WHERE 条件的记录进行计算
(3)如果 OVER 后面的括号不为空,则可以使用如下语法设置窗口
(4)窗口名:为窗口设置一个别名,用来标识窗口
(5)PARTITION BY 子句:指定窗口函数按照哪些字段进行分组,分组后,窗口函数可以在每个分组中分别执行
(6)ORDER BY 子句:指定窗口函数按照哪些字段进行排序,执行排序操作使窗口函数按照排序后的数据记录的顺序进行编号
(7)FRAME 子句:为分区中的某个子集定义规则,可以用来作为滑动窗口使用
4、特点
(1)可以分组,且可以在分组内排序
(2)不会因为分组而减少原表中的行数
PERCENT_RANK()
1、等级值百分比函数
2、计算公式:(rank - 1) / (rows - 1)
(1)rank 值为使用 RANK() 函数产生的序号
(2)rows 值为当前窗口的总记录数
公用表表达式 / 通用表表达式
1、CTE:Common Table Expressions
2、CTE 是一个命名的临时结果集,作用范围是当前语句
3、CTE 可以理解成一个可以复用的子查询,但 CTE 可以引用其他 CTE,子查询不能引用其他子查询
4、依据语法结构和执行方式的不同
(1)普通公用表表达式
(2)递归公用表表达式
5、公用表表达式可以起到子查询的作用
(1)需要使用子查询的场景,可以在查询之前,先定义公用表表达式,然后在查询中用它来代替子查询
(2)定义过公用表表达式之后的查询,可以像一个表一样多次引用公用表表达式,而子查询则不能
普通公用表表达式
WITH CTE名称
AS (子查询)
SELECT|DELETE|UPDATE 语句;
1、可以被多次引用,且可以被其他的普通公用表表达式所引用
递归公用表表达式
1、除了普通公用表表达式的特点以外,还可以调用自己
WITH RECURSIVE
CTE名称 AS (子查询)
SELECT|DELETE|UPDATE 语句;
2、子查询组成:种子查询、递归查询,中间通过关键字 UNION [ALL] 进行连接
(1)种子查询:获得递归的初始值,这个查询只会运行一次,以创建初始数据集
(2)递归查询会一直执行,直到没有任何新的查询数据产生,递归返回