进击的CJR的博客_MySQL

理解MySQL的THREAD_ID和PROCESSLIST_ID

每个线程至少有两个唯一标识符，一个是操作系统线程ID，另一个是MySQL内部线程ID，MySQL内部线程ID在大多数performance_schema表中以thread_id命名。每个前台线程都有一个指定的processlist_id：连接标识符，在show processlist命令中输出。如下为连接标识符IDselect name,thread_id,processlist_id ,thre

标识符

MySQL

原创精选 2023-01-28 11:30:38 1163 阅读

PT工具介绍

pt工具安装 yum install -y percona-toolkit-3.1.0-2.el7.x86_64.rpm 常用工具使用介绍pt-archiver 归档表# 重要参数--limit 100 每次取100行数据用pt-archive处理 --txn-size 100 设置100行为一个事务提交一次， --where 'id<3000' 设置操作

mysql

用户名

hive

原创推荐 2022-10-28 09:51:41 1130 阅读 yyds干货盘点

MySQL基础篇--在线DDL归纳总结

工具在线DDLpt-osc原理pt-online-schema-changept-osc工作流程：1、检查更改表是否有主键或唯一索引，是否有触发器2、检查修改表的表结构，创建一个临时表，在新表上执行ALTER TABLE语句3、在源表上创建三个触发器分别对于INSERT UPDATE DELETE操作触发器来应用DDL执行期间对表所做的DML操作，每种DML操作均对应一个触发器delete变为de

数据

临时文件

触发器

原创精选 2022-10-28 09:37:00 686 阅读 yyds干货盘点

MySQL基础篇--innodb内存逻辑

FREE链表FREE链表就是存放没有被使用的数据块的链表，当数据缓存到内存中的时候，就从FREE链表优先获取空快来缓存数据。如果FREE使用完，就从LRU链表利用LRU算法淘汰旧的数据。 LRU链表缓存数据的链表，利用LRU算法来淘汰旧的数据，保证我们的内存中始终是经常被访问到的数据。LRU：最近最少使用算法，最近不经常被使用的数据会被放到链表的一端（冷数据冷端），经常被访问的数据被

数据

链表

数据库

原创精选 2022-10-27 15:19:52 651 阅读 yyds干货盘点

MySQL基础篇--执行计划key_len计算

字符类型charchar(N)固定字段且允许NULL = N* ( character set：utf8=3,gbk=2,latin1=1)+1(NULL)char(N)固定字段且不允许NULL = N* ( character set：utf8=3,gbk=2,latin1=1)varcharvarchr(N)变长字段且允许NULL = N *( character set

字段

mysql

日期时间

原创推荐 2022-10-27 15:10:01 555 阅读 yyds干货盘点

MySQL基础篇--执行计划扫描方式详解

type列全表扫描 ALL 在查询结果集在达到全表数据>15-30%，优化器有可能会选择全表。在查询条件中出现隐式转换统计信息过旧，不准确。条件列是函数或者计算。使用 IS NULL 和 IS NOT NULL 联合索引，前导列。查询条件出现以下语句(辅助索引列) USE world DESC city; DESC SELECT * FROM city WHERE country

二级索引

主键

联合索引

原创精选 2022-10-26 15:08:41 532 阅读 yyds干货盘点

MySQL基础篇--全局缓存和线程缓存

MySQL全局缓存key_buffer_size决定索引处理的速度，尤其是索引读的速度。默认值是16M，通过检查状态值Key_read_requests和Key_reads，可以知道key_buffer_size设置是否合理。比例key_reads / key_read_requests应该尽可能的低，至少是1:100，1:1000更好（上述状态值可以使用'key_read%'获得用来显示状态数据

mysql

缓存

数据

原创推荐 2022-10-26 15:08:19 731 阅读 yyds干货盘点

MySQL基础篇--理解二叉树和B+树

二叉树概念每个父节点的子节点个数都为2顶端的节点：根节点树的高度：根节点到叶子节点的高度叶子节点：最下面的节点是树的叶子节点二分法查找必须要求数据是有序的假如有⼀组数为3，12，24，36，55，68，75，88要查给定的值24 那么⼆分法查找是怎么做的呢 3，12，24，36，55，68，75，88 3，12，24，36 24 36 24 二叉树的缺点二叉树的每个父节点的子节点都需

子节点

二叉树

数据

原创精选 2022-10-25 08:56:05 322 阅读 yyds干货盘点

MySQL基础篇--逻辑结构

MySQL逻辑结构MySQL物理结构MySQL的宏观角度auto.cnf # 存储server_uuid信息，在GTID主从复制中会检测的ib_buffer_pool # 存储buffer pool热数据的磁盘区域ibdata1 ~ ibdataN # 共享表空间数据文件（undo l

mysql

表空间

数据

原创精选 2022-10-24 09:07:01 252 阅读 yyds干货盘点

MySQL基础篇--体系结构

MySQL体系结构连接层（1）提供连接协议：TCP/IP 、SOCKET （2）提供验证：用户、密码，IP，SOCKET （如果用户名或密码不对，你就会收到一个"Access denied for user"的错误，然后客户端程序结束执行。）（3）提供专用连接线程：接收用户SQL，返回结果通过以下语句可以查看到连接线程基本情况 mysql> show processlist;SQL层（

mysql

存储引擎

缓存

原创精选 2022-10-24 09:02:13 336 阅读 5评论 yyds干货盘点

MySQL如何监控主从复制延迟

以如下一个数据为例: mysql-bin.028475 Read_Master_Log_Pos: 973706298 Relay_Log_File: relay-bin.061277 Relay_Log_Pos: 973586576 Relay_Master_Log_File: mysql-bin.02847

mysql

系统时间

字段

原创精选 2022-10-23 09:47:17 376 阅读 1收藏 yyds干货盘点

MySQL关于change buffer的疑问

什么是merge将 change buffer 中的操作应用到原数据页，得到最新结果的过程称为 merge。除了访问这个数据页会触发 merge 外，系统有后台线程会定期 merge。在数据库正常关闭（shutdown）的过程中，也会执行 merge 操作。为什么change buffer适用于普通索引唯一索引的更新就不能使用 change buffer，实际上也只有普通索引可以使用。对于唯一索

数据

数据库

读入数据

原创精选 2022-10-21 16:07:47 539 阅读 1点赞 12评论

MySQL锁导致的查询慢分析

全局锁全局锁的典型使用场景是，做全库逻辑备份。一致性视图也可以备份，但是只有支持事务的引擎可以。所以需要FTWRL备份因为如果不加锁的话，备份系统备份的得到的库不是一个逻辑时间点，这个视图是逻辑不一致的。当 mysqldump 使用参数–single-transaction 的时候，导数据之前就会启动一个事务，来确保拿到一致性视图。而由于 MVCC 的支持，这个过程中数据是可以正常更新的

数据

互斥

mysql

原创精选 2022-10-20 15:55:27 990 阅读 2点赞 8评论 yyds干货盘点

MySQL如何判断一个连接是否是业务使用的

交互和非交互连接区别首先说明两个关键词，通过MySQL 客户端连接db的是交互会话，通过jdbc等程序连接db的是非交互会话。interactive_time是指如果空余Ns（N就是这个属性的值），那么就会自动关闭mysql的连接。比如打开一个mysql客户端黑窗口，进入操作之后，又隔了Ns不操作了，之后想继续操作，对不起，mysql会在之前关闭了你的那个连接，mysql会帮你自动重新连接。注

mysql

重新连接

客户端

原创精选 2022-10-19 17:08:59 234 阅读 yyds干货盘点

MySQL主从延迟案例分析

同步延迟告警【*****************】主从同步延迟过高，告警阈值300，当前为1973】，请及时处理！,产生时间2022-09-30 06:51:27ERRO日志2022-09-30T06:50:16.110234+08:00 32196300[Note] Multi-threaded slave statistics for channel '': seconds elap

sed

主从同步

固态盘

原创精选 2022-10-09 15:01:30 1490 阅读 yyds干货盘点

MySQL巡检查看参数

锁等待Innodb_row_lock_current_waits 当前等待的待锁定的行数Innodb_row_lock_waits 一行锁定必须等待的总时长Table_locks_waited 表锁等待次数 mysql 锁监控表级锁 Table_locks_waited Table_locks_immediate行级锁 Innodb_row_lock_current_waits 当前等

服务器

连接数

mysql

原创精选 2022-09-21 17:35:07 545 阅读 yyds干货盘点

mysqldump备份期间做DDL会发生什么

MDL锁当对一个表做增删改查操作的时候，加 MDL 读锁；当要对表做结构变更操作的时候，加 MDL 写锁。MDL 会直到事务提交才释放，在做表结构变更的时候，你一定要小心不要导致锁住线上查询和更新。读写互斥读锁之间不互斥，因此你可以有多个线程同时对一张表增删改查。读写锁之间、写锁之间是互斥的，用来保证变更表结构操作的安全性。因此，如果有两个线程要同时给一个表加字段，其中一个要等另一个执行完才能开始

表结构

读锁

隔离级别

原创精选 2022-09-21 14:19:41 595 阅读 yyds干货盘点

MySQL参数优化

max_connections（1）简介Mysql的最大连接数，如果服务器的并发请求量比较大，可以调高这个值，当然这是要建立在机器能够支撑的情况下，因为如果连接数越来越多，mysql会为每个连接提供缓冲区，就会开销的越多的内存，所以需要适当的调整该值，不能随便去提高设值。（2）判断依据show variables like 'max_connections'; +--------------

mysql

缓存

服务器

原创推荐 2022-09-20 12:20:53 642 阅读 1点赞 1收藏 yyds干货盘点

MySQL--GTID是什么

GTID作用主从环境中主库的dump线程可以直接通过GTID定位到需要发送的binary log的位置，而不需要指定binary log的文件名和位置，因而切换极为方便。GTID实际上是由UUID+TID (即transactionId)组成的。其中UUID(即server_uuid) 产生于auto.conf文件(cat /data/mysql/data/auto.cnf)，是一个MySQL实例

mysql

sql

初始化

原创推荐 2022-09-20 12:04:22 1052 阅读 yyds干货盘点

MySQL优化案例--limit优化

案例SQL生产有这样一条sql，其中val是辅助索引select * from test where val=4 limit 300000,5;查询原理查询过程：查询到索引叶子节点数据。根据叶子节点上的主键值去聚簇索引上查询需要的全部字段值。类似于下面这张图：像上面这样，需要查询300005次索引节点，查询300005次聚簇索引的数据，最后再将结果过滤掉前300000条，取出最后5条。MySQL

数据

聚簇索引

子节点

原创精选 2022-09-19 11:25:28 429 阅读 yyds干货盘点

mysqldump备份流程

准备工作打开general日志set global general_log=on;备份语句./mysqldump -S /tmp/mysql.sock --single-transaction --master-data=2 -B db --tables db1 > /tmp/db1.sql通过查看日志的备份流程分析备份流程备份流程分析1、执行FLUSH TABLES 语句把内存

数据

mysql

备份过程

原创精选 2022-09-18 12:20:26 709 阅读 yyds干货盘点

什么是MySQL一致性读

两阶段锁协议在 InnoDB 事务中，行锁是在需要的时候才加上的，但并不是不需要了就立刻释放，而是要等到事务结束时才释放。这个就是两阶段锁协议。手动开启事务的三种方式begin/start transaction和 start transaction with consistent snapsh区别begin/start transaction 命令并不是一个事务的起点，在执行到它们之后的第一个操

更新数据

启动方式

隔离级别

原创精选 2022-09-18 12:09:44 359 阅读 yyds干货盘点

MySQL常用的几个reset

reset master删除所有index file 中记录的所有binlog 文件，将日志索引文件清空，创建一个新的日志文件，这个命令通常仅仅用于第一次用于搭建主从关系的时的主库。注意： reset master 不同于purge binary log的两处地方1.reset master 将删除日志索引文件中记录的所有binlog文件，创建一个新的日志文件起始值从000001 开

mysql

日志文件

sql

原创精选 2022-09-15 17:58:03 596 阅读 1收藏 yyds干货盘点

MySQL--SQL优化案例

问题现象遇到的一个case，case发现某一个用户的某个操作总是超时，排查发现超时的原因是因为sql超时。sql大概长这样：select * from 表 where userid =123 and sign='T' and type='M' order by id desc limit 0,20，执行发现这个sql执行并返回竟然需要四十多秒。问题分析为什么一个sql会突然变得这么慢呢，其实第一个

sql

主键

mysql

原创精选 2022-09-15 17:51:06 594 阅读 yyds干货盘点

IO性能瓶颈优化--组提交

二阶段提交二阶段提交步骤1、更新操作记录到 redo log 里面，此时 redo log 处于 prepare 状态。 2、然后告知执行器执行完成了，随时可以提交事务。执行器生成这个操作的 binlog，并把 binlog 写入磁盘。 3、执行器调用引擎的提交事务接口，引擎把刚刚写入的 redo log 改成提交（commit）组提交我们知道redo的组提交是mysql自己就默认的，在并发更新场

持久化

数据

性能瓶颈

原创精选 2022-09-14 10:57:44 640 阅读 yyds干货盘点

MySQL索引优化

判断索引选择性好坏可以使用 show index from table_name方法，看到一个索引的基数。“基数”（cardinality）越大，索引的区分度越好。 show index from *****;+---------------------+------------+-------------+--------------+--------------+-----------+---

mysql

数据

查询语句

原创精选 2022-09-14 10:40:36 328 阅读 1收藏 yyds干货盘点

浅谈MySQL--Sorted Index Builds

索引创建概述在早期的MySQL版本，创建索引是需要复制整表数据的；在5.5版本中，MySQL利用快速创建索引（fast index creation）技术，优化了索引的创建算法，使其执行时不需要再进行复制表数据的操作，同时允许在创建索引时，其他事务并发读；而在5.6以上的版本，在创建索引时允许其他事务并发读写，并将此索引创建方式称为Sorted Index Builds。以下介绍一下5.5前后版本

数据

mysql

表数据

原创精选 2022-09-13 17:28:31 764 阅读 yyds干货盘点

MySQL回收表空间

mysql表空洞delete导致的表空洞delete 命令其实只是把记录的位置，或者数据页标记为了“可复用”，但磁盘文件的大小是不会变的。也就是说，通过 delete 命令是不能回收表空间的。这些可以复用，而没有被使用的空间，看起来就像是“空洞”。insert导致的表空洞如果数据是按照索引递增顺序插入的，那么索引是紧凑的。但如果数据是随机插入的，就可能造成索引的数据页分裂。怎么清理空洞重建表试想一

数据

主键

mysql

原创精选 2022-09-13 16:52:27 931 阅读 yyds干货盘点

MySQL的change buffer详解

change buffer概述当需要更新一个数据页时，如果数据页在内存中就直接更新，而如果这个数据页还没有在内存中的话，在不影响数据一致性的前提下，InnoDB 会将这些更新操作缓存在 change buffer 中，这样就不需要从磁盘中读入这个数据页了。在下次查询需要访问这个数据页的时候，将数据页读入内存，然后执行 change buffer 中与这个页有关的操作。通过这种方式就能保证这个数据逻

数据

持久化

数据库

原创精选 2022-09-12 16:11:59 596 阅读 yyds干货盘点

Latch导致MySQL Crash

导致crash原因数据库先是被置为只读，然后过了一段时间，MySQL直接Crash掉了发生Crash时MySQL的error日志中打印了以下内容:SEMAPHORES ---------- OS WAIT ARRAY INFO: reservation count 1246555 --Thread 140363572082432 has waited at row0upd.cc line 235

mysql

数据

数据库

原创推荐 2022-09-07 16:45:05 4264 阅读 1点赞 1收藏 yyds干货盘点

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

DBA攻坚之路

理解MySQL的THREAD_ID和PROCESSLIST_ID

PT工具介绍

MySQL基础篇--在线DDL归纳总结

MySQL基础篇--innodb内存逻辑

MySQL基础篇--执行计划key_len计算

MySQL基础篇--执行计划扫描方式详解

MySQL基础篇--全局缓存和线程缓存

MySQL基础篇--理解二叉树和B+树

MySQL基础篇--逻辑结构

MySQL基础篇--体系结构

MySQL如何监控主从复制延迟

MySQL关于change buffer的疑问

MySQL锁导致的查询慢分析

MySQL如何判断一个连接是否是业务使用的

MySQL主从延迟案例分析

MySQL巡检查看参数

mysqldump备份期间做DDL会发生什么

MySQL参数优化

MySQL--GTID是什么

MySQL优化案例--limit优化

mysqldump备份流程

什么是MySQL一致性读

MySQL常用的几个reset

MySQL--SQL优化案例

IO性能瓶颈优化--组提交

MySQL索引优化

浅谈MySQL--Sorted Index Builds

MySQL回收表空间

MySQL的change buffer详解

Latch导致MySQL Crash