食品安全辛吉飞的博客_Mysql(3)

MySQL如何定位消耗CPU的SQL

Mysql5.7版本以上在pfc下面的表threads表中添加了THREAD_OS_ID字段[root@mysql.sock][test]> desc performance_schema.threads; +---------------------+------------------+------+-----+---------+-------+ | Field

CPU

问题定位

原创 2023-08-07 21:06:51 168 阅读 yyds干货盘点

开启全量慢日志查询

慢查询

slowsql

原创 2023-08-04 22:47:01 50 阅读 yyds干货盘点

MySQL8.0.30在线调整redo log

测试验证MySQL8.0.30版本带来一个与 REDO日志文件有关的新特性:在线调整 REDO日志文件的大小，在一定程度上简化了运维的工作量。一台 MySQL实例部署完后REDO日志文件大小一般不会保持默认值，DBA会根据数据的写入量以及频率来调整其为合适的值，与业务匹配的REDO日志文件大小能让数据库获得最佳的性能。下面对MySQL 8.0.30之前以及之后的版本，对比 REDO日志文件的更改过

日志文件

MySQL

redo log

在线调整

原创 2023-08-04 22:26:52 248 阅读指尖人生

position点位复制切换为gtid复制

方案概述在生产中，基于 Position 位置点搭建的 mysql 主从复制环境会面临一些问题，如下：数据一致性不强，主库发生宕机时，可能会导致数据丢失或者主从不一致复制过程易出错，如果主库和从库的日志文件不一致，或者从库落后于主库太多，可能会导致复制失败或者数据错乱故障切换困难，如果主库发生故障，需要手动选择一个最接近主库的从库作为新的主库，并且修改其他从库的配置文件为了避免以上问题，建议开始

主从复制

gtid

切换复制模式

原创 2023-08-04 11:35:23 139 阅读 yyds干货盘点

xtrabackup8.0的使用

安装tar xvf percona-xtrabackup-8.0.25-17-Linux-x86_64.glibc2.17.tar.gz -C /usr/localcd /usr/local/percona-xtrabackup-8.0.25-17-Linux-x86_64.glibc2.17/yum -install perl-Digest-MD5 perl-DBD-MySQL libev -y

xtrabackup

备份

恢复

原创 2023-08-03 22:14:48 85 阅读聊一聊WuKong编辑器

.ibd迁移数据

概述从MySQL 5.6版本开始，引入了传输表空间这个功能，可以把一张表从一个数据库移到另一个数据库或者另一台机器上。在做数据迁移时，非常方便，尤其是针对一张数据量很大的表来说。相比mysqldump的方式，表空间传输要快很多，而且更加灵活。当然如果想使用表空间传输的功能，也必须满足以下几个条件：(1) MySQL版本必须是5.6及以上的版本。(2)使用独立表空间方式，本次实验使用的5.7.20，

表空间传输

.ibd数据迁移

.ibd

原创 2023-08-03 17:09:15 177 阅读 yyds干货盘点

mysqlfrm工具使用及基于.frm和.ibd文件的数据恢复和.ibd迁移

.ibd 迁移

数据恢复

故障处理

原创 2023-08-01 20:23:53 6114 阅读 yyds干货盘点

binlog闪回

概述在生产环境中经常会遇到误删除、改错数据的情况，现在介绍一款很方便、又省时的MySQL闪回工具binlog2sql，它可以实现数据的快速回滚，从binlog中提取SQL,并能生成回滚SQL语句。binlog以event作为单位记录数据库变更的数据信息，闪回就是可以重现这些变化数据信息之前的操作。也就是说，对于insert操作，会生成delete吾句，反之delete操作会生成insert吾句。对

mysql

python

binlog2sql

my2sql

原创 2023-07-31 21:39:41 194 阅读 yyds干货盘点

MySQL架构基础知识

逻辑存储结构-内存结构表空间：ibd文件，一个mysql实例可以对应多个表空间，用于存储记录、索引等数据段：分为数据段、索引段、回滚段，Innodb是索引组织表，数据段就是B+树的叶子节点，索引段即为B+树的非叶子节点。段用来管理多个Extent（区）。区：表空间的单元结构，每个区的大小为1M。默认情况下，InnoDB存储引擎页大小为16K，即一个区中一共有64个连续的页。页：是InnoDB存储引

双1

原创精选 2023-07-31 21:21:40 296 阅读

MySQL基础知识事务及MVCC

事务事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败。特性原子性（Atomicity）：事务是不可分割的最小操作单元，要么全部成功，要么全部失败；处理全部或全部事务的事务。这确保处理多个事务时，所有事务都已执行，或者没有成功的事务一致性（Consistency）：事务完成时，必须使所有的数

事务

MVCC

原创 2023-07-31 21:04:43 87 阅读 yyds干货盘点

行锁分析5.7和8.0版本

在MySQL中，行锁并不是直接锁记录，而是锁索引，而索引又分为主键索引和非主键索引两种：如果一条SQL操作了主键索引，MySQL就会锁定这条主键索引；如果一条语句操作了非主键索引，MySQL会先锁定该非主键索引，再锁定相关的主键索引。在做更新删除操作时，MySQL不仅锁定WHERE条件扫描过的所有索引记录，而且会锁定相邻的键值，即next-key locking。有事务锁（行锁）等待，使用以下语句

主键

行锁分析

原创 2023-07-30 18:37:14 163 阅读 yyds干货盘点

MYSQL锁等待超时故障定位和处理

1. 查看慢sql执行计划 Explain 慢sql，查看执行计划，有索引，扫描一百多万行(客户反映之前有三百多万行)，有临时内存表数据存储，有排序，执行时间1.7秒。不是太慢的sql。 2．Show processlist 查看实时进程，没有停留太久的线程，资源宽裕。不是问题发生时间段的进程情况，无法判断。 3．查看错

锁等待

故障分析

原创 2023-07-20 23:24:16 226 阅读

MySQL故障分析需要抽取那些信息

日常运维MySQL数据库中会碰到一些莫名其妙的故障，虽然监控存在，但因为当时没有及时采集信息，导致后续不了了之的情况或等到下次故障发生的时，再采集信息，进行分析问题。那些故障下，会出现信息少，无法进行分析：TPS突然下降到 0连接数直接爆满error日志无记录突然hang住数据库服务不停的重启内存曲线是上升，最后OOM如生产环境中，碰见类似现象，应该采集那些数据，后续分析。1.基础信息基础信息

故障分析

抽取信息

原创 2023-07-20 23:17:23 111 阅读

MySQL主从故障分析及处理

实施步骤一、如何监控[root@db01 data]# mysql -S /tmp/mysql3308.sock -e "show slave status \G"show slave status 命令常见返回参数状态：Slave_IO_Running: Yes # IO线程工作状态： YES、NO、Connecting Slave_SQL_Running: Yes # SQL线程工作状态：

主从故障

主从复制

故障分析

故障处理

主从

原创精选 2023-07-20 23:11:32 570 阅读

MySQL升级

一、为什么升级MySQL基于安全考虑基于性能和稳定性考虑：mgr复制，并行复制writeset 等功能，性能提升新的功能：Hash join ，窗口函数，DDL即时，json 支持原始环境中版本太多，统一版本8.0版本基本已到稳定期，可以大量投入生产环境中二、升级前注意事项注意字符集设置。为了避免新旧对象字符集不一致的情况，可以在配置文件将字符集和校验规则设置为旧版本的字符集和比较规则。密码认证

脚本

mysql5.7升级

升级

原创 2023-07-18 22:54:07 2368 阅读指尖人生

MySQL主从复制常见故障处理

情况一：从库宕机如果在从库复制数据过程中，宕机了。很可能造成relay log 损坏。无法继续进行复制。启动复制时报错：relay log read failure遇到这种情况，有如下几个解决版本：开启了 crash-safe replicationMySQL 5.6以后，可以在从库配置以下两个参数,可以自动恢复这个问题relay_log_info_repository=table relay_l

故障处理

主从复制

原创 2023-07-17 22:24:32 1130 阅读 yyds干货盘点

xtrabackup 备份一段时间后进程消失

问题概述xtrabackup备份一段时间后进程消失，备份终止，备份日志无异常信息.问题原因系统日志/var/log/message 显示有部分登录会话被移除，怀疑是系统设置哪问题对照上次备份进场消失的时间，也发现remove信息很大可能性是systemd-logind导致的解决方案1、修改/etc/systemd/logind.conf配置解决方法：1) Set RemoveIPC=n

xtrabackup

原创 2023-07-14 21:02:35 127 阅读

MySQL Hints - 优化提示

hints

优化

优化提示

原创 2023-07-14 20:36:56 567 阅读 ChatGPT初体验

MySQL SQL限制参数

经常了解到MySQL使用过程中，因为这个那个SQL语句导致系统负载高，变慢等问题。可以说数据库性能问题90%以上是不良SQL引起的。前期发现不了，一旦压力负载上来，问题就爆发。应对这种情况，规定了开发规范，并且起到了很大的限制作用，但由于疏忽或大意，往往会存在漏网之鱼；对于这样的情况MySQL也有一些控制手段。另外一方面也是为了提高SQL性能考虑。这些参数非常有意思的。sql_select_lim

限制参数

原创 2023-07-10 22:50:41 370 阅读

optimize table 治理mysql 高水位和空间碎片

问题背景随着系统上线时间的增长， mysql数据库的数据目录的文件系统使用率已经快要耗尽。从最初的两三个月 truancate一次日志表，到最后每周要truancate 多次日志表。业务侧将数据库中历史数据（超过全部数据的2/3）逐渐进行了迁移（采用目标库insert，源库delete的方式），这些表中有多个超过100GB的大表，甚至有两个在500GB以上的超大表。虽然数据被迁移了，但是空间

optimize table

高水位

表碎片

原创 2023-07-10 22:48:29 512 阅读 yyds干货盘点

MySQL--Sorted Index Builds 导致备份失败故障分析

问题概述xtrabackup备份失败，日志中有这样的信息InnoDB: An optimized (without redo logging) DDLoperation has been performed. All modified pages may not have been flushed to the disk yet.问题原因redo logs会跳过一些DDL,Percona Xtra

xtrabackup

–lock-ddl-per-table

Sorted Index Builds

原创 2023-07-09 13:34:43 167 阅读

MySQL not in /is not null改写SQL 优化

适用范围1.适用于where 条件为FROM wyh_test1_base_info t1 WHERE t1.MCHT_ID NOT IN (SELECT MCHT_ID FROM wyh_test2_w_inf WHERE MCHT_LV_C is NOT null)且需要wyh_test1_base_info 表的数据被wyh_test2_w_inf表包含的场景问题

SQL优化

原创 2023-07-03 10:48:45 194 阅读爱心代码表白

performance_schema 诊断表锁，行锁，全局读锁，DML锁

performance_schema

锁

锁信息

原创精选 2023-06-30 23:03:19 703 阅读 yyds干货盘点

MySQL数据库内存相关参数说明，及简单调优思路

全局内存参数innodb_buffer_pool_size#innodb buffer大小。8.0默认128M #设置建议：可以设置为pool_size=mem*(60%)innodb_buffer_pool_instances#innodb buffer的个数。8.0默认1 #该值分割buffer_pool_size。pool_size/instance=per pool size。可以有效减

调优

参数

优化

原创 2023-06-19 16:12:04 151 阅读指尖人生

MySQL大表的清理

一、事件背景一个大表里面存储有数据28亿，大表结构是hash 100个分区,占用空间1.8T，里面保留了2年多的数据，数据文件大小持续在增大，目前MySQL数据目录datadir占用磁盘95%，无法通过drop分区回收空间,计划保留最新3个月数据。二、实施步骤在凌晨业务低峰期执行1.新增同结构新表注意：create table like 语句会丢失 auto 值create table rb_te

硬链接

大表清理

原创 2023-06-19 15:52:22 349 阅读

文件损坏、索引页损坏、数据文件损坏处理 MySQL

索引页损坏、数据文件损坏处理 MySQL

索引页损坏

数据文件损坏

mysql

文件损坏

原创 2023-06-19 15:36:44 1154 阅读指尖人生

Mysql5.7 MGR安装规范

概述本手册描述了在LINUX（RHEL 7）操作系统下以二进制编译包方式安装MySQL5.7数据库软件的操作过程。如无明确文字说明，均使用操作系统root用户执行命令。文档目的本手册为在LINUX操作系统环境下安装MySQL数据库提供指导和参考，本文大致会提到Mysql单机版、主从版、高可用版本（MGR），可根据实际情况选择需要对应版本搭建。适用范围本手册适用于在RedHat 7环境下安装并创建M

MySQL

数据库

MGR

原创 2023-03-27 14:11:39 247 阅读

Mysql proxysql

rpm -ivh proxysql-2.4.1-1-centos7.x86_64.rpm版本：proxysql --version 启动：service proxysql start 暂停：service proxysql stop 重启：service proxysql restart 状态：service proxysql status控制台 mysql -uadmin -padmin -h1

mysql

ProxySQL

原创精选 2023-01-04 10:16:30 410 阅读

Mysql5.7 MHA安装规范

1 概述本手册描述了在LINUX（RHEL 7）操作系统下以二进制编译包方式安装MySQL5.7数据库软件的操作过程。如无明确文字说明，均使用操作系统root用户执行命令。1.1 文档目的本手册为在LINUX操作系统环境下安装MySQL数据库提供指导和参考，本文大致会提到Mysql单机版、主从版、高可用版本（MHA），可根据实际情况选择需要对应版本搭建。1.2 适用范围本手册适用于在Centos

MySQL

perl

MHA

keepalived

原创 2023-01-03 11:28:19 422 阅读 1收藏 yyds干货盘点

MYSQL 逐库备份脚本

#!/bin/bash################################################ backup job at 2:00，如下 ##crontab -e

mysql

原创 2022-06-24 20:57:49 145 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

51CTO博客

MySQL如何定位消耗CPU的SQL

开启全量慢日志查询

MySQL8.0.30在线调整redo log

position点位复制切换为gtid复制

xtrabackup8.0的使用

.ibd迁移数据

mysqlfrm工具使用及基于.frm和.ibd文件的数据恢复和.ibd迁移

binlog闪回

MySQL架构基础知识

MySQL基础知识事务及MVCC

行锁分析5.7和8.0版本

MYSQL锁等待超时故障定位和处理

MySQL故障分析需要抽取那些信息

MySQL主从故障分析及处理

MySQL升级

MySQL主从复制常见故障处理

xtrabackup 备份一段时间后进程消失

MySQL Hints - 优化提示

MySQL SQL限制参数

optimize table 治理mysql 高水位和空间碎片

MySQL--Sorted Index Builds 导致备份失败故障分析

MySQL not in /is not null改写SQL 优化

performance_schema 诊断表锁，行锁，全局读锁，DML锁

MySQL数据库内存相关参数说明，及简单调优思路

MySQL大表的清理

文件损坏、索引页损坏、数据文件损坏处理 MySQL

Mysql5.7 MGR安装规范

Mysql proxysql

Mysql5.7 MHA安装规范

MYSQL 逐库备份脚本