hcymysql的博客_MySQL管理原创博文(2)

借助ProxySQL来解决MySQL 主从复制无法过滤binlog event事件这一缺陷

sql

mysql

MySQL

原创精选 2024-07-25 16:22:55 380 阅读

借助 dbsake 和 ibd2sql 恢复宕机起不来的MySQL 5.7数据库

遇到MySQL数据丢失的窘境?想象一下这个场景: MySQL没有备份 MySQL是单点部署 MySQL突然宕机无法启动如何恢复 MySQL 5.7 的数据 - 不用离职的救命方案对于 MySQL 5.7 的数据恢复,我们可以借助 dbsake 和 ibd2sql 这两个强大的工具来完成。这个方法不仅可以恢复表结构,还能恢

MySQL

sql

表结构

原创 2024-07-22 10:39:36 391 阅读

MySQL离线ibd数据恢复工具 - ibd2sql

遇到MySQL数据丢失的窘境?想象一下这个场景:MySQL没有备份MySQL是单点部署MySQL突然宕机无法启动面对业务数据恢复的压力,是不是感觉天要塌了?别急着递交辞呈!ibd2sql工具可能是您的救命稻草。这是一款能将离线ibd文件转换为SQL语句的神器,可以帮助恢复宝贵的数据。让我们直接看看如何使用:安装wget https://github.com/ddcw/ibd2sql/archive

MySQL

sql

mysql

原创 2024-07-20 22:56:18 1369 阅读

有手就可以玩，MariaDB轻松实现分库分表，让你的代码一行不改，就这么简单

如果你不想学习除了MySQL家族之外的数据库技术，并且也想轻松拥有分片技术，那你不妨看看MariaDB Spider存储引擎。今天我给你演示一下MariaDB Spider分片技术，它类似一个中间件，你可以把它比作为MyCAT，它可以让你的应用程序一行代码不改，即可轻松实现分库分表。具体的实施步骤，我给你说一下，真的非常简单，有手就可以玩。第一步，配置数据节点，我把命令贴在这里了，你直接复制粘贴即

MySQL

数据库

mysql

原创 2024-07-17 11:16:28 478 阅读

MySQL 8.0.38/8.4/9.0 超过1万张表触发BUG，系统直接crash

MySQL 8.0.38/8.4.1/9.0.0 超过1万张表触发BUG，系统直接crash下面是测试用例。shell脚本（批量创建1万张表）1w_bug.sh#!/bin/bash # MySQL connection details MYSQL_HOST="127.0.0.1" MYSQL_PORT="3306" MYSQL_USER="admin" MYSQL_PASSWORD="1234

mysql

MySQL

bash

原创 2024-07-12 09:05:12 751 阅读

一键快速迁移MySQL至TiDB，无需学习，直接复制粘贴

传统TiDB数据恢复流程TiDB的传统数据恢复过程通常包括两个主要步骤：使用Dumpling工具将MySQL数据导出到本地使用Lightning工具将本地数据导入TiDB这个过程需要熟悉TiDB的操作文档，较为繁琐。Mydumper：简化的数据迁移解决方案Mydumper采用更先进的Stream流式管道技术，能够通过一条命令实现备份和恢复，显著加快了恢复速度。它可以：直接替换TiDB Dumpli

MySQL

数据迁移

数据库

原创 2024-07-10 11:15:23 446 阅读

SlowQuery 图形化显示MySQL 慢日志工具集成sqlai_helper（支持SQL改写，合并LLM模型接口）

SlowQuery 图形化显示MySQL 慢日志工具https://github.com/hcymysql/slowquery2024年7月4日更新：集成sqlai_helper（支持SQL改写，合并LLM模型接口）思想：把MySQL的慢日志集中到平台里展示，调用sqlai_helper工具分析里面的慢SQL，然后自动给出索引优化建议，并给出SQL改写建议，解放双手，释放人力成本，实现18点下班。

mysql

MySQL

推送

原创 2024-07-06 14:09:00 292 阅读

使用 perf 和 Flame Graphs 分析 MySQL

性能分析中的一项常见任务是确定哪些代码段消耗的 CPU 时间最多。这通常需要对堆栈跟踪进行剖析。Flame 图形的出现改变了我们对这些剖析进行可视化的方式。它能直观地显示应用程序中占用 CPU 最多的部分。本文将介绍如何使用 perf 生成这些火焰图。步骤1）安装perfyum install -y perf2) 获取性能数据在我们的示例中，我们将捕获 mysqld 进程 60 秒的性能数据。pe

数据

函数调用

MySQL

原创 2024-06-27 16:38:50 453 阅读

MariaDB11.4新特性：如何处理主从复制“致命错误 1236”

复制功能作为MySQL/MariaDB实现高可用性的核心，几十年来一直扮演着至关重要的角色。然而，在复制过程中，DBA们经常会遇到一个令人头疼的问题——错误号1236。1236错误号对DBA并不陌生，相信你看到过这段报错信息：mysql > show replica status\GLast_IO_Errno: 13114Last_IO_Error: Got fatal error 1236

二进制日志

mysql

MySQL

原创 2024-06-27 10:40:02 484 阅读

pt-osc工具 - 支持对部分数据的表结构变更

从 Percona Toolkit 3.6.0 开始，pt-online-schema-change支持选项--where，支持对部分数据的表结构变更。例如，Java研发想要提取3个月内的数据，并对XX字段属性进行修改。那么，你按照我的演示，自己来操作一下。# pt-online-schema-change h=127.0.0.1,P=3306,u=admin,p=123456,D=test,t=

数据

表名

字段

原创 2024-06-26 16:02:47 380 阅读

MariaDB 11.4 中的变化和改进

二进制日志

子查询

半连接

原创 2024-06-19 11:57:55 832 阅读

命令行工具Dolphie（多尔菲）- 实时监控 MySQL 数据库运行情况

命令行工具Dolphie（多尔菲）- 实时监控 MySQL 数据库运行情况https://pypi.org/project/dolphie/安装：shell> pip3 install dolphie -i "http://mirrors.aliyun.com/pypi/simple" --trusted-host "mirrors.aliyun.com"使用：shell> dol

MySQL

数据库

命令行工具

原创 2024-06-14 14:40:44 612 阅读

Spirit精神小伙 - 一款基于gh-ost原理的在线DDL工具

使用 pt-online-schema-change（基于触发器）或 gh-ost（基于binlog）修改表结构？当然，MySQL DBA 都在使用。但现在有一种新的在线模式更改工具 - Spirit（翻译后：精神）那么为了方便记忆，我们称之为Spirit精神小伙。https://github.com/cashapp/spiritSpirit是一款基于gh-ost原理的在线DDL工具,主要用于执

数据

MySQL

多线程并发

原创 2024-06-07 12:09:27 212 阅读

现在InnoDB支持对某一列（字段）进行压缩

InnoDB在之前提供了两种压缩技术一种是早期的行格式压缩（COMPRESSED Row Format），该方法是在创建表时指定“ROW_FORMAT=COMPRESS”，并通过选项 KEY_BLOCK_SIZE 设置压缩比例。另一种是新的页面压缩，在支持稀疏文件（Sparse file）的EXT4/XFS文件系统上，通过使用打洞（Punch Hole）特性进行压缩。现在InnoDB支持对某一列（

MySQL

字段

解压缩

原创 2024-06-06 10:19:00 289 阅读

LOAD DATA INFILE增加“涡轮增压”，使加载数据文件 (CSV) 变得更快

使用 LOAD DATA INFILE 将任何大型 CSV 文件加载到 MySQL 服务器是一个非常耗时的过程，因为它是单线程的，而且也是单个事务，它无法充分利用到多核CPU的处理能力，已成为瓶颈。现在你可以通过甲骨文的mysqlsh客户端，让其加载数据文件 (CSV) 变得更快！https://cdn.mysql.com//Downloads/MySQL-Shell/mysql-shell-8.

MySQL

字段

CSV

原创 2024-04-29 11:23:36 764 阅读

RollbackTimeCalc函数 - 估算 MySQL 已取消事务的回滚时间

当你<ctrl+c>或者kill掉一个大事务时，你想知道这个事务需要多久才能回滚完，那么你可以利用RollbackTimeCalc函数得到。导入函数：https://github.com/hcymysql/RollbackTimeCalc/blob/main/RollbackTimeCalc.sqlshell> mysql -uroot -p123456 < Rollbac

mysql

回滚

sql

原创 2024-04-28 14:45:32 520 阅读

【BUG重现】让MySQL 8.0 Instant DDL算法在第65次失效

创建一个存储过程：对sbtest1表增加字段c1，然后再删除，反复循环64次操作。当第65次时，再次执行增加字段c1, Instant DDL算法失效，无法秒级增加字段。【BUG重现】存储过程创建DELIMITER // CREATE PROCEDURE Execute_Alterations() BEGIN DECLARE i INT DEFAULT 1; WHILE

sql

存储过程

原创 2024-04-25 15:48:20 311 阅读

MySQL全文索引的插入/更新在事务提交之前不会被处理。

MySQL全文索引的插入/更新在事务提交之前不会被处理。【BUG重现】：表结构：CREATE TABLE tf ( id int NOT NULL AUTO_INCREMENT PRIMARY KEY, title varchar(200) DEFAULT NULL, body text, FULLTEXT KEY title (title, body) WITH

mysql

数据库

MySQL

原创 2024-04-08 21:08:54 224 阅读

把MongoDB的全量数据导入到MySQL里

把MongoDB的全量数据导入到MySQL里借助开源DuckDB - 嵌入式DB的OLAP类型（采用列式存储）充当ETL工具http://duckdb.org/功能概述：- 无需安装，就一个启动文件duckdb- 支持映射MySQL数据库，直接在本地读写MySQL表数据- 支持读取本地json文件- 没有端口号，本地运行=======================================

MySQL

json

mysql

原创 2024-03-27 15:06:08 959 阅读

老旧业务系统不清楚是否有SQL在执行？那你就用strace命令捕获sql

老旧业务系统不清楚是否有SQL在执行？如果你用的云主机，公司也没有DBA，更无法通过mysql_sniffer工具，捕获网卡TCP请求抓包https://github.com/hcymysql/mysql_sniffer--------------------------------------------------------------------------那你就用strace命令捕获sq

mysql

SQL

sql

原创 2024-02-20 14:31:05 264 阅读

mysqlstat工具版本号: 1.0.14，更新日期：2024-02-16 - 新增“查看当前未提交事务的SQL”

mysqlstat工具版本号: 1.0.14，更新日期：2024-02-16 - 新增“查看当前未提交事务的SQL”最新版下载地址：https://github.com/hcymysql/mysqlstat/releases/tag/mysqlstat_v1.0.14当一个事务长时间未提交，那么这个连接就不能关闭，内存就不释放。如果并发一大，导致数据库连接数增多，就会对性能产生影响。例如执行一条S

mysql

SQL

数据库连接

原创 2024-02-16 14:07:05 398 阅读

产品经理的春天 - DuckDB 数据库，了解一下

产品经理的春天 - DuckDB 数据库http://duckdb.org/- 无需安装，再也不用大数据那边的平台了。- 零基础，会SQL就能玩。映射MySQL数据库，直接在本地查询MySQL数据支持跨库Join跟DBA要个账号就完了。#启动DUCKDB#duckdb me.duckdb映射MySQL数据库：ATTACH 'host=127.0.0.1 user=admin password=12

数据库

MySQL

mysql

原创 2024-02-07 11:12:39 1427 阅读

【MySQL 8.0新特性】如何把热点表迁移到SSD硬盘里？

【MySQL 8.0新特性】如何把热点表迁移到SSD硬盘里？假设您的公司有钱购买SSD，现在需要把热点表迁移到SSD磁盘里。实施步骤如下：注：SSD磁盘挂载目录是：/data2/newssd1) 关闭mysqld服务进程2) vim my.cnf，增加参数[mysqld]innodb_directories = /data2/newssd3) 移动热点表.ibd文件至/data2/newssd目

mysql

服务进程

MySQL

原创 2024-02-02 18:05:26 495 阅读 1点赞

还在苦于为数据脱敏探讨解决方案？

还在苦于为数据脱敏探讨解决方案？只需两步轻松实现。1、卸载MySQL 5.7/8.0社区版，用Percona 5.7/8.0代替2、安装data_masking.so插件（这个插件是MySQL企业版的功能，Percona已实现开源）案例：适用于手机号，银行卡，身份证等敏感数据。使用mysql> INSTALL PLUGIN data_masking SONAME 'data_masking.

mysql

MySQL

企业版

原创 2024-02-02 13:55:24 367 阅读

sqlai_helper工具支持SQL改写，合并LLM模型接口

sqlai_helper工具版本号: 2.1.1，更新日期：2024-01-31 <-> 支持SQL改写，合并LLM模型接口https://github.com/hcymysql/sql_helper/releases/tag/sqlai_helper#cat test.yamlhost: 127.0.0.1port: 3306user: adminpasswd: 123456data

sql

mysql

github

原创 2024-01-31 16:26:09 464 阅读

MySQL导入数据小技巧：在不影响业务的前提下，如何平稳迁移数据？

MySQL导入数据小技巧：在不影响业务的前提下，如何平稳迁移数据？生产案例：产品经理要求把B库里的表迁移到A库里。问：在不影响业务的前提下，如何平稳迁移数据？答：可以做限速，以每秒1MB的速度导入数据，这样CPU和磁盘IO不受影响。shell> pv -a -q -t -L 1m test1.sql | mysql -S /tmp/mysql.sock -p123456 test

mysql

导入数据

数据

原创 2024-01-28 22:20:34 314 阅读

reverse_sql误操作恢复工具 - 增加json格式支持

reverse_sql 是一个用于解析和转换 MySQL 二进制日志（binlog）的工具。它可以将二进制日志文件中记录的数据库更改操作（如插入、更新、删除）转换为反向的 SQL 语句，以便进行数据恢复。其运行模式需二进制日志设置为 ROW 格式。reverse_sql工具版本号: 2.1.1，更新日期：2024-01-27 - 增加json格式支持MySQL5.7版本用 https://gith

sql

mysql

二进制日志

原创 2024-01-27 23:45:58 435 阅读

【解答】面试题：如何快速解决跨库join表关联？

面试题：如何快速解决跨库join表关联？有一天产品经理提了一个需求，要关联查询A库的xxx表和B库的xxx表(跨库join)，做实时分析(查询的表不固定，后期业务还会调整)。Java研发更改代码实现比较困难，大数据团队反馈可以，但不能保证实时性，会有30分钟左右的数据延迟。产品经理说我这个需求很急，30分钟数据延迟业务不能接受。那么问题来了，如何解决? 明天就上线。【解决方案】第一种、利用MySQ

ide

mysql

MySQL

原创 2024-01-26 11:17:22 724 阅读 1收藏

担心MySQL binlog文件增长速度过快而撑爆磁盘空间？

担心MySQL binlog文件增长速度过快而撑爆磁盘空间？那么你需要了解一下Percona 8.0 binlog_space_limit参数（限制二进制日志文件使用的磁盘空间）该变量对所有二进制日志的总大小（以字节为单位）设置了上限。当达到限制时，最旧的二进制日志将被清除，直到总大小低于限制或仅保留活动日志。

二进制日志

默认值

MySQL

原创 2024-01-26 09:32:35 653 阅读

【Sqlboys的福音】录入你的表结构，让Vanna.AI为你编写业务SQL

【Sqlboys的福音】录入你的表结构，让Vanna.AI为你编写业务SQLsqlai.pyimport pandas as pd import mysql.connector from vanna.remote import VannaDefault vn = VannaDefault(model='yourModel', api_key='xxxx') conn_details = { '

sql

表结构

SQL

原创 2024-01-24 23:41:19 690 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

贺春旸的技术博客

借助ProxySQL来解决MySQL 主从复制无法过滤binlog event事件这一缺陷

借助 dbsake 和 ibd2sql 恢复宕机起不来的MySQL 5.7数据库

MySQL离线ibd数据恢复工具 - ibd2sql

有手就可以玩，MariaDB轻松实现分库分表，让你的代码一行不改，就这么简单

MySQL 8.0.38/8.4/9.0 超过1万张表触发BUG，系统直接crash

一键快速迁移MySQL至TiDB，无需学习，直接复制粘贴

SlowQuery 图形化显示MySQL 慢日志工具集成sqlai_helper（支持SQL改写，合并LLM模型接口）

使用 perf 和 Flame Graphs 分析 MySQL

MariaDB11.4新特性：如何处理主从复制“致命错误 1236”

pt-osc工具 - 支持对部分数据的表结构变更

MariaDB 11.4 中的变化和改进

命令行工具Dolphie（多尔菲）- 实时监控 MySQL 数据库运行情况

Spirit精神小伙 - 一款基于gh-ost原理的在线DDL工具

现在InnoDB支持对某一列（字段）进行压缩

LOAD DATA INFILE增加“涡轮增压”，使加载数据文件 (CSV) 变得更快

RollbackTimeCalc函数 - 估算 MySQL 已取消事务的回滚时间

【BUG重现】让MySQL 8.0 Instant DDL算法在第65次失效

MySQL全文索引的插入/更新在事务提交之前不会被处理。

把MongoDB的全量数据导入到MySQL里

老旧业务系统不清楚是否有SQL在执行？那你就用strace命令捕获sql

mysqlstat工具版本号: 1.0.14，更新日期：2024-02-16 - 新增“查看当前未提交事务的SQL”

产品经理的春天 - DuckDB 数据库，了解一下

【MySQL 8.0新特性】如何把热点表迁移到SSD硬盘里？

还在苦于为数据脱敏探讨解决方案？

sqlai_helper工具支持SQL改写，合并LLM模型接口

MySQL导入数据小技巧：在不影响业务的前提下，如何平稳迁移数据？

reverse_sql误操作恢复工具 - 增加json格式支持

【解答】面试题：如何快速解决跨库join表关联？

担心MySQL binlog文件增长速度过快而撑爆磁盘空间？

【Sqlboys的福音】录入你的表结构，让Vanna.AI为你编写业务SQL

欢迎