hcymysql的博客_python,Mysql,redis,自动化运维,MongoDB,MySQL管理,MySQL优化,日常工作(2)

按发布时间
按阅读量
2024年 87篇

全部332篇
2025年10篇 03月2篇 02月3篇 01月5篇 2024年87篇 12月4篇 11月5篇 10月5篇 09月12篇 08月11篇 07月11篇 06月9篇 05月2篇 04月4篇 03月1篇 02月12篇 01月11篇 2023年41篇 12月17篇 11月6篇 10月5篇 09月2篇 08月2篇 07月1篇 06月3篇 05月3篇 02月1篇 01月1篇 2022年14篇 12月2篇 07月1篇 06月5篇 05月2篇 04月1篇 02月2篇 01月1篇 2021年7篇 12月2篇 11月2篇 10月1篇 07月1篇 01月1篇 2020年13篇 12月1篇 10月1篇 09月1篇 08月2篇 07月3篇 06月2篇 05月1篇 03月1篇 01月1篇 2019年17篇 12月6篇 11月6篇 10月1篇 09月1篇 08月1篇 04月1篇 03月1篇 2018年15篇 12月1篇 11月1篇 10月3篇 09月1篇 08月2篇 07月3篇 06月2篇 05月1篇 01月1篇 2017年9篇 12月1篇 11月1篇 07月1篇 05月2篇 04月1篇 01月3篇 2016年9篇 12月1篇 11月2篇 10月1篇 08月1篇 06月1篇 03月2篇 02月1篇 2015年20篇 10月6篇 09月3篇 08月1篇 07月1篇 06月2篇 04月1篇 03月3篇 02月1篇 01月2篇 2014年61篇 11月8篇 10月4篇 09月5篇 07月3篇 06月5篇 05月8篇 04月6篇 03月8篇 02月11篇 01月3篇 2013年9篇 12月3篇 11月4篇 05月1篇 04月1篇 2012年20篇 12月1篇 11月3篇 10月4篇 09月3篇 08月2篇 07月1篇 06月6篇
推荐/精选
全部

全部原创转载翻译

Readyset 是 MySQL 轻量级缓存解决方案

简介Readyset 是一种轻量级缓存解决方案，利用内存来存储缓存数据，实现复杂的 SQL 闪电般快速查询。 Readyset 介于应用程序和数据库之间，是一个Cache层。相当于Redis/Memcached的作用，但它不需要更改你的一行代码。架构Java/PHP应用程序 -> Readyset -> MySQL数据库Readyset 的工作流程如下:对于读操作:您直接向

缓存

SQL

数据库

原创精选 2024-08-19 15:07:02 539 阅读 1收藏 1评论

pt-slave-repair 工具版本号: 1.0.8，更新日期：2024-08-13 - 支持解析json

pt-slave-repair 工具版本号: 1.0.8，更新日期：2024-08-13 - 支持解析jsonpt-slave-repair 工具介绍MySQL主从复制作为一种常见的数据同步方式，有时候会出现同步错误导致同步中断的情况。手动修复这些同步错误通常需要耗费时间和精力，并且对于不熟悉MySQL复制的人来说比较困难。pt-slave-repair是对原有pt-slave-restart工具

MySQL

解析json

版本号

原创 2024-08-13 10:37:07 145 阅读 1收藏

reverse_sql 新增支持字段是json或text类型binlog解析

reverse_sql 工具介绍reverse_sql 是一个用于解析和转换 MySQL 二进制日志（binlog）的工具。它可以将二进制日志文件中记录的数据库更改操作（如插入、更新、删除）转换为反向的 SQL 语句，以便进行数据恢复。其运行模式需二进制日志设置为 ROW 格式。reverse_sql工具版本号: 2.1.2，更新日期：2024-08-09 - 增加表字段是json或text类型的

二进制日志

sql

字段

原创 2024-08-09 20:55:59 401 阅读 1收藏

利用InnoDB Memcached插件，大幅提升MySQL查询性能

利用InnoDB Memcached插件，大幅提升MySQL查询性能MySQL自带有强大的Memcached插件，能够将InnoDB表中的数据直接映射到内存中，实现高性能的键值对存储。这意味着，我们可以像操作传统Memcached一样，通过简单的key来快速获取数据，而无需经过复杂的SQL解析过程。关键优势：性能大幅提升: 直接访问内存中的数据，显著加快查询速度。持久化支持: 数据不仅缓存在内存中

mysql

数据

memcached

原创精选 2024-08-07 09:38:52 406 阅读 1收藏

用 MySQL 实现 JSON 格式的数据存储

在绝大多数业务场景中，分布式数据库并非必需。事实上，约80%的应用程序都可以在单机环境下高效运行。对于绝大多数企业而言，数据库的数据量通常不会达到 TB 级别。在现代应用开发中，json 已成为数据交换和存储的常见格式。尽管 MongoDB 因其天然支持 json 而备受推崇，但 MySQL 也提供了强大的 json 数据类型支持，能够高效地处理 json 数据。在本指南中，我们将探讨如何使用My

JSON

json

mysql

原创精选 2024-08-05 14:36:53 704 阅读

MySQL 从 8.0.16 版本开始支持 CHECK 约束功能。

MySQL 从 8.0.16 版本开始支持 CHECK 约束功能。接下来，我通过一个案例来演示这一点。https://dev.mysql.com/doc/refman/8.0/en/create-table-check-constraints.html我们创建一个名为 scores 的表，表中的 CHECK 约束确保 score 字段的值不能为 0。如果尝试插入值为 0 的记录，MySQL 将会抛

MySQL

SQL

mysql

原创 2024-08-02 14:33:13 176 阅读

ProxySQL 设置拦截危险SQL

操作 MySQL 数据库是十分危险的，生产环境，经常会有人因手滑把数据误改或者误删，那么如何避免？我的规则是：delete from，这种SQL禁止执行delete from...where 1=1，这种SQL禁止执行update ... set ...，这种SQL禁止执行update ... set ...where 1=1，这种SQL禁止执行实施访问ProxySQL的6032管理端口mysql

mysql

SQL

误删

原创 2024-08-01 17:09:07 702 阅读

用 ProxySQL 实现 MySQL 的读写分离

是的，这个世界80%的业务都不需要分布式数据库，单机MySQL加一个读写分离足矣。今天我带你用 ProxySQL 实现 MySQL 的读写分离。功能：将 "select ... for update" 语句和增删改（insert/update/delete）语句发送到主库。将 select 只读查询语句发送到从库。如果从库的复制延迟超过10秒，ProxySQL会将查询路由到其他可用的从库，如果从库

mysql

服务器

读写分离

原创精选 2024-07-30 16:20:51 734 阅读 1点赞 1收藏

借助ProxySQL来解决MySQL 主从复制无法过滤binlog event事件这一缺陷

sql

mysql

MySQL

原创精选 2024-07-25 16:22:55 380 阅读

借助 dbsake 和 ibd2sql 恢复宕机起不来的MySQL 5.7数据库

遇到MySQL数据丢失的窘境?想象一下这个场景: MySQL没有备份 MySQL是单点部署 MySQL突然宕机无法启动如何恢复 MySQL 5.7 的数据 - 不用离职的救命方案对于 MySQL 5.7 的数据恢复,我们可以借助 dbsake 和 ibd2sql 这两个强大的工具来完成。这个方法不仅可以恢复表结构,还能恢

MySQL

sql

表结构

原创 2024-07-22 10:39:36 391 阅读

MySQL离线ibd数据恢复工具 - ibd2sql

遇到MySQL数据丢失的窘境?想象一下这个场景:MySQL没有备份MySQL是单点部署MySQL突然宕机无法启动面对业务数据恢复的压力,是不是感觉天要塌了?别急着递交辞呈!ibd2sql工具可能是您的救命稻草。这是一款能将离线ibd文件转换为SQL语句的神器,可以帮助恢复宝贵的数据。让我们直接看看如何使用:安装wget https://github.com/ddcw/ibd2sql/archive

MySQL

sql

mysql

原创 2024-07-20 22:56:18 1371 阅读

MongoDB 文档被delete后，如何回收磁盘空间？

在回答这个问题之前，先了解一下 MySQL InnoDB 存储引擎是如何回收磁盘空间的。假设有一张表包含 1000 万条记录，删除其中的 800 万条记录，此时 InnoDB 的磁盘空间不会自动释放。要回收磁盘空间，需要执行以下命令：ALTER TABLE tableName ENGINE=InnoDB;MongoDB 的 WiredTiger 存储引擎也有类似的行为。要回收磁盘空间，可以执行以下

存储引擎

副本集

mongodb

原创 2024-07-18 15:11:14 1131 阅读

有手就可以玩，MariaDB轻松实现分库分表，让你的代码一行不改，就这么简单

如果你不想学习除了MySQL家族之外的数据库技术，并且也想轻松拥有分片技术，那你不妨看看MariaDB Spider存储引擎。今天我给你演示一下MariaDB Spider分片技术，它类似一个中间件，你可以把它比作为MyCAT，它可以让你的应用程序一行代码不改，即可轻松实现分库分表。具体的实施步骤，我给你说一下，真的非常简单，有手就可以玩。第一步，配置数据节点，我把命令贴在这里了，你直接复制粘贴即

MySQL

数据库

mysql

原创 2024-07-17 11:16:28 478 阅读

MySQL 8.0.38/8.4/9.0 超过1万张表触发BUG，系统直接crash

MySQL 8.0.38/8.4.1/9.0.0 超过1万张表触发BUG，系统直接crash下面是测试用例。shell脚本（批量创建1万张表）1w_bug.sh#!/bin/bash # MySQL connection details MYSQL_HOST="127.0.0.1" MYSQL_PORT="3306" MYSQL_USER="admin" MYSQL_PASSWORD="1234

mysql

MySQL

bash

原创 2024-07-12 09:05:12 751 阅读

一键快速迁移MySQL至TiDB，无需学习，直接复制粘贴

传统TiDB数据恢复流程TiDB的传统数据恢复过程通常包括两个主要步骤：使用Dumpling工具将MySQL数据导出到本地使用Lightning工具将本地数据导入TiDB这个过程需要熟悉TiDB的操作文档，较为繁琐。Mydumper：简化的数据迁移解决方案Mydumper采用更先进的Stream流式管道技术，能够通过一条命令实现备份和恢复，显著加快了恢复速度。它可以：直接替换TiDB Dumpli

MySQL

数据迁移

数据库

原创 2024-07-10 11:15:23 446 阅读

使用docker-slim为你的docker镜像瘦身

当谈到技术和资源管理时，确实并非所有事物越大越好，这点尤其在 Docker 镜像的管理上体现得淋漓尽致。随着镜像大小的增加，云存储和运维成本也随之增加。因此，有效地减小 Docker 镜像的尺寸对于降低成本和提高效率至关重要。举例来说，以hcymysql/mysql_slowquery:2024-07-04镜像为例，原始文件大小达到3.53GB。在这种情况下，使用 Docker-slim 工具可以

Docker

HTTP

服务器

原创精选 2024-07-09 16:27:51 546 阅读

SlowQuery 图形化显示MySQL 慢日志工具集成sqlai_helper（支持SQL改写，合并LLM模型接口）

SlowQuery 图形化显示MySQL 慢日志工具https://github.com/hcymysql/slowquery2024年7月4日更新：集成sqlai_helper（支持SQL改写，合并LLM模型接口）思想：把MySQL的慢日志集中到平台里展示，调用sqlai_helper工具分析里面的慢SQL，然后自动给出索引优化建议，并给出SQL改写建议，解放双手，释放人力成本，实现18点下班。

mysql

MySQL

推送

原创 2024-07-06 14:09:00 292 阅读

一招实现 - Docker 断点续传

在拉取镜像时，尤其是当镜像文件较大时，如果遇到网络超时问题，你往往需要从头开始拉取，无法从中断的地方继续。这种情况会耗费大量时间和精力。按照下面的方法设置后，你的工作效率将大大提升，再也不用担心镜像拉取中断的问题。我们以 hcymysql/slowquery:2023-09-13 为测试用例。步骤：编辑 daemon.json 文件：执行以下命令编辑 Docker 的配置文件：vim /etc/d

Docker

json

mysql

原创 2024-07-05 11:12:06 1054 阅读

使用 perf 和 Flame Graphs 分析 MySQL

性能分析中的一项常见任务是确定哪些代码段消耗的 CPU 时间最多。这通常需要对堆栈跟踪进行剖析。Flame 图形的出现改变了我们对这些剖析进行可视化的方式。它能直观地显示应用程序中占用 CPU 最多的部分。本文将介绍如何使用 perf 生成这些火焰图。步骤1）安装perfyum install -y perf2) 获取性能数据在我们的示例中，我们将捕获 mysqld 进程 60 秒的性能数据。pe

数据

函数调用

MySQL

原创 2024-06-27 16:38:50 453 阅读

MariaDB11.4新特性：如何处理主从复制“致命错误 1236”

复制功能作为MySQL/MariaDB实现高可用性的核心，几十年来一直扮演着至关重要的角色。然而，在复制过程中，DBA们经常会遇到一个令人头疼的问题——错误号1236。1236错误号对DBA并不陌生，相信你看到过这段报错信息：mysql > show replica status\GLast_IO_Errno: 13114Last_IO_Error: Got fatal error 1236

二进制日志

mysql

MySQL

原创 2024-06-27 10:40:02 484 阅读

pt-osc工具 - 支持对部分数据的表结构变更

从 Percona Toolkit 3.6.0 开始，pt-online-schema-change支持选项--where，支持对部分数据的表结构变更。例如，Java研发想要提取3个月内的数据，并对XX字段属性进行修改。那么，你按照我的演示，自己来操作一下。# pt-online-schema-change h=127.0.0.1,P=3306,u=admin,p=123456,D=test,t=

数据

表名

字段

原创 2024-06-26 16:02:47 380 阅读

Docker镜像被下架之解决方案2

采用docker.io官方镜像方式 - 俄罗斯1) vim /etc/docker/daemon.json{ "registry-mirrors": ["https://jockerhub.com"]}2) systemctl restart docker3) 把docker.io替换为jockerhub.comdocker pull jocke

docker

json

mysql

原创 2024-06-20 11:46:01 2107 阅读 1点赞 2收藏

Docker镜像被下架之解决方案

只需三步：这里以slowquery（MySQL慢日志平台为例）docker.io/hcymysql/slowquery:2023-09-131）打开网站https://docker.aityp.com/manage/add添加docker.io/hcymysql/slowquery:2023-09-132）你楼下抽根烟的时间，顺便到肯德基买份原味鸡，吃完你再回来3）你直接拉取docker pull

docker

mysql

MySQL

原创 2024-06-20 09:23:42 1514 阅读 1点赞 1收藏

MariaDB 11.4 中的变化和改进

二进制日志

子查询

半连接

原创 2024-06-19 11:57:55 832 阅读

命令行工具Dolphie（多尔菲）- 实时监控 MySQL 数据库运行情况

命令行工具Dolphie（多尔菲）- 实时监控 MySQL 数据库运行情况https://pypi.org/project/dolphie/安装：shell> pip3 install dolphie -i "http://mirrors.aliyun.com/pypi/simple" --trusted-host "mirrors.aliyun.com"使用：shell> dol

MySQL

数据库

命令行工具

原创 2024-06-14 14:40:44 612 阅读

Spirit精神小伙 - 一款基于gh-ost原理的在线DDL工具

使用 pt-online-schema-change（基于触发器）或 gh-ost（基于binlog）修改表结构？当然，MySQL DBA 都在使用。但现在有一种新的在线模式更改工具 - Spirit（翻译后：精神）那么为了方便记忆，我们称之为Spirit精神小伙。https://github.com/cashapp/spiritSpirit是一款基于gh-ost原理的在线DDL工具,主要用于执

数据

MySQL

多线程并发

原创 2024-06-07 12:09:27 212 阅读

现在InnoDB支持对某一列（字段）进行压缩

InnoDB在之前提供了两种压缩技术一种是早期的行格式压缩（COMPRESSED Row Format），该方法是在创建表时指定“ROW_FORMAT=COMPRESS”，并通过选项 KEY_BLOCK_SIZE 设置压缩比例。另一种是新的页面压缩，在支持稀疏文件（Sparse file）的EXT4/XFS文件系统上，通过使用打洞（Punch Hole）特性进行压缩。现在InnoDB支持对某一列（

MySQL

字段

解压缩

原创 2024-06-06 10:19:00 287 阅读

Hatchet（斧头）是一款功能强大的 MongoDB JSON 日志分析工具

Hatchet（斧头）是一款功能强大的 MongoDB JSON 日志分析工具功能1、会给出目前运行状况和建议2、会列出慢查询3、会列出CRUD各项操作https://github.com/simagix/hatchet安装# git clone --depth 1 https://github.com/simagix/hatchet.git # cd hatchet ; ./build.sh运行

github

git

慢查询

原创 2024-05-11 14:35:52 576 阅读

Valkey（瓦尔基）是目前Redis的开源GA直接替代品

什么是 Valkey（瓦尔基）？根据 https://valkey.io 的解释，Valkey 是一种高性能键值数据存储。它通常与应用程序-数据库堆栈并存，或介于应用程序-数据库堆栈之间，用于缓存和消息队列，甚至可以充当 NoSQL 类型的数据库。Valkey 可作为单个实例或在集群中运行，并提供复制和高可用性选项。安装docker pull valkey/valkey:7.2.5 docker

Redis

数据库

redis

原创 2024-05-08 11:21:24 1036 阅读

LOAD DATA INFILE增加“涡轮增压”，使加载数据文件 (CSV) 变得更快

使用 LOAD DATA INFILE 将任何大型 CSV 文件加载到 MySQL 服务器是一个非常耗时的过程，因为它是单线程的，而且也是单个事务，它无法充分利用到多核CPU的处理能力，已成为瓶颈。现在你可以通过甲骨文的mysqlsh客户端，让其加载数据文件 (CSV) 变得更快！https://cdn.mysql.com//Downloads/MySQL-Shell/mysql-shell-8.

MySQL

字段

CSV

原创 2024-04-29 11:23:36 764 阅读

欢迎

首页
1
2
3
共87条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

贺春旸的技术博客

Readyset 是 MySQL 轻量级缓存解决方案

pt-slave-repair 工具版本号: 1.0.8，更新日期：2024-08-13 - 支持解析json

reverse_sql 新增支持字段是json或text类型binlog解析

利用InnoDB Memcached插件，大幅提升MySQL查询性能

用 MySQL 实现 JSON 格式的数据存储

MySQL 从 8.0.16 版本开始支持 CHECK 约束功能。

ProxySQL 设置拦截危险SQL

用 ProxySQL 实现 MySQL 的读写分离

借助ProxySQL来解决MySQL 主从复制无法过滤binlog event事件这一缺陷

借助 dbsake 和 ibd2sql 恢复宕机起不来的MySQL 5.7数据库

MySQL离线ibd数据恢复工具 - ibd2sql

MongoDB 文档被delete后，如何回收磁盘空间？

有手就可以玩，MariaDB轻松实现分库分表，让你的代码一行不改，就这么简单

MySQL 8.0.38/8.4/9.0 超过1万张表触发BUG，系统直接crash

一键快速迁移MySQL至TiDB，无需学习，直接复制粘贴

使用docker-slim为你的docker镜像瘦身

SlowQuery 图形化显示MySQL 慢日志工具集成sqlai_helper（支持SQL改写，合并LLM模型接口）

一招实现 - Docker 断点续传

使用 perf 和 Flame Graphs 分析 MySQL

MariaDB11.4新特性：如何处理主从复制“致命错误 1236”

pt-osc工具 - 支持对部分数据的表结构变更

Docker镜像被下架之解决方案2

Docker镜像被下架之解决方案

MariaDB 11.4 中的变化和改进

命令行工具Dolphie（多尔菲）- 实时监控 MySQL 数据库运行情况

Spirit精神小伙 - 一款基于gh-ost原理的在线DDL工具

现在InnoDB支持对某一列（字段）进行压缩

Hatchet（斧头）是一款功能强大的 MongoDB JSON 日志分析工具

Valkey（瓦尔基）是目前Redis的开源GA直接替代品

LOAD DATA INFILE增加“涡轮增压”，使加载数据文件 (CSV) 变得更快

欢迎