hcymysql的博客_python,Mysql,自动化运维,MongoDB,redis,MySQL管理,MySQL优化,日常工作原创(3)

按发布时间
按阅读量
时间轴

全部332篇
2025年10篇 03月2篇 02月3篇 01月5篇 2024年87篇 12月4篇 11月5篇 10月5篇 09月12篇 08月11篇 07月11篇 06月9篇 05月2篇 04月4篇 03月1篇 02月12篇 01月11篇 2023年41篇 12月17篇 11月6篇 10月5篇 09月2篇 08月2篇 07月1篇 06月3篇 05月3篇 02月1篇 01月1篇 2022年14篇 12月2篇 07月1篇 06月5篇 05月2篇 04月1篇 02月2篇 01月1篇 2021年7篇 12月2篇 11月2篇 10月1篇 07月1篇 01月1篇 2020年13篇 12月1篇 10月1篇 09月1篇 08月2篇 07月3篇 06月2篇 05月1篇 03月1篇 01月1篇 2019年17篇 12月6篇 11月6篇 10月1篇 09月1篇 08月1篇 04月1篇 03月1篇 2018年15篇 12月1篇 11月1篇 10月3篇 09月1篇 08月2篇 07月3篇 06月2篇 05月1篇 01月1篇 2017年9篇 12月1篇 11月1篇 07月1篇 05月2篇 04月1篇 01月3篇 2016年9篇 12月1篇 11月2篇 10月1篇 08月1篇 06月1篇 03月2篇 02月1篇 2015年20篇 10月6篇 09月3篇 08月1篇 07月1篇 06月2篇 04月1篇 03月3篇 02月1篇 01月2篇 2014年61篇 11月8篇 10月4篇 09月5篇 07月3篇 06月5篇 05月8篇 04月6篇 03月8篇 02月11篇 01月3篇 2013年9篇 12月3篇 11月4篇 05月1篇 04月1篇 2012年20篇 12月1篇 11月3篇 10月4篇 09月3篇 08月2篇 07月1篇 06月6篇
推荐/精选
原创

全部原创转载翻译

一招实现 - Docker 断点续传

在拉取镜像时，尤其是当镜像文件较大时，如果遇到网络超时问题，你往往需要从头开始拉取，无法从中断的地方继续。这种情况会耗费大量时间和精力。按照下面的方法设置后，你的工作效率将大大提升，再也不用担心镜像拉取中断的问题。我们以 hcymysql/slowquery:2023-09-13 为测试用例。步骤：编辑 daemon.json 文件：执行以下命令编辑 Docker 的配置文件：vim /etc/d

Docker

json

mysql

原创 2024-07-05 11:12:06 1058 阅读

使用 perf 和 Flame Graphs 分析 MySQL

性能分析中的一项常见任务是确定哪些代码段消耗的 CPU 时间最多。这通常需要对堆栈跟踪进行剖析。Flame 图形的出现改变了我们对这些剖析进行可视化的方式。它能直观地显示应用程序中占用 CPU 最多的部分。本文将介绍如何使用 perf 生成这些火焰图。步骤1）安装perfyum install -y perf2) 获取性能数据在我们的示例中，我们将捕获 mysqld 进程 60 秒的性能数据。pe

数据

函数调用

MySQL

原创 2024-06-27 16:38:50 467 阅读

MariaDB11.4新特性：如何处理主从复制“致命错误 1236”

复制功能作为MySQL/MariaDB实现高可用性的核心，几十年来一直扮演着至关重要的角色。然而，在复制过程中，DBA们经常会遇到一个令人头疼的问题——错误号1236。1236错误号对DBA并不陌生，相信你看到过这段报错信息：mysql > show replica status\GLast_IO_Errno: 13114Last_IO_Error: Got fatal error 1236

二进制日志

mysql

MySQL

原创 2024-06-27 10:40:02 496 阅读

pt-osc工具 - 支持对部分数据的表结构变更

从 Percona Toolkit 3.6.0 开始，pt-online-schema-change支持选项--where，支持对部分数据的表结构变更。例如，Java研发想要提取3个月内的数据，并对XX字段属性进行修改。那么，你按照我的演示，自己来操作一下。# pt-online-schema-change h=127.0.0.1,P=3306,u=admin,p=123456,D=test,t=

数据

表名

字段

原创 2024-06-26 16:02:47 383 阅读

Docker镜像被下架之解决方案2

采用docker.io官方镜像方式 - 俄罗斯1) vim /etc/docker/daemon.json{ "registry-mirrors": ["https://jockerhub.com"]}2) systemctl restart docker3) 把docker.io替换为jockerhub.comdocker pull jocke

docker

json

mysql

原创 2024-06-20 11:46:01 2104 阅读 1点赞 2收藏

Docker镜像被下架之解决方案

只需三步：这里以slowquery（MySQL慢日志平台为例）docker.io/hcymysql/slowquery:2023-09-131）打开网站https://docker.aityp.com/manage/add添加docker.io/hcymysql/slowquery:2023-09-132）你楼下抽根烟的时间，顺便到肯德基买份原味鸡，吃完你再回来3）你直接拉取docker pull

docker

mysql

MySQL

原创 2024-06-20 09:23:42 1516 阅读 1点赞 1收藏

MariaDB 11.4 中的变化和改进

二进制日志

子查询

半连接

原创 2024-06-19 11:57:55 835 阅读

命令行工具Dolphie（多尔菲）- 实时监控 MySQL 数据库运行情况

命令行工具Dolphie（多尔菲）- 实时监控 MySQL 数据库运行情况https://pypi.org/project/dolphie/安装：shell> pip3 install dolphie -i "http://mirrors.aliyun.com/pypi/simple" --trusted-host "mirrors.aliyun.com"使用：shell> dol

MySQL

数据库

命令行工具

原创 2024-06-14 14:40:44 618 阅读

Spirit精神小伙 - 一款基于gh-ost原理的在线DDL工具

使用 pt-online-schema-change（基于触发器）或 gh-ost（基于binlog）修改表结构？当然，MySQL DBA 都在使用。但现在有一种新的在线模式更改工具 - Spirit（翻译后：精神）那么为了方便记忆，我们称之为Spirit精神小伙。https://github.com/cashapp/spiritSpirit是一款基于gh-ost原理的在线DDL工具,主要用于执

数据

MySQL

多线程并发

原创 2024-06-07 12:09:27 209 阅读

现在InnoDB支持对某一列（字段）进行压缩

InnoDB在之前提供了两种压缩技术一种是早期的行格式压缩（COMPRESSED Row Format），该方法是在创建表时指定“ROW_FORMAT=COMPRESS”，并通过选项 KEY_BLOCK_SIZE 设置压缩比例。另一种是新的页面压缩，在支持稀疏文件（Sparse file）的EXT4/XFS文件系统上，通过使用打洞（Punch Hole）特性进行压缩。现在InnoDB支持对某一列（

MySQL

字段

解压缩

原创 2024-06-06 10:19:00 291 阅读

Hatchet（斧头）是一款功能强大的 MongoDB JSON 日志分析工具

Hatchet（斧头）是一款功能强大的 MongoDB JSON 日志分析工具功能1、会给出目前运行状况和建议2、会列出慢查询3、会列出CRUD各项操作https://github.com/simagix/hatchet安装# git clone --depth 1 https://github.com/simagix/hatchet.git # cd hatchet ; ./build.sh运行

github

git

慢查询

原创 2024-05-11 14:35:52 575 阅读

Valkey（瓦尔基）是目前Redis的开源GA直接替代品

什么是 Valkey（瓦尔基）？根据 https://valkey.io 的解释，Valkey 是一种高性能键值数据存储。它通常与应用程序-数据库堆栈并存，或介于应用程序-数据库堆栈之间，用于缓存和消息队列，甚至可以充当 NoSQL 类型的数据库。Valkey 可作为单个实例或在集群中运行，并提供复制和高可用性选项。安装docker pull valkey/valkey:7.2.5 docker

Redis

数据库

redis

原创 2024-05-08 11:21:24 1042 阅读

LOAD DATA INFILE增加“涡轮增压”，使加载数据文件 (CSV) 变得更快

使用 LOAD DATA INFILE 将任何大型 CSV 文件加载到 MySQL 服务器是一个非常耗时的过程，因为它是单线程的，而且也是单个事务，它无法充分利用到多核CPU的处理能力，已成为瓶颈。现在你可以通过甲骨文的mysqlsh客户端，让其加载数据文件 (CSV) 变得更快！https://cdn.mysql.com//Downloads/MySQL-Shell/mysql-shell-8.

MySQL

字段

CSV

原创 2024-04-29 11:23:36 763 阅读

RollbackTimeCalc函数 - 估算 MySQL 已取消事务的回滚时间

当你<ctrl+c>或者kill掉一个大事务时，你想知道这个事务需要多久才能回滚完，那么你可以利用RollbackTimeCalc函数得到。导入函数：https://github.com/hcymysql/RollbackTimeCalc/blob/main/RollbackTimeCalc.sqlshell> mysql -uroot -p123456 < Rollbac

mysql

回滚

sql

原创 2024-04-28 14:45:32 525 阅读

【BUG重现】让MySQL 8.0 Instant DDL算法在第65次失效

创建一个存储过程：对sbtest1表增加字段c1，然后再删除，反复循环64次操作。当第65次时，再次执行增加字段c1, Instant DDL算法失效，无法秒级增加字段。【BUG重现】存储过程创建DELIMITER // CREATE PROCEDURE Execute_Alterations() BEGIN DECLARE i INT DEFAULT 1; WHILE

sql

存储过程

原创 2024-04-25 15:48:20 314 阅读

MySQL全文索引的插入/更新在事务提交之前不会被处理。

MySQL全文索引的插入/更新在事务提交之前不会被处理。【BUG重现】：表结构：CREATE TABLE tf ( id int NOT NULL AUTO_INCREMENT PRIMARY KEY, title varchar(200) DEFAULT NULL, body text, FULLTEXT KEY title (title, body) WITH

mysql

数据库

MySQL

原创 2024-04-08 21:08:54 224 阅读

把MongoDB的全量数据导入到MySQL里

把MongoDB的全量数据导入到MySQL里借助开源DuckDB - 嵌入式DB的OLAP类型（采用列式存储）充当ETL工具http://duckdb.org/功能概述：- 无需安装，就一个启动文件duckdb- 支持映射MySQL数据库，直接在本地读写MySQL表数据- 支持读取本地json文件- 没有端口号，本地运行=======================================

MySQL

json

mysql

原创 2024-03-27 15:06:08 960 阅读

【小技巧】如何查杀Linux下的僵尸进程？

如何查杀Linux下的僵尸进程？# 人为制造一个僵尸进程(sleep 1 & exec /bin/sleep 10000) &# 找到僵尸进程ps aux | grep Z | grep -v grep# 指定僵尸进程ID，找出其父进程IDps -o ppid= -p [僵尸进程ID]# 或cat /proc/[僵尸进程ID]/stat# kill掉父进程ID，释放僵尸进程

僵尸进程

父进程

原创 2024-02-23 11:18:52 549 阅读

2024年，让MongoDB支持【中文分词】- 全文索引

尽管 MongoDB 现在支持 "高级 "全文解决方案，但只有在使用 Atlas 托管数据时才有效。参考：https://www.mongodb.com/docs/atlas/atlas-search/ https://www.mongodb.com/docs/manual/text-search/ https://www.mongodb.com/docs/manual/r

mongodb

正则表达式

中文分词

原创 2024-02-21 15:54:22 1336 阅读

老旧业务系统不清楚是否有SQL在执行？那你就用strace命令捕获sql

老旧业务系统不清楚是否有SQL在执行？如果你用的云主机，公司也没有DBA，更无法通过mysql_sniffer工具，捕获网卡TCP请求抓包https://github.com/hcymysql/mysql_sniffer--------------------------------------------------------------------------那你就用strace命令捕获sq

mysql

SQL

sql

原创 2024-02-20 14:31:05 266 阅读

Percona版sysbench-tpcc - 模拟真实电商业务场景压力测试工具

Percona版sysbench-tpcc - 模拟真实电商业务场景压力测试工具可以为MySQL/Percona/MariaDB，以及MySQL协议的国产数据库选型，做性能参考。# 安装（依赖sysbench）shell> yum install sysbench -y shell> wget https://github.com/Percona-Lab/sysbench-tpcc/a

mysql

MySQL

lua

原创 2024-02-18 18:13:36 408 阅读

现在你可以在HTML页面里内嵌Python代码，就像PHP一样

现在你可以在HTML页面里内嵌Python代码，就像PHP一样。需要安装吗？开玩笑！你不需要安装任何东西。直接引用下面的css和js就OK了。<head>  <link rel="stylesheet" href="https://pyscript.net/releases/2024.1.3/core.css"

html

Python

.net

原创 2024-02-17 22:35:04 791 阅读

mysqlstat工具版本号: 1.0.14，更新日期：2024-02-16 - 新增“查看当前未提交事务的SQL”

mysqlstat工具版本号: 1.0.14，更新日期：2024-02-16 - 新增“查看当前未提交事务的SQL”最新版下载地址：https://github.com/hcymysql/mysqlstat/releases/tag/mysqlstat_v1.0.14当一个事务长时间未提交，那么这个连接就不能关闭，内存就不释放。如果并发一大，导致数据库连接数增多，就会对性能产生影响。例如执行一条S

mysql

SQL

数据库连接

原创 2024-02-16 14:07:05 400 阅读

通过MongoDB的collection-XXX-wt数据文件，如何得到具体的集合名字？

通过MongoDB的collection-XXX-wt数据文件，如何得到具体的集合名字？MongoDB的数据文件和MySQL不一样，我们进入数据目录，你会发现如下：[root@centos7-1 collection]# ll -h 总用量 36K -rw------- 1 root root 36K 2月 14 22:05 39--6849722993611617594.wt [root@ce

数据文件

centos

数据目录

原创 2024-02-14 23:02:11 688 阅读

MongoDB可终止查询过慢的SQL

MongoDB可终止查询过慢的SQL开发在写项目调试时，可以加上maxTimeMS（单位毫秒），当超过指定的时间，MongoDB服务端会自动终止该查询。避免慢SQL消耗更多的CPU，从而影响业务。使用例子：> db.t1.find({"name":"赵七"}).maxTimeMS(1000).pretty()当执行时间超过1秒钟，自动kill掉该查询。

SQL

执行时间

使用例子

原创 2024-02-11 22:42:14 846 阅读

产品经理的春天 - DuckDB 数据库，了解一下

产品经理的春天 - DuckDB 数据库http://duckdb.org/- 无需安装，再也不用大数据那边的平台了。- 零基础，会SQL就能玩。映射MySQL数据库，直接在本地查询MySQL数据支持跨库Join跟DBA要个账号就完了。#启动DUCKDB#duckdb me.duckdb映射MySQL数据库：ATTACH 'host=127.0.0.1 user=admin password=12

数据库

MySQL

mysql

原创 2024-02-07 11:12:39 1430 阅读

【Clickhouse 映射 MongoDB】- 用标准SQL查询数据（不支持写入）

【Clickhouse 映射 MongoDB】- 用标准SQL查询数据（不支持写入）MongoDB上创建一个只读账号use yourDB db.createUser({user:"rd",pwd:"123456",roles:[{role:"read",db:"test"}]})Clickhouse创建映射表CREATE TABLE t1 \ ( \ id UInt64, \

SQL

表名

mongodb

原创 2024-02-05 11:03:35 548 阅读

【MySQL 8.0新特性】如何把热点表迁移到SSD硬盘里？

【MySQL 8.0新特性】如何把热点表迁移到SSD硬盘里？假设您的公司有钱购买SSD，现在需要把热点表迁移到SSD磁盘里。实施步骤如下：注：SSD磁盘挂载目录是：/data2/newssd1) 关闭mysqld服务进程2) vim my.cnf，增加参数[mysqld]innodb_directories = /data2/newssd3) 移动热点表.ibd文件至/data2/newssd目

mysql

服务进程

MySQL

原创 2024-02-02 18:05:26 495 阅读 1点赞

还在苦于为数据脱敏探讨解决方案？

还在苦于为数据脱敏探讨解决方案？只需两步轻松实现。1、卸载MySQL 5.7/8.0社区版，用Percona 5.7/8.0代替2、安装data_masking.so插件（这个插件是MySQL企业版的功能，Percona已实现开源）案例：适用于手机号，银行卡，身份证等敏感数据。使用mysql> INSTALL PLUGIN data_masking SONAME 'data_masking.

mysql

MySQL

企业版

原创 2024-02-02 13:55:24 370 阅读

sqlai_helper工具支持SQL改写，合并LLM模型接口

sqlai_helper工具版本号: 2.1.1，更新日期：2024-01-31 <-> 支持SQL改写，合并LLM模型接口https://github.com/hcymysql/sql_helper/releases/tag/sqlai_helper#cat test.yamlhost: 127.0.0.1port: 3306user: adminpasswd: 123456data

sql

mysql

github

原创 2024-01-31 16:26:09 469 阅读

欢迎

首页
1
2
3
4
5
6
7
8
共311条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

贺春旸的技术博客

一招实现 - Docker 断点续传

使用 perf 和 Flame Graphs 分析 MySQL

MariaDB11.4新特性：如何处理主从复制“致命错误 1236”

pt-osc工具 - 支持对部分数据的表结构变更

Docker镜像被下架之解决方案2

Docker镜像被下架之解决方案

MariaDB 11.4 中的变化和改进

命令行工具Dolphie（多尔菲）- 实时监控 MySQL 数据库运行情况

Spirit精神小伙 - 一款基于gh-ost原理的在线DDL工具

现在InnoDB支持对某一列（字段）进行压缩

Hatchet（斧头）是一款功能强大的 MongoDB JSON 日志分析工具

Valkey（瓦尔基）是目前Redis的开源GA直接替代品

LOAD DATA INFILE增加“涡轮增压”，使加载数据文件 (CSV) 变得更快

RollbackTimeCalc函数 - 估算 MySQL 已取消事务的回滚时间

【BUG重现】让MySQL 8.0 Instant DDL算法在第65次失效

MySQL全文索引的插入/更新在事务提交之前不会被处理。

把MongoDB的全量数据导入到MySQL里

【小技巧】如何查杀Linux下的僵尸进程？

2024年，让MongoDB支持【中文分词】- 全文索引

老旧业务系统不清楚是否有SQL在执行？那你就用strace命令捕获sql

Percona版sysbench-tpcc - 模拟真实电商业务场景压力测试工具

现在你可以在HTML页面里内嵌Python代码，就像PHP一样

mysqlstat工具版本号: 1.0.14，更新日期：2024-02-16 - 新增“查看当前未提交事务的SQL”

通过MongoDB的collection-XXX-wt数据文件，如何得到具体的集合名字？

MongoDB可终止查询过慢的SQL

产品经理的春天 - DuckDB 数据库，了解一下

【Clickhouse 映射 MongoDB】- 用标准SQL查询数据（不支持写入）

【MySQL 8.0新特性】如何把热点表迁移到SSD硬盘里？

还在苦于为数据脱敏探讨解决方案？

sqlai_helper工具支持SQL改写，合并LLM模型接口

欢迎