hcymysql的博客_MySQL管理(3)

在Haproxy负载均衡模式下，P e rcona 8.0 可以得到后端Java/PHP应用程序的真实IP。

在Haproxy负载均衡模式下，P e rcona8.0可以得到后端Java/PHP应用程序的真实IP。架构：Java -> Haproxy -> MySQL Slave（对从库做负载均衡读）在MySQL 8.0里，执行show processlist或者查看慢日志slow.log，只能查看到Haproxy的代理IP，无法得到真实应用的IP地址。这对于排查线上慢SQL，给研发带来了难度

MySQL

IP

重启

原创 2024-01-19 08:58:45 218 阅读

修改MySQL 8.0的版本信息和登录信息，改成你自己的。

修改MySQL 8.0的版本信息和登录信息，改成你自己的。编译环境准备# yum install make -y# yum -y install centos-release-scl# yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils# scl enable devtoolset-9 bash# e

mysql

vim

c++

原创 2024-01-17 15:09:29 497 阅读

mysql_native_password 身份验证插件在未来版本中移除

自 MySQL 8.0.34 起，mysql_native_password 身份验证插件已被弃用，并可能在 MySQL 的未来版本中移除。移除意味着：Java jdbc配置文件以及后端大数据的账号密码，必须更改为caching_sha2_password认证模式，否则无法连接MySQL数据库。如果业务系统今后升级MySQL 8.0，这块需要加以适配。如果业务程序不方便更改认证模式，可以选择Mar

MySQL

认证模式

mysql

原创 2024-01-10 10:43:59 1464 阅读

2038年MySQL5.7和MariaDB 10.6自动终止服务进程。MySQL 8.0.31未受影响。

2038年MySQL5.7和MariaDB 10.6自动终止服务进程。MySQL 8.0.31未受影响。14年内，必须升级MySQL5.7数据库，重要的事情说三遍。见下面截图[Warning] Current time has got past year 2038. Validating current time with 5 iterations before initiating the no

MySQL

数据库

服务进程

原创 2024-01-04 23:06:08 769 阅读

MariaDB VS MySQL 2023年技术总结

专业评测报告来源于Percona，这里摘要关键部分展示二者区别。https://www.percona.com/blog/mysql-vs-mariadb-reality-check/MariaDB vs. MySQL vs Percona Server for MySQL：一般比较MariaDB、MySQL 和 Percona Server for MySQL 都是非常流行的关系数据库管理系统。

MySQL

Server

Enterprise

原创 2023-12-29 15:19:28 879 阅读

MariaDB Columnstore 数仓OLAP使用注意事项

MariaDB Columnstore引擎使用注意事项一、字段属性限制1、varchar最大80002、不支持bit类型3、不支持Reserved keywords保留关键字user、comment、match、key、update、status作为表名、字段名或用户定义的变量、函数或存储过程的名称。4、不支持zerofill5、不支持enum枚举类型6、comment不能携带''引号create

字段

主键

关联查询

原创 2023-12-21 10:44:44 450 阅读

MariaDB Columnstore 数仓OLAP支持一键部署

MariaDB ColumnStore利用分布式列式存储和大规模并行处理（MPP）共享无架构扩展了MariaDB企业服务器，将其转变为独立或分布式数据仓库，用于复杂SQL查询和高级分析，而无需创建任何索引。为了简化安装过程，让用户享受更好的产品体验，MariaDB提供yum源方式部署，用户只需几条命令，即可轻松部署OLAP MPP数据仓库环境。shell> wget https:/

数据仓库

安装过程

企业服务

原创 2023-12-20 11:15:04 879 阅读

面试题：切库后MySQL为什么会变慢？

请听题：“MySQL是一主两从架构，现在接到IAAS部门反馈数据盘坏了一块，计划凌晨去机房更换硬盘，DBA说保险起见，还是跟业务对接一下，切数据库做一次割接更为稳妥。JAVA架构师采纳了DBA的意见，问什么时候切库割接，DBA说晚上22点吧，在家弄就行。于是晚上22点，DBA跟JAVA师说，我现在要切库，大约10几秒完事。结果很顺利，VIP漂移成功DBA查看应用连接已经正常在新的主库上查询。但仅仅

JAVA

数据

数据库

原创 2023-12-19 10:03:26 725 阅读

mysql_repl - 轻便型的MySQL binlog replication tool

mysql_repl - 轻便型的MySQL binlog replication toolhttps://github.com/hcymysql/mysql_repl/使用场景：从MySQL8.0实时解析binlog并复制到MariaDB，适用于将MySQL8.0迁移至MariaDB不熟悉MySQL主从复制搭建的新手使用原理：把自己伪装成slave，从源master解析binlog并入库targ

mysql

MySQL

断点续传

原创 2023-12-14 11:23:55 159 阅读

100G大表Alter更改表结构技术方案探讨

JAVA研发需求：需要对A表的XXX字段扩容至varchar(500)目前的现状：线上A表有100G+的数据，如果直接modify XXX varchar(500)，会锁全表，即使用pt-osc工具凌晨搞，预估一宿加不完，并且从库会出现大面积延迟，读取的数据将不准确。https://dev.mysql.com/doc/refman/8.0/en/innodb-online-ddl-operatio

数据

JAVA

mysql

原创 2023-12-06 21:08:26 454 阅读

一招破“Too many connections”，让MySQL死灰复燃

一招破“ERROR 1040 (HY000): Too many connections”shell> mysql -S /tmp/mysql_mysql57_1.sock ERROR 1040 (HY000): Too many connections解决方案1、得到mysqld进程号shell> ps aux | grep /tmp/mysql_mysql57_1.sock | g

mysql

MySQL

解决方案

原创 2023-12-04 14:15:00 273 阅读

★贡献：ThinkSQL 类似 ThinkPHP 的数据库引擎，集成sql_helper

★贡献：ThinkSQL 类似 ThinkPHP 的数据库引擎，集成sql_helper(https://github.com/hcymysql/sql_helper) ※ThinkSQL地址： https://pypi.org/project/think-sql/Project description ThinkSQL 类似 ThinkPHP 的数据库引擎 Install pip inst

sql

数据库引擎

github

原创 2023-12-01 10:22:19 141 阅读

TenDB Cluster，一个基于MariaDB Spider的分布式数据库解决方案

官方视频分享：https://mariadb.org/cloud-minifest2021/tendb-cluster/会议摘要Spider存储引擎和我们的TenDB Cluster解决方案简介1.1 谈谈MariaDB和Spider，简单介绍一下Spider的特点。1.2 介绍我们的TenDB集群解决方案（基于TSpider——腾讯游戏的Spider SE分支）。内容包括TenDB Cluste

ide

解决方案

mysql

原创 2023-11-28 08:58:25 359 阅读

php访问MySQL 8.0 utf8mb4报错的解决方案

由于MySQL 8.0默认字符集是 utf8mb4，PHP访问会报错，报错信息如下所示：PHP Warning: mysqli_connect(): Server sent charset (255) unknown to the client. Please, report to the developers in /root/php_utf8mb4/conn.php on line

php

mysql

Server

原创 2023-11-26 22:56:32 1383 阅读

MySQL 8.0.35目前仍不支持ALTER TABLE ...NOWAIT功能

首先明确一个问题，Alter更改表结构，会加什么锁？答：MDL（元数据表锁），就如同我们打开一个EXCEL文档时，用户A正在翻阅，此时用户B要增加一列。那么用户B要等待用户A翻阅完，才可以增加，否则用户A查询的数据就会不一致，不符合ACID事务四大特性。案例会话一会话二会话三begin;select sleep(1800),id from sbtest1 where id=1;注：休眠1800秒

mysql

sql

元数据

原创 2023-11-23 10:58:25 274 阅读

MySQL 8.0 目前仍旧没有解决timestamp时间戳溢出的问题

在MySQL中，TIMESTAMP列的默认范围是从'1970-01-01 00:00:01'到'2038-01-19 03:14:07'。如果插入的时间值超出了该范围，MySQL会将其视为无效值，并将其设置为'0000-00-00 00:00:00'。在MySQL 8.0.35最新版本中，timestamp时间戳溢出的问题目前仍旧没有解决。如下图所示：为了解决这个问题，只能更改表结构，将updat

MySQL

新版本

时间戳

原创 2023-11-16 14:22:58 540 阅读

mysql_sniffer 是一个基于 MySQL 协议的抓包工具，用来实时抓取 MySQL 服务端的请求，并格式化输出，输出内容包括访问时间、来源 IP、执行的SQL语句。

mysql_sniffer 是一个基于 MySQL 协议的抓包工具，用来实时抓取 MySQL 服务端的请求，并格式化输出，输出内容包括访问时间、来源 IP、执行的SQL语句。在进行MySQL 8.0升级时，了解新版本对SQL语法的改变和新增的功能是非常重要的。通过使用mysql_sniffer，DBA可以在升级之前对现有的SQL语句进行抓取和分析，以确保在新版本中能够正常运行。有一些已知SQL语法

mysql

MySQL

SQL

原创 2023-10-25 15:04:14 281 阅读

MySQL命令行监控工具 - mysqlstat 介绍

mysqlstat 是一个命令行工具，功能如下：实时监控mysql服务器的QPS、TPS、网络带宽指标查看执行次数最频繁的前N条SQL语句查看访问次数最频繁的前N张表文件ibd查看当前锁阻塞的SQL查看死锁信息查看重复或冗余的索引查看应用端IP连接数总和统计库里每个表的大小MySQL命令行监控工具 - mysqlstat https://github.com/hcymysql/mysqlstat

mysql

IP

SQL

原创 2023-10-10 21:51:52 353 阅读 1评论

MySQL 8.0 MGR（组复制）高可用VIP故障转移脚本

MySQL 8.0 MGR（组复制）高可用VIP故障转移脚本简介：MGR（组复制）官方推荐用MySQL router中间件去做MGR高可用故障转移，但其多过了一层网络，性能会下降，并且需要额外维护一套中间件，运维成本过高，于是写了一个类似MHA的master_ip_failover脚本，实现VIP切换。1）脚本会自动设置当前Primary和备选Primary参数group_replication_

php

MySQL

配置文件

mgr

组复制

原创 2023-10-08 10:16:42 525 阅读 1收藏

pt-slave-repair 自动修复MySQL主从同步复制的报错数据

pt-slave-repair介绍MySQL主从复制作为一种常见的数据同步方式，有时候会出现同步错误导致同步中断的情况。手动修复这些同步错误通常需要耗费时间和精力，并且对于不熟悉MySQL复制的人来说比较困难。pt-slave-repair是对原有pt-slave-restart工具的补充，它提供自动修复MySQL主从同步复制的报错数据，以及恢复中断的sql thread复制线程。https://

主从同步

数据

MySQL

原创 2023-08-17 16:31:13 439 阅读 29评论

MySQL全量数据迁移至ClickHouse步骤

MySQL全量数据迁移至ClickHouse步骤：a) /usr/bin/mydumper -h 192.168.192.180 -u hechunyang -p wdhcy159753 -P 3306 --no-schemas -t 12 --csv -v 3 --regex '^hcy.user$' -o ./注：需要mydumper 0.12.3-3版本支持导出CSV格式b) clickho

mysql

MySQL

CSV

原创 2023-06-15 15:18:28 586 阅读

MySQL表结构转换为ClickHouse表结构

MySQL表结构转换为ClickHouse表结构https://github.com/hcymysql/binlog_parse_sql/blob/main/mysql_to_clickhose_schema.pyhttps://github.com/hcymysql/binlog_parse_sql/blob/main/mysql_to_clickhose_schema_test.py（MySQ

表结构

mysql

MySQL

原创 2023-06-12 15:29:17 889 阅读

binlog_parse_clickhouse.py（ETL抽数据工具）将MySQL8.0迁移至ClickHouse

binlog_parse_clickhouse.py（ETL抽数据工具）将MySQL8.0迁移至ClickHouse原理：将解析 binlog 和执行 SQL 语句两个过程由两个线程来执行。其中，解析 binlog 的线程每次解析完一个事件后通过队列将 SQL 语句传给 SQL 执行线程， SQL 执行线程从队列中取出 SQL 语句并按顺序依次执行，这样就保证了 SQL 语句的串行执行。https

SQL

python

解决方法

原创 2023-06-09 14:49:58 155 阅读

Binlog分析工具-binlog_analysis.py

binlog_analysisBinlog分析工具-binlog_analysis.pyhttps://github.com/hcymysql/binlog_analysisshell> pip3 install mysql-replication -i "http://mirrors.aliyun.com/pypi/simple" --trusted-host "mirrors.aliyu

mysql

github

python

原创 2023-05-23 17:59:12 523 阅读

MySQL 8.0实时同步复制MariaDB 10.5--Binlog解析脚本

binlog_parse_sqlhttps://github.com/hcymysql/binlog_parse_sql将 binlog 解析为 SQL 并将其存入数据库shell> pip3 install pymysql mysql-replication -i "http://mirrors.aliyun.com/pypi/simple" --trusted-host "mirr

sql

mysql

数据库

原创 2023-05-22 16:44:55 402 阅读

sqlops新增pt-osc功能，研发可以在网页里执行大表Alter更改表结构操作。

sqlops新增pt-osc功能，触发条件：1）当行记录小于150万行，研发可以直接在网页里执行Alter table操作。2）当行记录大于150万行并且小于3000行，平台将调用pt-online-schema-change开源工具在线执行Alter表结构变更。3）当行记录大于3000行时，提示：Alter更改表结构会引起表锁，影响业务。由于该表过大，平台不支持自助上线。https://gi

sql

表结构

mysql

原创 2023-01-08 16:55:42 342 阅读

MySQL 8.0 还能为你自动创建主键？！

MySQL 8.0.31版本引入了一个参数sql_generate_invisible_primary_key，开启这个参数，会在建表时，检查表中是否有主键，如果没有主键，则会自动创建。该参数非常实用，减少了DBA对sql语句表结构的审计。自动创建主键l 参数名称：sql_generate_invisible_primary_keyl 作用范围：Glob

主键

sql

MySQL

原创 2022-12-19 15:55:07 2231 阅读

MySQL 8.0实战运维进阶课程视频

课程大纲-MySQL运维进阶指南【每周定期上传课程】详细介绍： https://edu.51cto.com/course/31375.html你将会学到：掌握当前流行的数据库架构和数据库运维平台适合人群：主要面向使用MySQ

mysql

数据库

高可用

置顶原创 2022-06-27 13:59:39 988 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

贺春旸的技术博客

在Haproxy负载均衡模式下，P e rcona 8.0 可以得到后端Java/PHP应用程序的真实IP。

修改MySQL 8.0的版本信息和登录信息，改成你自己的。

mysql_native_password 身份验证插件在未来版本中移除

2038年MySQL5.7和MariaDB 10.6自动终止服务进程。MySQL 8.0.31未受影响。

MariaDB VS MySQL 2023年技术总结

MariaDB Columnstore 数仓OLAP使用注意事项

MariaDB Columnstore 数仓OLAP支持一键部署

面试题：切库后MySQL为什么会变慢？

mysql_repl - 轻便型的MySQL binlog replication tool

100G大表Alter更改表结构技术方案探讨

一招破“Too many connections”，让MySQL死灰复燃

推荐一个好用的MySQL命令行工具mycli

★贡献：ThinkSQL 类似 ThinkPHP 的数据库引擎，集成sql_helper

TenDB Cluster，一个基于MariaDB Spider的分布式数据库解决方案

php访问MySQL 8.0 utf8mb4报错的解决方案

MySQL 8.0.35目前仍不支持ALTER TABLE ...NOWAIT功能

MySQL 8.0 目前仍旧没有解决timestamp时间戳溢出的问题

推荐一款轻便型MySQL数据库管理工具Adminer

mysql_sniffer 是一个基于 MySQL 协议的抓包工具，用来实时抓取 MySQL 服务端的请求，并格式化输出，输出内容包括访问时间、来源 IP、执行的SQL语句。

MySQL命令行监控工具 - mysqlstat 介绍

MySQL 8.0 MGR（组复制）高可用VIP故障转移脚本

pt-slave-repair 自动修复MySQL主从同步复制的报错数据

MySQL全量数据迁移至ClickHouse步骤

MySQL表结构转换为ClickHouse表结构

binlog_parse_clickhouse.py（ETL抽数据工具）将MySQL8.0迁移至ClickHouse

Binlog分析工具-binlog_analysis.py

MySQL 8.0实时同步复制MariaDB 10.5--Binlog解析脚本

sqlops新增pt-osc功能，研发可以在网页里执行大表Alter更改表结构操作。

MySQL 8.0 还能为你自动创建主键？！

MySQL 8.0实战运维进阶课程视频

欢迎