一、gh-ost介绍作为MySQL DBA都会面临这样一个问题，就是当对大表（10G以上）进行DDL变更时会有长时间锁表问题，影响业务可持续性。目前解决这个问题的方案一个较为通用的使用Percona公司开源的pt-osc工具，还有一个就是github基于go语言开发的gh-ost。gh-ost和pt-osc类似都能对大表进行在线DDL，在表格存在高并发写的情况下由于gh-ost是模拟从库
# MySQL DDL 导致表锁
## 前言
MySQL是一个非常流行的关系型数据库管理系统，被广泛用于Web应用程序的开发和数据存储。在使用MySQL时，我们经常会遇到表锁的问题，尤其是在执行DDL（数据定义语言）操作时。本文将介绍DDL操作导致表锁的原因，并提供一些解决方案来减轻或避免这个问题。
## 什么是DDL操作？
DDL操作是用于创建、修改和删除数据库对象的语句，例如创建表、修
原创
2023-07-20 12:15:16
355阅读
# MySQL 大表 DDL 的探索
在现代数据库管理中，MySQL 作为一个流行的关系型数据库管理系统，被广泛用于处理大量数据。对于大表的设计，DDL（数据定义语言）起到了至关重要的作用。本文将探索 MySQL 大表的 DDL，包括创建表的基本语法、注意事项及性能优化等方面，并通过代码示例帮助读者更好理解。
## 大表设计的重要性
在设计大型表时，首先需要明确数据模型，数据之间的关系以及未
MySQL InnoDB存储引擎的内存及其管理作为一个支持事物的的存储引擎，InnoDB存储引擎有着极其广泛的应用，因为事物的复杂性，也导致了关系型数据库的内存管理的复杂性，本文就是来研究一下InnoDB存储引擎的内存的使用，以及其管理的方式。InnoDB的内存可以分为三大块，buffer pool，redo log_buffer和额外内存池，它们的关系如下图所示：从上图中我们可以看出，InnoD
转载
2023-07-05 23:39:12
115阅读
mysql DDL/DML/DQL操作及约束完整性1、SQL 操作分类2、DDL 数据定义语言2.1、数据库操作2.1.1、创建数据库：create2.1.2、查看所有的数据库：show2.1.3、切换到某一个数据库：use2.1.4、修改数据库编码格式：alter2.1.5、销毁数据库：drop2.2、数据表操作2.2.1、创建数据表：create2.2.2、查看当前数据库下所有数据表：sho
转载
2023-07-15 00:06:31
117阅读
线程数突增！领导说再这么写就gc掉我前言大家好，我是魔性的茶叶，今天给大家分享一个线上问题引出的一次思考，过程比较长，但是挺有意思。今天上班把需求写完，出于学习（摸鱼）的心理上skywalking看看，突然发现我们的一个应用，应用内线程数超过900条，接近1000条，但是cpu并没有高涨，内存也不算高峰。但是敏锐的我还是立刻意识到这个应用有不妥，因为线程数太多了，不符合我们一个正常健康的应用数量。
（1）背景引入 今天跟大家聊一个互联网大厂的Java面试题：使用无界队列的线程池会导致内存飙升吗？ 因为在面互联网大厂的时候，一定会问并发，问并发的时候一定会问到线程池，问到线程池一定会问构造线程池的一些参数的含义。 然后，有一些面试官会就线程池的具体场景，问一些可能会遇到的问题。 所以，在这里就可能有上述那样一个面试中的问题，算是Java面试里相对来说高阶
转载
2024-07-20 15:18:11
126阅读
一、背景丁奇大佬推荐的一个在线DDL工具，使用Go语言编写。gh-ost是一款无需添加触发器、可测试、可暂停、动态控制（再配置）、可审计的MySQL结构在线迁移工具。二、原理详解2.1 架构模式a 连接从库，在主库做迁移（默认）在主库上读写，创建_xxx_gho（目标表）、_xxx_ghc（记录 gh-ost 执行过程的表）。从库上读取二进制日志事件，将变更应用到主库上的_xxx_gho表；在主库
转载
2024-06-19 22:23:51
61阅读
# MySQL 大表 DDL 工具
在数据库管理系统中，DDL（Data Definition Language）用于定义数据结构，包括创建、修改和删除数据库、表、视图等对象。对于大表的处理，DDL工具是非常重要的，它能够帮助我们更高效地管理和维护大型数据库表结构。
## 什么是 MySQL 大表 DDL 工具
MySQL 大表DDL工具是一种用于处理大型数据库表结构的工具，它可以帮助数据库
原创
2024-03-15 07:13:01
57阅读
Mysql Innodb在线DDL原理昨晚在生产环境执行DDL时，数据库发现出现大量锁等待，数据库链接一直释放不了，CPU升高，数据库差一点宕机，业务应用基本不可用，吓尿。Waiting for table metadata lock下面，结合mysql官方文档，仔细研究一下mysql的在线ddl功能。MySQL :: MySQL 5.7 Reference Manual :: 14.13 Inn
转载
2023-11-03 00:36:17
33阅读
如题，今天厂商伙伴们碰到的问题，老大给了个大致的方向，让研究研究目前在测试环境下确认方案还可以，有两套方案，一套比较麻烦，但是能保证无缝隙进行DDL操作，线上服务正常运行另一套方案会存在操作的3秒期间出现电话打入的风险，导致电话进来不弹屏网上有成熟的方案：https://www.percona.com/doc/percona-toolkit/2.1/pt-online-schema-change.
转载
2023-11-11 17:50:19
70阅读
1、MySQL各版本，对于DDL的处理方式是不同的，主要有三种： ①：Copy Table方式： 这是InnoDB最早支持的方式。顾名思义，通过临时表拷贝的方式实现的。新建一个带有新结构的临时表，将原表数据全部拷贝到临 时表，然后Rename，完成创建
转载
2023-11-24 23:08:46
55阅读
对于低效的查询，我们发现通过以下两个步骤分析很有效： （1）确认应用程序是否在检索大量超过需要的数据。这通常意味着访问了太多的行，但有时候也可能是访问了太多的行 （2）确认MySQL服务器层是否在分析大量超过需要的数据行 优化查询的方法如下：（1）是否向数据库请求了不需要的数据 对于查询数据是，可能应用程序会查询了太多不需要的数据，这会造成两方面的缺点 ①会给My
转载
2024-10-25 14:15:21
198阅读
# 如何实现“java日志打印导致内存飙升”
## 简介
作为一名经验丰富的开发者，我们经常会遇到一些开发中的常见问题，其中之一就是日志打印导致内存飙升。在本文中，我将指导一位刚入行的小白如何去解决这个问题。首先，我将介绍整个问题的流程，然后详细说明每一步需要做什么，包括使用的代码和代码注释。
### 流程图
```mermaid
journey
title 整个问题的流程
刚
原创
2024-07-01 04:44:16
240阅读
在讨论“java中锁表会导致程序内存飙升吗”的问题之前，首先要明确这个问题的背景和严重性。在实际开发中，数据库的锁表操作可能导致程序的内存使用飞速增加，从而影响系统的整体性能。
### 背景定位
#### 问题场景
在某个大型电商系统中，由于高并发业务请求，为保证数据一致性，开发团队在关键表上使用了锁表操作。经过一段时间运行，运维团队发现应用的内存使用量异常增加，导致整个应用的响应变慢。
#
在本文中，我将向您展示如何使用新版本的MySQL(5.7+)，以及如何更容易地解决 MySQL内存分配中出现的问题。 首先，MySQL由于内存不足而崩溃的主要情况有3种：MySQL试图分配比可用内存更多的内存，因为用户在设置中设定的值过高。例如：您没有正确设置innodb_buffer_pool_size，这种问题很容易修复。服务器上运行有其他进程在分配RAM。例如：它可以是某种应用程序(Java
转载
2023-06-02 14:27:38
241阅读
MySQL在线大表DDL操作的方法：1、主从架构轮询修改 a、主库会话级别的记录binglog的参数关闭 b、500\502错误异常捕捉 c、检查备库的second behind master是否有延迟 d、varchar有页分裂的情况，尽量减少varchar的长度2、在线工具online-schema-change a、超过1000w行，速度会变慢（半小时左右） 参考链接：http:
转载
2018-03-05 13:33:51
1105阅读
MySQL在线大表DDL操作 在线大表DDL操作的方法： 1、主从架构轮询修改 需要注意： a、主库会话级别的记录binglog的参数关闭 b、500\502错误异常捕捉 c、检查备库的second behind master是否有延迟 d、varchar有页分裂的情况，尽量减少varchar的长度 2、在线工具online-s...
转载
2021-08-09 16:28:25
151阅读
MySQL在线大表DDL操作 在线大表DDL操作的方法： 1、主从架构轮询修改 需要注意： a、主库会话级别的记录binglog的参数关闭 b、500\502错误异常捕捉 c、检查备库的second behind master是否有延迟 d、varchar有页分裂的情况，尽量减少varchar的长度 2、在线工具online-s...
转载
2022-04-11 16:33:50
325阅读
最近在研究如何给MySQL数据库的大表在线添加索引，查询了下资料，MySQL提供了online ddl功能，可以不锁表的执行DDL操作，网络上有些文章有讲解，但是都没有做基准测试。今天正好有空，就做个测试看看online DDL的实际效果。online DDL简介online DDL功能为表结构的更改和并发DML提供支持。此功能的优点包括：几乎不影响线上DML语句的效率。使用LOCK子句在DDL操
转载
2023-11-02 07:59:38
77阅读
