TiDB DM踩坑实践总结

一、背景在早期从MySQL到TiDB实施同步操作过程中,我们大多数用的是mydumper+loader进行整体全量备份的导出,之后拿到meta信息后,通过syncer实现增量同步,整体操作起来比较麻烦,涉及的配置文件较多,其基本原理就是Syncer通过把自己注册为一个MySQLSlave的方式,和MySQLMaster进行通信,然后不断读取MySQLBinlog,进行BinlogEvent解析,规

原创 推荐 点赞2 阅读10000+ 收藏1 评论2 2020-11-11

TiDB大规模节点下线实践

一、背景集群容量不够了,这些年各大公司都在做机器资源利用率的事情,我司也不例外,好不容易申请了5台机器加入集群扩容,balance的正欢乐呢,RegionBalanceRatio经过了1天半的时间刚刚降到93%,结果接到通知,5台机器的交换机升级,需重启机器,网卡要做bond。集群配置集群版本:v3.0.5集群配置:普通SSD磁盘,128G内存,40核cputidb21TiDB/PD/pump/p

原创 推荐 点赞4 阅读7197 收藏0 评论0 2020-09-24

TiDB集群qps抖动后续之gc失效

本文带您重点理解GC原理,以及gc引起的磁盘不回收故障分析总结

原创 推荐 点赞3 阅读6687 收藏2 评论0 2020-08-11

insert带来的TiDB集群hang死血案

insert带来的TiDB集群hang死血案

原创 推荐 点赞2 阅读8859 收藏1 评论0 2020-07-09

一篇文章带你玩转TiDB灾难恢复

一篇文章带你玩转TiDB灾难恢复一、背景`高可用是TiDB的另一大特点,TiDB/TiKV/PD这三个组件都能容忍部分实例失效,不影响整个集群的可用性。下面分别说明这三个组件的可用性、单个实例失效后的后果以及如何恢复。TiDBTiDB是无状态的,推荐至少部署两个实例,前端通过负载均衡组件对外提供服务。当单个实例失效时,会影响正在这个实例上进行的Session,从应用的角度看,会出现单次请求失败的情

原创 推荐 点赞1 阅读7807 收藏0 评论1 2020-05-11

TiDB在360的落地及实战干货

TiDB 在 360的落地及实战干货分享,全网最全DM实战教学

原创 推荐 点赞7 阅读10000+ 收藏3 评论3 2020-03-09

揪出MySQL磁盘消耗迅猛的真凶

当一张单表10亿数据量的表放在你面前,你将面临着什么?

原创 推荐 点赞36 阅读10000+ 收藏12 评论13 2018-07-03

一条命令搞垮MongoDB实例

一条命令搞垮MongoDB实例

原创 推荐 点赞12 阅读10000+ 收藏1 评论4 2018-05-07

揪出MySQL延迟上千秒的元凶

引起MySQL延迟的问题有多种,本文中的案例是由于binlog格式为row引起,但如果您不清楚什么情况下MIXED会转为ROW格式,一定要看上一看

原创 推荐 点赞30 阅读10000+ 收藏13 评论12 2018-04-03

3分钟掌握MongoDB中的regex几种用法

一篇文章掌握MongoDB regex的基本用法

原创 推荐 点赞8 阅读10000+ 收藏1 评论2 2018-02-09

避免MySQL替换逻辑SQL的坑爹操作

replace into和insert into on duplicate key update区别是什么,有哪些坑?

原创 推荐 点赞17 阅读10000+ 收藏5 评论8 2017-12-11

3分钟看完MongoDB3.6新特性

3分钟看完MongoDB3.6新特性

原创 推荐 点赞14 阅读10000+ 收藏3 评论1 2017-12-05

3分钟完成MongoDB2.6升级3.0

3分钟完成MongoDB2.6升级3.0前言Part1:写在最前自从3.0版本起,MongoDB支持了WT存储引擎,这个引擎相对老的MMAPv1存储引擎来讲,具有更高的压缩比,且支持文档级并发控制。也正因为WT的优良特性,在MongoDB3.2版本起,WT存储引擎作为了默认存储引擎。本文将简述2.6升级3.0的过程和注意事项实战Part1:建议和清单限制要升级到3.0版本,首先现有集群必须是2.6

原创 推荐 点赞4 阅读10000+ 收藏13 评论5 2017-11-02

MySQL危险而诡异的update操作和惊魂5分钟

MySQL危险而诡异的update操作和惊魂5分钟简介Part1:写在最前上班正忙的不可开交呢,一个消息过来,得知研发人员误操作数据库了....不带where条件,整表更新Orz,还让不让人好好活了,心中一万只XXX啊~无奈,分清事情的轻重,优先处理这起事故。在简单沟通后,了解到事故的原因是研发人员使用update忘记带where条件。这本身没什么诡异的,诡异的是在决定要不要进行恢复的时候,笔者稍

原创 推荐 点赞14 阅读10000+ 收藏4 评论13 2017-09-21

MongoDB Hot Backup 测试及痛点

Percona MongoDB Hot Backup 测试及痛点前言Part1:写在最前Percona MongoDB 支持Hot Backup,解决了MongoDB官方版本只能使用mongodump的情况。mongodump在小库中还好,量上来后,备份恢复都是痛苦的。本文就MongoDB hot backup 备份中的一个bug进行复现和解决。实战Part1:限制在Percona MongoDB

原创 推荐 点赞9 阅读10000+ 收藏3 评论1 2017-07-18

MySQL令人头疼的Aborted告警案例分析

在MySQL的error log中,我们会经常性看到一些各类的Aborted connection错误,本文中会针对这类错误进行一个初步分析,并了解一个问题产生后的基本排查思路和方法。掌握这种方法是至关重要的,而不是出现问题了,去猜,去试。数据库出现问题的时候需要DBA在短时间内快速解决问题,因此一个好与坏的DBA,区别也在于此。

原创 推荐 点赞10 阅读10000+ 收藏3 评论15 2017-06-27

MongoDB慢日志查询

MongoDB system.profile前言Part1:写在最前    说到MongoDB的慢日志分析,就不得不提到profile分析器,profile分析器将记录的慢日志写到system.profile集合下,这个集合是一个固定集合。我们可以通过对这个集合的查询,来了解当前的慢日志,进而对数据库进行优化。Part2:整体环境MongoDB 3

原创 推荐 点赞3 阅读10000+ 收藏2 评论4 2017-03-23

SQLAdvisor美团SQL索引优化建议工具

SQLAdvisor美团SQL索引优化建议工具前言Part1:写在最前SQLAdvisor是美团开源的一款SQL索引优化建议工具,是由美团点评公司技术工程部DBA团队(北京)开发维护的一个分析SQL给出索引优化建议的工具。它基于MySQL原生态词法解析,结合分析SQL中的where条件、聚合条件、多表Join关系 给出索引优化建议。目前SQLAdvisor在美团点评内部广泛应用,公司内部对SQLA

原创 推荐 点赞2 阅读8519 收藏3 评论2 2017-03-22

MongoDB unique index

MongoDB unique index实战Part1:写在最前MongoDB的 unique index索引这里有个注意事项,主要体现在对NULL值的处理上,本文加以复现。整体环境:MongoDB 3.2.5Part2:集合内容PRIMARY> db.helei.find() { "_id" : ObjectId(&qu

原创 推荐 点赞4 阅读10000+ 收藏0 评论8 2017-03-03

数据仓库的未来 MariaDB ColumnStore

MariaDB ColumnStore简介Part1:写在最前MariaDB ColumnStore is the future of data warehousing. ColumnStore allows us to store more data and analyze it faster. Everyday, Pinger’s mobile applications process mil

原创 推荐 点赞6 阅读10000+ 收藏4 评论1 2016-12-27

OneProxy实现MySQL读写分离与负载均衡

OneProxy实现MySQL读写分离与负载均衡简介Part1:写在最前    OneProxy平民软件完全自主开发的分布式数据访问层,帮助用户在MySQL/PostgreSQL集群上快速搭建支持分库分表的分布式数据库中间件,也是一款具有SQL白名单(防SQL注入)及IP白名单功能的SQL防火墙软件。采用与MySQL Proxy一致的反向协议输出模式,对应用

原创 推荐 点赞8 阅读7308 收藏5 评论9 2016-12-21

telegraf+influxdb+grafana环境初探

Telegraf+Influxdb+Grafana环境初探简介Part1:写在最前Grafana,一个非常好用的开源监控(应该说是出图)软件。各类个性化定制非常易用,像常见的cpu,mem,mysql常用监控项都已经内置。grafana并未被我用在生产,本着学习交流的原则,来写这篇文章吧。安装Part1:环境准备环境:HE3: mysql所在服务器,被监控机 ip 192.168.1.250mys

原创 推荐 点赞3 阅读7621 收藏1 评论5 2016-12-12

MySQL日志审计 帮你揪出内个干坏事儿的小子

MySQL日志审计 帮你揪出内个干坏事的小子简介Part1:写在最前MySQL本身并不像MariaDB和Percona一样提供审计功能,但如果我们想对数据库进行审计,去看是谁把我的数据库数据给删了,该怎么办呢?我们主要利用init-connect参数,让每个登录的用户都记录到我们的数据库中,并抓取其connection_id(),再根据binlog就能够找出谁干了那些破事儿。MariaDB如何审计

原创 推荐 点赞11 阅读10000+ 收藏10 评论6 2016-12-09

3分钟解决MySQL主从1594错误

3分钟解决MySQL主从1594错误简介Part1:写在最前1594这个错误看起来挺严重的,会提示你binlog文件或者Relay log损坏了,例如binary log is corrupted、relay log is corrupted之类的看起来很吓人是吧,多数是由于掉电引发的,这也说明了机房配备UPS的重要性。本文来自真实生产案例,感谢网友加内特提供,本人加

原创 推荐 点赞2 阅读10000+ 收藏4 评论1 2016-12-06

再谈MySQL全库备份

再谈MySQL全库备份简介Part1:写在最前在很早之前,我写过一个MySQL生产库全库备份脚本,今天有同事问我是不是要再加一个-R参数来备份存储过程,理由的话是由于mysqldump --help中 关于存储过程的默认备份是false。routines                     &n

原创 推荐 点赞5 阅读4233 收藏4 评论4 2016-12-05

MaxScale Binlog Server实践

MaxScale Binlog Server实践简介Part1:写在最前在之前的博文中有说到MaxScale,作为中间件,配合MHA使用或者主从使用可实现读写分离和负载均衡,今天简单介绍下MaxScale作为Binlog Server来减少主从延迟的问题;MySQL的主从架构中,链式拓扑的架构比较容易出现主从延迟的问题。本文着重介绍MaxScale作为Binlog Server是如何降低主从延迟的

原创 推荐 点赞6 阅读4314 收藏5 评论5 2016-12-02

1分钟利用mysqlreplicate快速搭建MySQL主从

利用mysqlreplicate快速搭建MySQL主从环境简介mysql-utilities工具集是一个集中了多种工具的合集,可以理解为是DBA的工具箱,本文介绍利用其中的mysqlreplicate工具来快速搭建MySQL主从环境。HE1:192.168.1.248 slaveHE3:192.168.1.250 master实战Part1:安装mysql-utilities[root@HE1 ~

原创 推荐 点赞11 阅读10000+ 收藏8 评论7 2016-12-01

10分钟学会MySQL基础教程

10分钟学会MySQL基础操作1分钟安装Part1:写在最前MySQL安装的方式有三种:①rpm包安装②二进制包安装③源码安装这里我们推荐二进制包安装,无论从安装速度还是用于生产库安装环境来说,都是没问题的。现在生产库一般采用MySQL5.6,测试库采用MySQL5.7。MySQL5.6安装看这里http://suifu.blog.51cto.com/9167728/1846671 MySQL5.

原创 推荐 点赞18 阅读10000+ 收藏18 评论12 2016-11-09

MySQL5.7MHA+MaxScale2.0构建高可用环境

MySQL读写分离与负载均衡--MHA与MaxScale环境介绍Part1:写在最前看了某大牛的文章,讲述了一下MaxScale比LVS的好处多多,那您倒是放出来配置文件啊~~大牛说:需要的单独找我吧,太长了配置文件……看到这我心中久久不能平静啊。。。联系不上您呐 = =,于是各种资料各种找啊~各种坑各种血崩啊!~~~由于不知道大牛的配置文件是什么样子,本文仅以随笔的形式,记录下实施过程。也欢迎您

原创 推荐 点赞17 阅读10000+ 收藏19 评论29 2016-11-04

MySQL ERROR 1878 解决办法

MySQL ERROR 1878报错解决办法错误重现Part1:大表修改字段mysql> ALTER TABLE `erp`    -> ADD COLUMN `eas_status`  tinyint(3) unsigned  NOT NULL DEFAULT 0 ' AFTER `totalprice`;ERROR 1878 (HY

原创 推荐 点赞8 阅读10000+ 收藏5 评论11 2016-10-27
  • 1
  • 2
写文章