pt-slave-repair介绍MySQL主从复制作为一种常见的数据同步方式,有时候会出现同步错误导致同步中断的情况。手动修复这些同步错误通常需要耗费时间和精力,并且对于不熟悉MySQL复制的人来说比较困难。pt-slave-repair是对原有pt-slave-restart工具的补充,它提供自动修复MySQL主从同步复制的报错数据,以及恢复中断的sql thread复制线程。https://
输入SQL自动判断条件字段是否增加索引https://github.com/hcymysql/sql_helper使用:shell> chmod 755 sql_helper shell> ./sql_helper -f test.yaml -q 'select * from sbtest1 limit 1;'注:test.yaml为MySQL配置文件
mysqlbinlog;数据恢复
MySQL全量数据迁移至ClickHouse步骤:a) /usr/bin/mydumper -h 192.168.192.180 -u hechunyang -p wdhcy159753 -P 3306 --no-schemas -t 12 --csv -v 3 --regex '^hcy.user$' -o ./注:需要mydumper 0.12.3-3版本支持导出CSV格式b) clickho
MySQL表结构转换为ClickHouse表结构https://github.com/hcymysql/binlog_parse_sql/blob/main/mysql_to_clickhose_schema.pyhttps://github.com/hcymysql/binlog_parse_sql/blob/main/mysql_to_clickhose_schema_test.py(MySQ
binlog_parse_clickhouse.py(ETL抽数据工具)将MySQL8.0迁移至ClickHouse原理:将解析 binlog 和执行 SQL 语句两个过程由两个线程来执行。其中,解析 binlog 的线程每次解析完一个事件后通过队列将 SQL 语句传给 SQL 执行线程, SQL 执行线程从队列中取出 SQL 语句并按顺序依次执行,这样就保证了 SQL 语句的串行执行。https
需求:在不知道表名和字段名的情况下,查找出哪些字段里包含“关键字”的数据。思路1:整库全量dump,按照表名导出txt纯文本格式,然后用grep命令过滤。find ./ -name "*.sql" | xargs grep '金凤凰' >> result.log思路2:用python全量扫描跑批,涉及到varchar的字段都扫一遍。import pymysql from concurr
binlog_analysisBinlog分析工具-binlog_analysis.pyhttps://github.com/hcymysql/binlog_analysisshell> pip3 install mysql-replication -i "http://mirrors.aliyun.com/pypi/simple" --trusted-host "mirrors.aliyu
binlog_parse_sqlhttps://github.com/hcymysql/binlog_parse_sql将 binlog 解析为 SQL 并将其存入数据库shell> pip3 install pymysql mysql-replication -i "http://mirrors.aliyun.com/pypi/simple" --trusted-host "mirr
当mysqld服务进程访问损坏的表时,数据库会直接崩溃退出。如果在遭遇到损坏的表时,不希望出现这种结果,请将参数innodb_corrupt_table_action变量值设置为salvage,该值会跳过损坏的表,不会使mysqld服务进程崩溃,导致整个数据库无法启动。注:1)MySQL没有此参数,请切换至Percona或者MariaDB2)该参数只能适配独立表空间 innodb_file
sqlops新增pt-osc功能,触发条件:1)当行记录小于150万行,研发可以直接在网页里执行Alter table操作。2)当行记录大于150万行并且小于3000行,平台将调用pt-online-schema-change开源工具在线执行Alter表结构变更。3)当行记录大于3000行时,提示:Alter更改表结构会引起表锁,影响业务。由于该表过大,平台不支持自助上线。https://gi
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号