一、背景：公司因为机器资源紧张，需要给测试部分腾出几台机器做测试用，需要把现有机器上的应用全部迁移到别的机器上。经过讨论，采用Xtrabackup工具对对InnoDB做数据备份。二、准备工作1、安装Xtrabackup工具1）安装依赖包yum install libaio libaio-devel perl-Time-HiRes curl curl-devel zlib-devel openssl
转载
2023-09-12 23:57:44
174阅读
DM 数据迁移工具——DTSMySQL数据迁移到DM8数据库 Windows环境DM 数据迁移工具 DM DTS 提供了主流大型数据库迁移到 DM、DM 到 DM、文件迁移到 DM 以及 DM 迁移到文件等功能。得益于 DM 数据库对目前主流大型关系型数据库系统有着业界领先的兼容性，在存储层面、语法层面、接口层面和它们保持高度兼容，借助于 DM 图形界面且采用向导方式引导各个迁移步骤的 DTS 工
转载
2023-08-16 16:23:02
207阅读
迁移服务器的MySql数据库时，如果重新创建数据库，重新建表会很麻烦；而且一些设置（比如头疼的字符编码）还要重新设置。好在Mysql有数据库的导入导出机制，下面是参考的步骤，红色部分是常用的方法。 1. 概述MySQL数据库的导入，有两种方法：1) 先导出数据库SQL脚本，再导入；2) 直接拷贝数据库目录和文件。在不同操作系统或MySQL版本情况下，直接拷贝文件的方法可能会有不兼容的情况发生。
转载
2023-09-25 07:16:59
205阅读
本文是一个MySQL千万级数据的迁移记录，趁此记录下学习笔记。数据迁移，工作原理和技术支持数据导出、BI报表之类的相似，差异较大的地方是导入和导出数据量区别，一般报表数据量不会超过几百万，而做数据迁移，如果是互联网企业经常会涉及到千万级、亿级以上的数据量。导入和导出是两个过程，即使做数据迁移我们也要分开来看，同时，导入/导出方式又分为：MySQL自带导入/导出方式各类客户端导入/导出方式导出： 1
转载
2023-08-08 08:08:45
168阅读
前言在日常项目开发中，可能会遇到使用 ES 做关键词搜索的场景，但是一般来说业务数据是不会直接通过 CRUD 写进 ES 的。因为这可能违背了 ES 是用来查询的初衷，数据持久化的事情可以交给数据库来做。那么，这里就有一个显而易见的问题：ES 里的数据从哪里来？本文介绍的就是如何将 MySQL 的表数据迁移到 ES 的全过程。一、一次性全量该方案的思路很简单直接：将数据库中的表数据一次性查出，放入
mysql 备份与迁移 数据同步方法操作实践背景：travelrecord表定义为10个分片，尝试将10个分片中的2个分片转移到第二台MySQL上，并完成记录， 要求最快的数据迁移做法，中断业务时间最短思路一利用mysqldump：在这里我们只针对mysql innodb engine,而且配置bin-log的数据库进行分析。因为是将10个分片中的两个分片进行迁移，其实就是数据库的迁移过程，就是将
转载
2023-08-02 11:07:51
103阅读
操作实践背景：travelrecord表定义为10个分片，尝试将10个分片中的2个分片转移到第二台MySQL上，并完成记录， 要求最快的数据迁移做法，中断业务时间最短思路一利用mysqldump：在这里我们只针对mysql innodb engine,而且配置bin-log的数据库进行分析。因为是将10个分片中的两个分片进行迁移，其实就是数据库的迁移过程，就是将10个数据库中的两个数据迁移到另外一
转载
2023-08-02 10:47:33
117阅读
简述本文主要介绍如何使用 CloudCanal 构建一条 MySQL 到 Greenplum / PostgreSQL 的数据同步链路。支持版本源端 MySQL 支持的版本为：5.6、5.7、8.X
对端 PostgreSQL 支持的版本为：8.4、9.0、9.1、9.2、9.3 9.4、9.5、9.6、10.X、11.X、12.X、13.X、14.X 、15.X、16.X、17.X
对端 Gre
两个方案（推荐第二种）：1.停机迁移方案 就是很简单，大家伙儿凌晨 12 点开始运维，网站或者 app 挂个公告，说 0 点到早上 6 点进行运维，无法访问。接着到 0 点停机，系统停掉，没有流量写入了，此时老的单库单表数据库静止了。然后你之前得写好一个导数的一次性工具，此时直接跑起来，然后将单库单表的数据哗哗哗读出来，写到分库分表里面去。导数完了之后，就 ok 了，修改系统的数据库连接
转载
2023-07-15 00:00:45
96阅读
mysql的数据迁移大致可分为两种：1.通过mysqldump工具备份数据，然后导入到新的数据库中导出：mysqldump -uroot -p --all-databases > /backup/mysqldump/all.db（备份所有数据库）
mysqldump -uroot -p test > /backup/mysqldump/test.db（备份指定数据库）
mysqldum
转载
2023-06-25 10:39:24
412阅读
从迁移方案的落地、迁移前准备、N次迁移演练、回归测试、性能调优整整用了四个月左右的时间（当然在此期间还包括其他项目及日常操作耗费工时）。正式迁移到迁移成功、以及上线开服后性能稳定这些操作已经过去了一个多月时间。由于异构迁移在业界是一个较为困难繁琐的问题，所以经过这么久的沉淀，今天给大家复盘并分享一下整个迁移流程，从前期方案、到最后迁移成功的整个流程，希望给对 ORACLE TO MYSQL 异构迁
转载
2023-08-23 21:50:50
182阅读
最近一段时间碰到一些数据迁移的项目，如：Oracle迁移到MySQL，MsSQL迁移到MySQL，云MySQL迁移到本地MySQL。对于这方面做了系统的整理。包括：迁移方案的选择、如何跳出迁移遇到的坑、怎样修改MySQL参数获取最大性能，加入分库分表的需求如何实现？文章的最后，作者做了很多可行性的总结，码字不易，如果对您有帮助，感谢转发。迁移方案的选择：抛开业务逻辑的因素，根据不同的版本、不同平台
转载
2023-10-05 10:49:15
134阅读
一、 数据迁移简介所谓的数据迁移，就是指将原有的数据库系统迁移到另外一个业务系统上数据迁移的原因是多种多样的，有可能是业务变更、硬件升级、平台切换或升级mysql数据库迁移的注意事项：(1)、相同版本可以迁移(2)、注意版本可以使用的引擎(3)、低版本可以向高版本进行数据迁移，高版本一般兼容低版本的特性(4)、高版本的数据不能向低版本进行数据迁移，会出现数据不兼容的情况(5)、迁移是请注意导出数据
原创
2014-05-06 15:38:51
668阅读
安装第三方软件XtraBackup对数据做增量备份安装第三方软件XtraBackup对数据做增量备份 (这种软件 备份只能恢复数据，不能恢复库和表结构）当表删了，数据回不来。XtraBackup介绍：在线热备份工具，备份过程中不锁库表，只备份表记录，不备份表结构表的存储引擎必须是InnoDB/XtraDB必须先有一次完全备份，这样再执行备份时才知道那些数据是新产生。安装XtraBackup： pe
转载
2017-03-06 19:46:50
386阅读
# 背景上个月跟朋友一起做了个微信小程序，趁着5.20节日的热度，两个礼拜内迅速积累了一百多万用户，我们在小程序页面增加了收集formid的埋点，用于给微信用户发送模板消息通知。这个小程序一开始的后端逻辑是用douchat框架写的，使用框架自带的dc_mp_fans表存储微信端授权登录的用户信息，使用dc_mp_tempmsg表存储formid。截止到目前，收集到的数据超过380万，很大一部分fo
场景：数据源是一个mysql私有库，docker部署（未暴漏端口）。项目也用docker部署，使用docker自带的网络桥接模式使用数据库，外界工具无法连接。现在要做数据迁移，目标是oracle数据库。 方案1：使用etl工具进行迁移。 etl工具免费有spoon，可视化操作，支持映射关系配置。但是需要数据源库和目标库都可以远程连接。而且需要windows系统。现在数据源是
转载
2023-08-24 16:47:46
61阅读
数据库迁移是我们经常可遇到的问题，对于少量的数据，迁移基本上不会有什么问题。生产环境中，有以下情况需要做迁移工作：磁盘空间不够。比如一些老项目，选用的机型并不一定适用于数据库。随着时间的推移，硬盘很有可能出现短缺；业务出现瓶颈。比如项目中采用单机承担所有的读写业务，业务压力增大，不堪重负。如果 IO 压力在可接受的范围，会采用读写分离方案；机器出现瓶颈。机器出现瓶颈主要在磁盘 IO 能力、内存、C
转载
2023-08-29 17:57:06
119阅读
摘要：MySQL JDBC抽取到底应该采用什么样的方式，且听小编给你娓娓道来。小编最近在云上的一个迁移项目中被MySQL抽取模式折磨的很惨。一开始爆内存被客户怼，再后来迁移效率低下再被怼。MySQL JDBC抽取到底应该采用什么样的方式，且听小编给你娓娓道来。1.1 Java-JDBC通信原理JDBC与数据库之间的通信是通过socket完，大致流程如下图所示。Mysql Server ->内
本文总结各种场景下的数据复制、迁移、转换。
1、导入、导出
利用mysqldump命令将数据文件导出成一个文本文件，这在不同场景下具有更高的安全性。如：表引擎改变。
数据导出：mysqldump -uroot -p dbname > dbname.sql (包含表结构和表数据)
数据导入：mysql -uroot -p dbname < dbname.s
原创
2012-04-20 11:53:26
2188阅读
标签：mysql 数据库迁移原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://sofar.blog.51cto.com/353572/1598364=============================================================================
转载
2017-05-23 17:28:50
430阅读
