介绍

数据传输服务（DTS）

  • 功能：阿里云的数据传输服务（DTS）是一种数据迁移服务，支持不同数据库之间的数据迁移、数据同步和数据订阅。
  • 支持数据库：DTS支持MySQL、SQL Server、Oracle、PostgreSQL等主流数据库之间的数据迁移和同步。
  • 特点：提供实时数据同步、数据迁移、数据订阅等功能，支持结构迁移和全量数据迁移。
  • 管理界面：DTS提供直观的管理界面，方便用户配置和监控数据传输任务。

AWS Database Migration Service（DMS）

  • 功能：AWS的数据库迁移服务（DMS）是一种云服务，用于在不同数据库引擎之间进行数据迁移和复制。
  • 支持数据库：DMS支持在AWS云环境中迁移数据到Amazon RDS、Amazon Redshift等服务，同时支持跨数据库引擎的迁移。
  • 特点：提供实时数据复制、数据迁移、数据同步等功能，支持结构和数据的变化捕获。
  • 管理界面：DMS提供易于使用的控制台和API，使用户能够轻松设置和管理数据库迁移任务。

DTS和AWS DMS都是强大的工具，可以帮助用户在不同数据库之间进行数据迁移和同步，提供了各种功能和管理界面，使数据库迁移变得更加简单和高效。


源库操作

查看数据大小

select table_schema as '数据库',
sum(table_rows) as '记录数',
sum(truncate(data_length/1024/1024, 2)) as '数据容量(MB)',
sum(truncate(index_length/1024/1024, 2)) as '索引容量(MB)'
from information_schema.tables
group by table_schema
order by sum(data_length) desc, sum(index_length) desc;

创建迁移账号

CREATE USER 'rdsmigration' @'%' IDENTIFIED BY '123456';

GRANT SELECT,
	SHOW VIEW,
	RELOAD,
	REPLICATION CLIENT,
	REPLICATION SLAVE,
	EVENT,
	TRIGGER,
	LOCK TABLES ON *.* TO 'rdsmigration' @'%';



检查项

binlog 开启

-- 查询命令
show variables like 'log_bin';

binlog_format 格式为ROW

-- 设置binlog保留时间
CALL mysql.rds_set_configuration('binlog retention hours', 72);



阿里云DTS同步

阿里云，AWS 数据同步_数据库迁移


优化任务参数提升同步速度

阿里云，AWS 数据同步_dms_02


结构迁移+全量迁移+增量写入

阿里云，AWS 数据同步_dms_03


AWS DMS同步


创建迁移任务:

阿里云，AWS 数据同步_dts_04


阿里云，AWS 数据同步_dts_05


迁移评估 (问题表建议单独导出)：

数据类型不受支持  

架构

表

column-name

data-type

bos_rc

xxxxxx

amount

float

使用大型对象（LOB），但目标 LOB 列不能为空

架构

表

column-name

bos_admin

xxxx

introduction

迁移指定库并排除检查不通过的表

阿里云，AWS 数据同步_dts_06