mysql 数据迁移达梦数据库达梦数据库数据同步

转载

kekenai 2024-08-14 08:36:53

文章标签 mysql 数据迁移达梦数据库 dba 数据库开发缓存数据 文章分类 MySQL 数据库

作为一个达梦的初学者，写这篇文章的目的是为了把学到的新知识做个总结梳理，在整理中查缺补漏，也希望大家看了我的文章能有收获，如有错误的地方欢迎指出。

数据同步工具 (DMHS)，可实现同构、异构数据库间的数据同步，基于此工具，可实现在现应急灾备、多业务中心、异构资源信息整合等多种使用场景。以下是DM数据库之间实现的双向同步过程，这里

一、用dts迁移源端数据到目的端，使源端数据和目的端数据一致（也可直接物理备份还原）

key改名为dmhs.key放到/opt/dmhs/bin下

二、修改两端的dm.ini参数，开启归档，重启数据库使参数生效

1、ARCH_INI参数值设置为1

2、RLOG_APPEND_LOGIC参数的值设置为1

3、dmarch.ini放在实例文件夹下。归档文件如下

[ ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL
ARCH_DEST = /opt/dmdbms/data/DAMENG/arch
ARCH_FILE_SIZE = 512
ARCH_SPACE_LIMIT = 10240

三、安装hs软件--------DDL同步（看情况而定）

两端均在管理工具中的执行/opt/dmhs/scripts/ddl_sql_dm8.sql（DDL同步必要操作）

1、源端dmhs.hs配置文件（放在/opt/dmhs/bin下）

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
    <base>
        <lang>en</lang>
        <mgr_port>5345</mgr_port>
        <ckpt_interval>60</ckpt_interval>
        <siteid>1</siteid>
        <version>2.0</version>
        <log_size_limit>5</log_size_limit><!-- DMHS的log下的日志文件的总大小单位GB -->
</base>
        <exec>
<recv>
            <mgr_port>5345</mgr_port>
            <data_port>5346</data_port>
        </recv>
            <db_type>DM8</db_type>
            <db_server>192.168.1.1</db_server>
            <db_user>SYSDBA</db_user><!-- 入库事务的执行者，如果不需要使用用户过滤，一般都填SYSDBA -->
            <db_pwd>SYSDBA</db_pwd>
            <db_port>5236</db_port>
            <vpool>128</vpool><!--工作线程私有内存池的大小-->
            <vpools>13</vpools><!--缓存事务使用内存池的个数-->
            <trxid_tables>6</trxid_tables><!--存放事务信息的辅助表个数，分散热点-->
            <exec_thr>8</exec_thr><!--EXEC 模块用来数据入库的工作线程数-->
            <exec_sql>1024</exec_sql><!--EXEC 模块缓存事务 SQL 语句的内存大小，太小会导致缓存事务刷盘，影响IO-->
            <affect_row>0</affect_row><!--是否启用影响行数检查，用于判断数据一致性，但是会影响性能，按需配置-->
            <exec_trx>5000</exec_trx><!--允许缓存事务的个数，超过这个个数，同步会停止-->
            <exec_rows>1000</exec_rows><!--数据入库时允许的最大批量行数，提高性能，加大内存占用，按需配置-->
            <case_sensitive>1</case_sensitive><!--EXEC 模块操作数据库对象时，是否需要保持对象名敏感，大小写敏感的库务必1-->
            <toggle_case>0</toggle_case><!--EXEC 模块操作数据库对象时，是否需要把对象名转换为大小写-->
            <exec_policy>2</exec_policy><!--事务入库出错时的执行策略，出错丢弃整个事务保持一致性用0，尽可能保持同步容忍不一致用2，出错停止用1-->
            <enable_lob_buf>1</enable_lob_buf><!--执行端是否允许大字段缓存-->
            <commit_prepare>1</commit_prepare><!--是否启用提交准备功能，可提高效率-->
            <commit_policy>1</commit_policy><!--事务入库的事务提交策略，1为关联表的提交按照顺序，非关联事务并行执行-->
            <clear_trx_file>1</clear_trx_file><!--是否启用错误事务自动清除功能-->
            <recv_caches>16</recv_caches><!--EXEC 模块用来接收 NET 模块消息的缓存个数，提高并行exec效率，增大内存-->
            <ddl_continue>1</ddl_continue><!--DDL 出错时是否允许继续同步，按需配置-->
            <level>0</level><!--2节点用0，三节点环形用65535-->
        </exec>
    <cpt>
        <db_type>DM8</db_type>
        <db_server>192.168.1.1</db_server>
        <db_user>SYSDBA</db_user>
        <db_pwd>SYSDBA</db_pwd>
        <db_port>5236</db_port>
        <idle_time>10</idle_time>
<ddl_mask>op:obj</ddl_mask><!--ddl同步策略，不需要ddl同步的话务必置空而不是不写该标签-->
<parse_thr>4</parse_thr><!--日志分析线程数，可提高日志解析速度，旧版dmhs的ddl同步情况下建议保持默认的1-->
<parse_policy>0</parse_policy><!--解析策略，0 表示解析日志出错时，主动 halt；1 表示忽略解析错误，继续解析，按需配置，源端DM8一般配置1-->
<idle_time>300</idle_time><!--日志分析空闲时间，防止dmhs读取速度赶超redo切换复写速度-->
<read_again_interval>255</read_again_interval><!--开启日志读取二次读取校验日志功能，防止dmhs读取速度赶超redo切换复写速度-->
        <arch>
            <clear_interval>600</clear_interval>
            <clear_flag>0</clear_flag>
        </arch>
        <send>
            <ip>192.168.1.2</ip><!-- 对方IP -->
            <mgr_port>5345</mgr_port>
            <data_port>5346</data_port>
            <net_pack_size>256</net_pack_size>
            <vpools>13</vpools><!--NET 模块内存池的个数-->
            <vpool_size>128</vpool_size><!--缓存事务使用内存池的个数-->
            <case_sensitive>1</case_sensitive><!--NET 模块针对对象名是否大小写敏感，对下面filter过滤有影响，大小写敏感库配置为1-->
            <net_turns>0</net_turns>
            <crc_check>0</crc_check>
            <trigger>1</trigger><!--指示下一级数据入库时，是否需要禁用触发器，配置为1，避免同步的数据触发目的端触发器-->
            <constraint>1</constraint><!--指示下一级数据入库时，是否需要禁用约束-->
            <identity>1</identity><!--1 则表示同步 CPT 中带来的该列值，它的值使用 CPT 中带来的值进行填充；0 则表示启用目标库自增列的属性，目标库自已维护该列的值，按需配置-->
            <filter>
                <enable>
<item>SYSDBA.*</item><!--同步是白名单排除黑名单的差集-->
                </enable>
                <disable>
<item>SYSDBA.TEST*</item>
                </disable>
            </filter>
        </send>
</cpt>
</dmhs>

2、目的端dmhs.hs配置文件

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
    <base>
        <lang>en</lang>
        <mgr_port>5345</mgr_port>
        <ckpt_interval>60</ckpt_interval>
        <siteid>2</siteid>
        <version>2.0</version>
        <log_size_limit>5</log_size_limit><!-- DMHS的log下的日志文件的总大小单位GB -->
</base>
        <exec>
<recv>
            <mgr_port>5345</mgr_port>
            <data_port>5346</data_port>
        </recv>
            <db_type>DM7</db_type>
            <db_server>192.168.1.2</db_server>
            <db_user>SYSDBA</db_user><!-- 入库事务的执行者，如果不需要使用用户过滤，一般都填SYSDBA -->
            <db_pwd>SYSDBA</db_pwd>
            <db_port>5236</db_port>
            <vpool>128</vpool><!--工作线程私有内存池的大小-->
            <vpools>13</vpools><!--缓存事务使用内存池的个数-->
            <trxid_tables>6</trxid_tables><!--存放事务信息的辅助表个数，分散热点-->
            <exec_thr>8</exec_thr><!--EXEC 模块用来数据入库的工作线程数-->
            <exec_sql>1024</exec_sql><!--EXEC 模块缓存事务 SQL 语句的内存大小，太小会导致缓存事务刷盘，影响IO-->
            <affect_row>0</affect_row><!--是否启用影响行数检查，用于判断数据一致性，但是会影响性能，按需配置-->
            <exec_trx>5000</exec_trx><!--允许缓存事务的个数，超过这个个数，同步会停止-->
            <exec_rows>1000</exec_rows><!--数据入库时允许的最大批量行数，提高性能，加大内存占用，按需配置-->
            <case_sensitive>1</case_sensitive><!--EXEC 模块操作数据库对象时，是否需要保持对象名敏感，大小写敏感的库务必1-->
            <toggle_case>0</toggle_case><!--EXEC 模块操作数据库对象时，是否需要把对象名转换为大小写-->
            <exec_policy>2</exec_policy><!--事务入库出错时的执行策略，出错丢弃整个事务保持一致性用0，尽可能保持同步容忍不一致用2，出错停止用1-->
            <enable_lob_buf>1</enable_lob_buf><!--执行端是否允许大字段缓存-->
            <commit_prepare>1</commit_prepare><!--是否启用提交准备功能，可提高效率-->
            <commit_policy>1</commit_policy><!--事务入库的事务提交策略，1为关联表的提交按照顺序，非关联事务并行执行-->
            <clear_trx_file>1</clear_trx_file><!--是否启用错误事务自动清除功能-->
            <recv_caches>16</recv_caches><!--EXEC 模块用来接收 NET 模块消息的缓存个数，提高并行exec效率，增大内存-->
            <ddl_continue>1</ddl_continue><!--DDL 出错时是否允许继续同步，按需配置-->
            <level>0</level><!--2节点用0，三节点环形用65535-->
        </exec>
    <cpt>
        <db_type>DM7</db_type>
        <db_server>192.168.1.2</db_server>
        <db_user>SYSDBA</db_user>
        <db_pwd>SYSDBA</db_pwd>
        <db_port>5236</db_port>
        <idle_time>10</idle_time>
<ddl_mask>op:obj</ddl_mask><!--ddl同步策略，不需要ddl同步的话务必置空而不是不写该标签-->
<parse_thr>4</parse_thr><!--日志分析线程数，可提高日志解析速度，旧版dmhs的ddl同步情况下建议保持默认的1-->
<parse_policy>0</parse_policy><!--解析策略，0 表示解析日志出错时，主动 halt；1 表示忽略解析错误，继续解析，按需配置，源端DM8一般配置1-->
<idle_time>300</idle_time><!--日志分析空闲时间，防止dmhs读取速度赶超redo切换复写速度-->
<read_again_interval>255</read_again_interval><!--开启日志读取二次读取校验日志功能，防止dmhs读取速度赶超redo切换复写速度-->
        <arch>
            <clear_interval>600</clear_interval>
            <clear_flag>0</clear_flag>
        </arch>
        <send>
            <ip>192.168.1.1</ip><!-- 对方IP -->
            <mgr_port>5345</mgr_port>
            <data_port>5346</data_port>
            <net_pack_size>256</net_pack_size>
            <vpools>13</vpools><!--NET 模块内存池的个数-->
            <vpool_size>128</vpool_size><!--缓存事务使用内存池的个数-->
            <case_sensitive>1</case_sensitive><!--NET 模块针对对象名是否大小写敏感，对下面filter过滤有影响，大小写敏感库配置为1-->
            <net_turns>0</net_turns>
            <crc_check>0</crc_check>
            <trigger>1</trigger><!--指示下一级数据入库时，是否需要禁用触发器，配置为1，避免同步的数据触发目的端触发器-->
            <constraint>1</constraint><!--指示下一级数据入库时，是否需要禁用约束-->
            <identity>1</identity><!--1 则表示同步 CPT 中带来的该列值，它的值使用 CPT 中带来的值进行填充；0 则表示启用目标库自增列的属性，目标库自已维护该列的值，按需配置-->
            <filter>
                <enable>
<item>SYSDBA.*</item><!--同步的表示白名单排除黑名单的差集-->
                </enable>
                <disable>
<item>SYSDBA.TEST*</item>
                </disable>
            </filter>
        </send>
</cpt>
</dmhs>

四、启动同步服务，装字典

1、启动两端的dmhs服务

cd /opt/dmhs/bin
./dmhs_server

2、另打开一个窗口，启动两端的执行服务

./dmhs_console进入后
connect 回车
start exec 回车
clear exec lsn；回车
copy 0 "sch.name in (‘xx’,’xx’,...)" dict 回车
start cpt 回车

3、配置service服务

两端/opt/dmhs/bin/service_template下

修改DmhsService

mysql 数据迁移达梦数据库达梦数据库数据同步_数据

然后cp /opt/dmhs/bin/service_template/DmhsService /etc/init.d/，然后systemctl enable DmhsService

然后就可以exit退出之前源端和目的端的dmhs_server窗口。

通过service DmhsService start后台启动dmhs

vi /etc/rc.local添加如开机自启

/etc/init.d/DmhsService start

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：androidmanifest 设置activity栈模式 android activity栈管理

下一篇：mysql 获取连接默认过期时间 mysql 获取时间差

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

mysql 数据迁移达梦数据库 达梦数据库数据同步

mysql 数据迁移达梦数据库 达梦数据库数据同步

51CTO博客

mysql 数据迁移达梦数据库达梦数据库数据同步

mysql 数据迁移达梦数据库达梦数据库数据同步