达梦数据对比工具的部署与使用

1、拷贝达梦软件bin目录到Oracle服务器（root用户）

压缩Linux rh6 x86版本的达梦数据库bin目录，例如压缩文件为dmbin.tar.gz，将文件拷贝到Oracle服务器指定目录并解压（如：/home/oracle/dmbin），给目录/home/oracle/dmbin授予相关权限和用户组

chown -R oracle:oinstall /home/oracle/dmbin

2、配置ODBC连接Oracle数据库

（1）上传unixODBC源码文件，解压，编译安装（root用户）

tar -zxvf unixODBC-2.3.7.tar.gz
cd unixODBC-2.3.7
./configure --prefix=/usr/local/unixODBC-2.3.7 --includedir=/usr/include --libdir=/usr/lib --bindir=/usr/bin --sysconfdir=/etc --enable-gui=no
make
make install
ldconfig

#安装成功后，unixODBC所需的头文件都被安装到了/usr/inlucde下，编译好的库文件安装到了/usr/lib下，与unixODBC相关的可执行文件安装到了/usr/bin下，配置文件放到了/etc下。

（2）查看odbc版本，查看配置文件路径（root用户）

odbc_config --version
odbcinst -j

（3）配置odbc.ini和odbcinst.ini（root用户）

vi /etc/odbcinst.ini
[Oracle]
Description     = ODBC DRIVER FOR ORACLE
Driver          = /oracle/app/oracle/product/19.3.0/db/lib/libsqora.so.19.1
Threading       = 0

#注意检查是否配置环境变量，主要为$ORACLE_HOME/lib是否配置

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib:/lib:/usr/lib

#查看动态库依赖关系，确保没有not found的依赖库，否则建议使用cp或做软链接的方式对缺失的动态依赖库进行补充，例如libclntsh.so.19.1和libodbcinst.so.2经常会找不到，ln -s source target创建软链接

ldd /oracle/app/oracle/product/19.3.0/db/lib/libsqora.so.19.1
    linux-vdso.so.1 =>  (0x00007ffd3a095000)
    libdl.so.2 => /lib64/libdl.so.2 (0x00007f86b275e000)
    libm.so.6 => /lib64/libm.so.6 (0x00007f86b245c000)
    libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f86b2240000)
    libnsl.so.1 => /lib64/libnsl.so.1 (0x00007f86b2026000)
    librt.so.1 => /lib64/librt.so.1 (0x00007f86b1e1e000)
    libaio.so.1 => /lib64/libaio.so.1 (0x00007f86b1c1c000)
    libresolv.so.2 => /lib64/libresolv.so.2 (0x00007f86b1a02000)
    libclntsh.so.19.1 => /oracle/app/oracle/product/19.3.0/db/lib/libclntsh.so.19.1 (0x00007f86ad9f4000)
    libclntshcore.so.19.1 => /oracle/app/oracle/product/19.3.0/db/lib/libclntshcore.so.19.1 (0x00007f86ad454000)
    libodbcinst.so.2 => /lib/libodbcinst.so.2 (0x00007f86ad239000)
    libc.so.6 => /lib64/libc.so.6 (0x00007f86ace6b000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f86b2c1c000)
    libnnz19.so => /oracle/app/oracle/product/19.3.0/db/lib/libnnz19.so (0x00007f86ac723000)

vi /etc/odbc.ini
[ORACLE19C]
Description = ORACLE ODBC DSN
Driver = Oracle
ServerName = pdb01
PORT = 1521

（4）测试连接（oracle用户）

isql -v ORACLE19C TEST TEST

3、配置ODBC连接达梦数据库

（1）配置odbc.ini和odbcinst.ini（root用户）

vi /etc/odbcinst.ini
[DM ODBC DRIVER]
Description = ODBC DRIVER FOR DM
Driver = /home/oracle/dmbin/libdodbc.so

#注意检查是否配置环境变量，配置环境变量如下：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib:/lib:/usr/lib:/home/oracle/dmbin

vi /etc/odbc.ini
[DM8]
Description = DM ODBC DSN
Driver = DM ODBC DRIVER
SERVER = 192.168.10.100
UID = SYSDBA
PWD = SYSDBA
TCP_PORT = 5236

（2）测试连接（dmdba用户）

isql -v DM8 SYSDBA SYSDBA

4、在Oracle和达梦数据库服务器上分别安装DMHS软件

（1）Oracle端创建目录/home/oracle/dmhs，安装到此目录，使用oracle用户安装

（2）达梦端创建目录/home/dmdba/dmhs，安装到此目录，使用dmdba用户安装

以上安装时均选择试用、完整版安装，其他一路回车即可，安装过程省略。

5、编辑agent.xml配置文件

（1）Oracle端配置agent.xml（oracle用户）

vim /home/oracle/dmhs/bin/agent.xml
<?xml version="1.0" encoding="utf-8"?>
<agent>
    <port>2347</port>
    <lang>en</lang>
    <max_session>50</max_session>
    <lock_nowait>1</lock_nowait>
    <thr_num>5</thr_num>
    <group_num>5</group_num>
    <worker_thr>4</worker_thr> #优化参数：单表计算md5的线程数，有效值：[1, 64], 默认为4.只对没有大字段和LONG类型的表有效
    <database>
        <char_code>PG_GB18030</char_code>
        <type>oracle19c</type>
        <server>192.168.10.101</server>
        <port>5236</port>
        <uid>SYSDBA</uid>
        <psw>SYSDBA</psw>
    </database>
</agent>

（2）达梦端配置agent.xml（dmdba用户）

vim /home/dmdba/dmhs/bin/agent.xml
<?xml version="1.0" encoding="utf-8"?>
<agent>
    <port>2347</port>
    <lang>en</lang>
    <max_session>50</max_session>
    <thr_num>5</thr_num>
    <group_num>5</group_num>
    <worker_thr>4</worker_thr> #优化参数：单表计算md5的线程数，有效值：[1, 64], 默认为4.只对没有大字段和LONG类型的表有效
    <database>
        <char_code>PG_GB18030</char_code>
        <type>DM8</type>
        <server>192.168.10.100</server>
        <port>5236</port>
        <uid>SYSDBA</uid>
        <psw>SYSDBA</psw>
    </database>
</agent>

6、启动agent进程

（1）启动Oracle端Agent（oracle用户）

nohup /home/oracle/dmhs/bin/dmhs_veri_agent_ora /home/oracle/dmhs/bin/agent.xml -noconsole >> /home/home/oracle/dmhs/bin/log/dmhs_veri_agent_dm.log 2>&1 &

（2）启动达梦端Agent（dmdba用户）

nohup /home/dmdba/dmhs/bin/dmhs_veri_agent_dm8 /home/dmdba/dmhs/bin/agent.xml -noconsole >> /home/dmdba/dmhs/bin/log/dmhs_veri_agent_dm.log 2>&1 &

7、Oracle端编辑veri.xml配置文件（oracle用户）

<?xml version="1.0" encoding="utf-8"?>
<veri>
    <lang>en</lang>
    <max_thr>1</max_thr> #最大线程对数，范围为[1, 10000]
    <max_obj_thr>10</max_obj_thr>
    <report_left_num>100</report_left_num>
    <max_out_sync>1000</max_out_sync>
    <col_opt>0</col_opt>
    <report_dir>/home/oracle/report</report_dir>
    <temp_dir>/dmhs_temp_dir</temp_dir>
    <down_file>0</down_file>
    <mem_size>30</mem_size> #使用内存限制，默认10GB ；单位GB。
    <report_buf_size>0</report_buf_size> #记录差异比对记录的最大缓存容量；当设置为0时，不缓存；默认生效，默认值256MB；以MB为单位。
    <max_queue>200</max_queue>
    <char_code>PG_GB18030</char_code>
    <src>
        <agent_server>192.168.10.101</agent_server>
        <port>2347</port>
        <db_type>oracle19c</db_type>
        <odbc_str>
            <driver>dsn=ORACLE19C</driver>
            <db_server>192.168.10.101</db_server>
            <db_user>TEST</db_user>
            <db_pwd>TEST</db_pwd>
            <db_port>5236</db_port>
        </odbc_str>
    </src>
    <dest>
        <agent_server>192.168.10.100</agent_server>
        <port>2347</port>
        <db_type>DM8</db_type>
        <odbc_str>
            <driver>dsn=DM8</driver>
            <db_server>192.168.10.100</db_server>
            <db_user>SYSDBA</db_user>
            <db_pwd>SYSDBA</db_pwd>
            <db_port>5236</db_port>
        </odbc_str>
    </dest>
</veri>

8、Oracle端编辑job.xml配置文件（oracle用户）

vim /home/oracle/dmhs/bin/job.xml
<?xml version="1.0" encoding="GB2312" ?>
<job>
    <name>job</name>
    <table_list>
            <table_info>
                <table_name>USERA.*==USERA.*</table_name>
            </table_info>
            <table_info>
                <table_name>USERB.*==USERB.*</table_name>
            </table_info>
    </table_list>
</job>

9、开始对比（oracle用户）

cd home/oracle/dmhs/bin/

（1）指定jobfile进行对比，对比指定用户下的所有表

./dmhs_veri conf=veri.xml jobfile=job.xml no_lob=1 mode=normal count=1

（2）指定jobfile进行对比，对比时指定单张表中满足条件的部分数据

--A.创建jobfile

vim /home/oracle/dmhs/bin/table1.xml
<?xml version="1.0" encoding="GB2312" ?>
<job>
    <name>tab1</name>
    <table_list>
            <table_info>
                <table_name>USERA.TABLE1==USERA.TABLE1</table_name>
            </table_info>
    </table_list>
</job>

 --B.执行数据对比

./dmhs_veri conf=veri.xml jobfile=TABLE1.xml no_lob=1 mode=normal cond="(ID>1 and NAME LIKE '刘%') or (JOIN_DATE>20231001 and EMP_NO<'1122334')"

#参数含义补充
COND：WHERE条件，同时加到源端数据库和目的端数据库
COND_SRC：WHERE条件，源端数据库
COND_DEST：WHERE条件，目的端数据库

（3）指定多张表，带where条件

--A.创建jobfile

vim /home/oracle/dmhs/bin/all_table.xml
<?xml version="1.0" encoding="GB2312" ?>
<job>
    <name>all_table</name>
    <table_list>
        <table_info>
            <table_name>USERA.TABLE1==USERA.TABLE1</table_name>
            <col_map_flag>3</col_map_flag> #参数说明：列映射配置标记，0不进行列映射，3表示普通列映射，例如“C1==D1”
            <tab_cmp_flag>0</tab_cmp_flag> #参数说明：0表示表结构和表数据都对比；1表示只需对比表结构。
            <row_partition_src>  #参数说明：行分区功能，依据条件选取表中部分行进行对比。仅仅在静态对比模式下有效，此处控制源AGENT查询条件。
                <![CDATA[ "ID" < 1000]]>
            </row_partition_src>
            <row_partition_dest> #参数说明：行分区功能，依据条件选取表中部分行进行对比。仅仅在静态对比模式下有效，此处控制目的AGENT查询条件。
                <![CDATA[ "ID" < 1000]]>
            </row_partition_dest>
            <key_list> #主键列，若没有可忽略
                <col>ID==ID</col>
            </key_list> 
            <col_list>
                <col>NAME==NAME</col>
            </col_list>  #列对比
            <col_list>
                <col>SEX==GENDER</col>
            </col_list>  #列对比
        </table_info>
        <table_info>
            <table_name>USERA.TABLE2==USERA.TABLE2</table_name>
            <col_map_flag>3</col_map_flag>
            <tab_cmp_flag>0</tab_cmp_flag>
        </table_info>
    </table_list>
</job>

--B.执行数据对比

./dmhs_veri conf=veri.xml jobfile=TABLE1.xml no_lob=1 mode=normal