达梦数据对比工具的部署与使用

1、拷贝达梦软件bin目录到Oracle服务器（root用户）

压缩Linux rh6 x86版本的达梦数据库bin目录，例如压缩文件为dmbin.tar.gz，将文件拷贝到Oracle服务器指定目录并解压（如：/home/oracle/dmbin），给目录/home/oracle/dmbin授予相关权限和用户组

chown -R oracle:oinstall /home/oracle/dmbin

2、配置ODBC连接Oracle数据库

（1）上传unixODBC源码文件，解压，编译安装（root用户）

tar -zxvf unixODBC-2.3.7.tar.gz
cd unixODBC-2.3.7
./configure --prefix=/usr/local/unixODBC-2.3.7 --includedir=/usr/include --libdir=/usr/lib --bindir=/usr/bin --sysconfdir=/etc --enable-gui=no
make
make install
ldconfig

#安装成功后，unixODBC所需的头文件都被安装到了/usr/inlucde下，编译好的库文件安装到了/usr/lib下，与unixODBC相关的可执行文件安装到了/usr/bin下，配置文件放到了/etc下。

（2）查看odbc版本，查看配置文件路径（root用户）

odbc_config --version
odbcinst -j

（3）配置odbc.ini和odbcinst.ini（root用户）

vi /etc/odbcinst.ini
[Oracle]
Description ? ? = ODBC DRIVER FOR ORACLE
Driver ? ? ? ? ?= /oracle/app/oracle/product/19.3.0/db/lib/libsqora.so.19.1
Threading ? ? ? = 0

#注意检查是否配置环境变量，主要为$ORACLE_HOME/lib是否配置

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib:/lib:/usr/lib

#查看动态库依赖关系，确保没有not found的依赖库，否则建议使用cp或做软链接的方式对缺失的动态依赖库进行补充，例如libclntsh.so.19.1和libodbcinst.so.2经常会找不到，ln -s source target创建软链接

ldd /oracle/app/oracle/product/19.3.0/db/lib/libsqora.so.19.1
? ? linux-vdso.so.1 => ?(0x00007ffd3a095000)
? ? libdl.so.2 => /lib64/libdl.so.2 (0x00007f86b275e000)
? ? libm.so.6 => /lib64/libm.so.6 (0x00007f86b245c000)
? ? libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f86b2240000)
? ? libnsl.so.1 => /lib64/libnsl.so.1 (0x00007f86b2026000)
? ? librt.so.1 => /lib64/librt.so.1 (0x00007f86b1e1e000)
? ? libaio.so.1 => /lib64/libaio.so.1 (0x00007f86b1c1c000)
? ? libresolv.so.2 => /lib64/libresolv.so.2 (0x00007f86b1a02000)
? ? libclntsh.so.19.1 => /oracle/app/oracle/product/19.3.0/db/lib/libclntsh.so.19.1 (0x00007f86ad9f4000)
? ? libclntshcore.so.19.1 => /oracle/app/oracle/product/19.3.0/db/lib/libclntshcore.so.19.1 (0x00007f86ad454000)
? ? libodbcinst.so.2 => /lib/libodbcinst.so.2 (0x00007f86ad239000)
? ? libc.so.6 => /lib64/libc.so.6 (0x00007f86ace6b000)
? ? /lib64/ld-linux-x86-64.so.2 (0x00007f86b2c1c000)
? ? libnnz19.so => /oracle/app/oracle/product/19.3.0/db/lib/libnnz19.so (0x00007f86ac723000)

vi /etc/odbc.ini
[ORACLE19C]
Description = ORACLE ODBC DSN
Driver = Oracle
ServerName = pdb01
PORT = 1521

（4）测试连接（oracle用户）

isql -v ORACLE19C TEST TEST

3、配置ODBC连接达梦数据库

（1）配置odbc.ini和odbcinst.ini（root用户）

vi /etc/odbcinst.ini
[DM ODBC DRIVER]
Description = ODBC DRIVER FOR DM
Driver = /home/oracle/dmbin/libdodbc.so

#注意检查是否配置环境变量，配置环境变量如下：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib:/lib:/usr/lib:/home/oracle/dmbin

vi /etc/odbc.ini
[DM8]
Description = DM ODBC DSN
Driver = DM ODBC DRIVER
SERVER = 192.168.10.100
UID = SYSDBA
PWD = SYSDBA
TCP_PORT = 5236

（2）测试连接（dmdba用户）

isql -v DM8 SYSDBA SYSDBA

4、在Oracle和达梦数据库服务器上分别安装DMHS软件

（1）Oracle端创建目录/home/oracle/dmhs，安装到此目录，使用oracle用户安装

（2）达梦端创建目录/home/dmdba/dmhs，安装到此目录，使用dmdba用户安装

以上安装时均选择试用、完整版安装，其他一路回车即可，安装过程省略。

5、编辑agent.xml配置文件

（1）Oracle端配置agent.xml（oracle用户）

vim /home/oracle/dmhs/bin/agent.xml
<?xml version="1.0" encoding="utf-8"?>
<agent>
? ? <port>2347</port>
? ? <lang>en</lang>
? ? <max_session>50</max_session>
? ? <lock_nowait>1</lock_nowait>
? ? <thr_num>5</thr_num>
? ? <group_num>5</group_num>
? ? <worker_thr>4</worker_thr> #优化参数：单表计算md5的线程数，有效值：[1, 64], 默认为4.只对没有大字段和LONG类型的表有效
? ? <database>
? ? ? ? <char_code>PG_GB18030</char_code>
? ? ? ? <type>oracle19c</type>
? ? ? ? <server>192.168.10.101</server>
? ? ? ? <port>5236</port>
? ? ? ? <uid>SYSDBA</uid>
? ? ? ? <psw>SYSDBA</psw>
? ? </database>
</agent>

（2）达梦端配置agent.xml（dmdba用户）

vim /home/dmdba/dmhs/bin/agent.xml
<?xml version="1.0" encoding="utf-8"?>
<agent>
? ? <port>2347</port>
? ? <lang>en</lang>
? ? <max_session>50</max_session>
? ? <thr_num>5</thr_num>
? ? <group_num>5</group_num>
? ? <worker_thr>4</worker_thr> #优化参数：单表计算md5的线程数，有效值：[1, 64], 默认为4.只对没有大字段和LONG类型的表有效
? ? <database>
? ? ? ? <char_code>PG_GB18030</char_code>
? ? ? ? <type>DM8</type>
? ? ? ? <server>192.168.10.100</server>
? ? ? ? <port>5236</port>
? ? ? ? <uid>SYSDBA</uid>
? ? ? ? <psw>SYSDBA</psw>
? ? </database>
</agent>

6、启动agent进程

（1）启动Oracle端Agent（oracle用户）

nohup /home/oracle/dmhs/bin/dmhs_veri_agent_ora /home/oracle/dmhs/bin/agent.xml -noconsole >> /home/home/oracle/dmhs/bin/log/dmhs_veri_agent_dm.log 2>&1 &

（2）启动达梦端Agent（dmdba用户）

nohup /home/dmdba/dmhs/bin/dmhs_veri_agent_dm8 /home/dmdba/dmhs/bin/agent.xml -noconsole >> /home/dmdba/dmhs/bin/log/dmhs_veri_agent_dm.log 2>&1 &

7、Oracle端编辑veri.xml配置文件（oracle用户）

<?xml version="1.0" encoding="utf-8"?>
<veri>
? ? <lang>en</lang>
? ? <max_thr>1</max_thr> #最大线程对数，范围为[1, 10000]
? ? <max_obj_thr>10</max_obj_thr>
? ? <report_left_num>100</report_left_num>
? ? <max_out_sync>1000</max_out_sync>
? ? <col_opt>0</col_opt>
? ? <report_dir>/home/oracle/report</report_dir>
? ? <temp_dir>/dmhs_temp_dir</temp_dir>
? ? <down_file>0</down_file>
? ? <mem_size>30</mem_size> #使用内存限制，默认10GB ；单位GB。
? ? <report_buf_size>0</report_buf_size> #记录差异比对记录的最大缓存容量；当设置为0时，不缓存；默认生效，默认值256MB；以MB为单位。
? ? <max_queue>200</max_queue>
? ? <char_code>PG_GB18030</char_code>
? ? <src>
? ? ? ? <agent_server>192.168.10.101</agent_server>
? ? ? ? <port>2347</port>
? ? ? ? <db_type>oracle19c</db_type>
? ? ? ? <odbc_str>
? ? ? ? ? ? <driver>dsn=ORACLE19C</driver>
? ? ? ? ? ? <db_server>192.168.10.101</db_server>
? ? ? ? ? ? <db_user>TEST</db_user>
? ? ? ? ? ? <db_pwd>TEST</db_pwd>
? ? ? ? ? ? <db_port>5236</db_port>
? ? ? ? </odbc_str>
? ? </src>
? ? <dest>
? ? ? ? <agent_server>192.168.10.100</agent_server>
? ? ? ? <port>2347</port>
? ? ? ? <db_type>DM8</db_type>
? ? ? ? <odbc_str>
? ? ? ? ? ? <driver>dsn=DM8</driver>
? ? ? ? ? ? <db_server>192.168.10.100</db_server>
? ? ? ? ? ? <db_user>SYSDBA</db_user>
? ? ? ? ? ? <db_pwd>SYSDBA</db_pwd>
? ? ? ? ? ? <db_port>5236</db_port>
? ? ? ? </odbc_str>
? ? </dest>
</veri>

8、Oracle端编辑job.xml配置文件（oracle用户）

vim /home/oracle/dmhs/bin/job.xml
<?xml version="1.0" encoding="GB2312" ?>
<job>
? ? <name>job</name>
? ? <table_list>
? ? ? ? ? ? <table_info>
? ? ? ? ? ? ? ? <table_name>USERA.*==USERA.*</table_name>
? ? ? ? ? ? </table_info>
? ? ? ? ? ? <table_info>
? ? ? ? ? ? ? ? <table_name>USERB.*==USERB.*</table_name>
? ? ? ? ? ? </table_info>
? ? </table_list>
</job> ? ?

9、开始对比（oracle用户）

cd home/oracle/dmhs/bin/

（1）指定jobfile进行对比，对比指定用户下的所有表

./dmhs_veri conf=veri.xml jobfile=job.xml no_lob=1 mode=normal count=1

（2）指定jobfile进行对比，对比时指定单张表中满足条件的部分数据

--A.创建jobfile

vim /home/oracle/dmhs/bin/table1.xml
<?xml version="1.0" encoding="GB2312" ?>
<job>
? ? <name>tab1</name>
? ? <table_list>
? ? ? ? ? ? <table_info>
? ? ? ? ? ? ? ? <table_name>USERA.TABLE1==USERA.TABLE1</table_name>
? ? ? ? ? ? </table_info>
? ? </table_list>
</job> ? 

?--B.执行数据对比

./dmhs_veri conf=veri.xml jobfile=TABLE1.xml no_lob=1 mode=normal cond="(ID>1 and NAME LIKE '刘%') or (JOIN_DATE>20231001 and EMP_NO<'1122334')"

#参数含义补充
COND：WHERE条件，同时加到源端数据库和目的端数据库
COND_SRC：WHERE条件，源端数据库
COND_DEST：WHERE条件，目的端数据库

（3）指定多张表，带where条件

--A.创建jobfile

vim /home/oracle/dmhs/bin/all_table.xml
<?xml version="1.0" encoding="GB2312" ?>
<job>
? ? <name>all_table</name>
? ? <table_list>
? ? ? ? <table_info>
? ? ? ? ? ? <table_name>USERA.TABLE1==USERA.TABLE1</table_name>
? ? ? ? ? ? <col_map_flag>3</col_map_flag> #参数说明：列映射配置标记，0不进行列映射，3表示普通列映射，例如“C1==D1”
? ? ? ? ? ? <tab_cmp_flag>0</tab_cmp_flag> #参数说明：0表示表结构和表数据都对比；1表示只需对比表结构。
? ? ? ? ? ? <row_partition_src> ?#参数说明：行分区功能，依据条件选取表中部分行进行对比。仅仅在静态对比模式下有效，此处控制源AGENT查询条件。
? ? ? ? ? ? ? ? <![CDATA[ "ID" < 1000]]>
? ? ? ? ? ? </row_partition_src>
? ? ? ? ? ? <row_partition_dest> #参数说明：行分区功能，依据条件选取表中部分行进行对比。仅仅在静态对比模式下有效，此处控制目的AGENT查询条件。
? ? ? ? ? ? ? ? <![CDATA[ "ID" < 1000]]>
? ? ? ? ? ? </row_partition_dest>
? ? ? ? ? ? <key_list> #主键列，若没有可忽略
? ? ? ? ? ? ? ? <col>ID==ID</col>
? ? ? ? ? ? </key_list>?
? ? ? ? ? ? <col_list>
? ? ? ? ? ? ? ? <col>NAME==NAME</col>
? ? ? ? ? ? </col_list> ?#列对比
? ? ? ? ? ? <col_list>
? ? ? ? ? ? ? ? <col>SEX==GENDER</col>
? ? ? ? ? ? </col_list> ?#列对比
? ? ? ? </table_info>
? ? ? ? <table_info>
? ? ? ? ? ? <table_name>USERA.TABLE2==USERA.TABLE2</table_name>
? ? ? ? ? ? <col_map_flag>3</col_map_flag>
? ? ? ? ? ? <tab_cmp_flag>0</tab_cmp_flag>
? ? ? ? </table_info>
? ? </table_list>
</job> ? ?

--B.执行数据对比

./dmhs_veri conf=veri.xml jobfile=TABLE1.xml no_lob=1 mode=normal