GBASE南大通用-Base 8a集群同步工具超详细指南 手把手带您玩转灾备

1工具介绍

GBase 8a集群间同步工具是基于集群的底层二进制数据同步的工具，其同步的对象是库内的数据，通过解析、对比智能索引中摘要信息的变化，来实现同构集群的同构表的数据复制功能，目前已经支持图形化操作，主要功能点：

1．支持增量和全量两种数据同步方式；

2．支持落盘数据的回读校验；

3．支持主备分片同时同步；

4．支持先同步主分片，主分片成功后再同步备份分片；

5．支持使用普通数据库用户进行同步；

6．支持主集群源表重组后备集群的空间回收;

7．支持备集群同步表自动创建;

8．支持同步限制带宽;

9．支持同步数据二次压缩传输;

10．支持主备集群跨网段同步（ip mapping映射）。

2安装部署

集群间同步工具可部署在与主备集群网络互通的任意服务器上，使用前将安装包拷贝至执行用户具有读写权限的目录下，直接解压即可。

1.解压命令：

$ tar -xif gcluster_rsynctool-9.5.3.28.2-redhat7-x86_64.tar.bz2

2.部署示意图：

使用参数说明

命令格式：

Usage: gcluster_rsynctool.py [option]

Options:

-h, --help

含义：显示工具帮助信息

参数类型：可选参数, 取值范围：无

注意事项和使用限制：指定该参数直接显示帮助信息后工具退出运行

-v, --version

含义：显示工具版本信息

参数类型：可选参数，取值范围：无

注意事项和使用限制：指定该参数直接显示帮助信息后工具退出运行

--master_mpp_ip=MASTER_MPP_IP

含义：用于指定主集群的coordinator 任一节点IP地址，

参数类型：必选参数

注意事项和使用限制：只支持IPV4格式的IP地址

--master_mpp_gc_port=MASTER_MPP_GC_PORT?

含义：用于指定主集群的coordinator端口信息

参数类型：可选参数，取值范围【default:5258, min:1，max:65536】

注意事项和使用限制：如端口信息不是默认值，请指定该参数

--master_mpp_gn_port=MASTER_MPP_GN_PORT?

含义：用于指定主集群的gnode端口信息

参数类型：可选参数，取值范围【default: 5050,min:1，max:65536】

注意事项和使用限制：如端口信息不是默认值，请指定该参数

--slave_mpp_ip=SLAVE_MPP_IP

含义：用于指定备集群的coordinator 任一节点 IP地址

参数类型：必选参数

注意事项和使用限制：只支持IPV4格式的IP地址

--slave_mpp_gc_port=SLAVE_MPP_GC_PORT?

含义：用于指定备集群的coordinator端口信息

参数类型：可选参数，取值范围【default:5258，min:1，max:65536】

注意事项和使用限制：如端口信息不是默认值，请指定该参数

--slave_mpp_gn_port=SLAVE_MPP_GN_PORT?

含义：用于指定备集群的gnode端口信息

参数类型：可选参数， 取值范围【default: 5050，min:1，max:65536】

注意事项和使用限制：如端口信息不是默认值，请指定该参数

--database_user=DATABASE_USER??

含义：用于指定连接主、备集群的数据库用户

参数类型：必选参数

注意事项和使用限制：需要具有访问‘table_list_file’中定义的表的权限，该用户需要同时存在于主备集群。

--master_mpp_gc_pw=MASTER_MPP_GC_PW?

含义：用于指定主集群的数据库用户密码

参数类型：必选参数

注意事项和使用限制：如果数据库用户密码不是默认值，请指定该参数

--slave_mpp_gc_pw=SLAVE_MPP_GC_PW?

含义：用于指定备集群的数据库用户密码

参数类型：必选参数，

注意事项和使用限制：如果数据库用户密码不是默认值，请指定该参数

--table_list_file=TABLE_LIST_FILE?

含义：用于被同步表的配置文件

参数类型：必选参数

注意事项和使用限制：文件名，该文件内容为需要同步的表列表，可以只有一张表。文件内容格式为DBName.TBName，用换行符进行分割，支持windows换行符和linux换行符，但必须统一，即文件内只能出现一种换行符。

--table_parallel_degree=TABLE_PARALLEL_DEGREE?

含义：用于指定集群间同步每次并行同步的表的数量

参数类型：可选参数， 取值范围【default:1，min:1, max:128】

注意事项和使用限制：该参数需要根据主、备集群负载，业务并行度进行调节；当作业并行度低，主备集群负载不高的情况下，可适当增大该配置参数

--lock_table_timeout=LOCK_TABLE_TIMEOUT??

含义：用于指定集群间同步工具对主集群、备集群表加锁的超时时间

参数类型：可选参数， 取值范围【unit:second,default:600，min:1, max:3600】

注意事项和使用限制：由于锁是用来互斥表的写操作，该参数需要根据表的写操作最大时间进行适当延长；

--retry_times=RETRY_TIMES ?

含义：用于指定底层分片对分片的同步失败后的重试次数

参数类型：可选参数， 取值范围【unit:次,default:1，min:1, max:10】

注意事项和使用限制：该参数主要取决于网络状态，在网络状态不佳（闪断、网络阻塞）的情况下，会出现分片对分片的同步失败情况，需要重试来保障同步成功，需要根据网络状态进行适当的调大；

--retry_interval=RETRY_INTERVAL

含义：用于指定底层分片对分片的同步失败后的每次重试的时间间隔

参数类型：可选参数， 取值范围【unit:second,default:10，min:1, max:1800】

注意事项和使用限制：该参数主要取决于网络状态，在网络状态不佳（闪断、网络阻塞）的情况下，会出现分片对分片的同步失败情况，失败后需要等待一段时间，期待网络恢复，然后再进行尝试，这个参数只是一个经验参数，不能确保等待一段时间后网络一定会恢复完，并且同步成功；

--sync_mode=SYNC_MODE?

含义：用于指定数据同步的模式【粗糙过滤，增量同步，全量同步】

参数类型：可选参数， 取值范围【default:2，min:1, max:3】

注意事项和使用限制：

参数取值含义和使用场景：

1:粗糙过滤：

含义：进行表的变更标识检查，如主备集群的表变更标识相同，直接跳过该表，不做同步；表的变更标识不同，再做每个列级别的变更标识检查，进行增量同步；

适用场景: 该参数值适用于备集群初始化完毕后，增量数据的同步，这种情况下建议使用该参数；

2:增量同步：

含义：不做表的变更标识检查，直接做每个列级别的变更标识检查，进行增量同步;

适用场景：该参数值适用于备集群初始化完毕后，增量数据的同步，该参数是由于版本迭代历史原因保留，完全是为了版本兼容性；

3:全量同步：

含义：不做任何级别的变更标识检查，直接用主机群的数据覆盖备集群的数据;

适用场景：该参数值适用于需要人为覆盖备集群的所有数据时，这种情况一般发生在如下几种情况：

1）对备份集群的表进行过手动修改，数据已经不可信；

2）备集群的表数据发生损坏，需要重建修复；

3）备集群初始化；

--error_table_list_file=ERROR_TABLE_LIST_FILE?

含义：用于指定同步失败的表存储的文件

参数类型：可选参数， 取值范围【default: 当前目录/${table_list_filename }_error_table_list_%Y_%m_%d-%H:%M:%S.log】

注意事项和使用限制：文件内容格式为DBName.TBName，用换行符进行分割。可选参数，参数默认值为当前目录，名称默认为${table_list_filename }_error_table_list_%Y_%m_%d-%H:%M:%S.log，内容格式为db.tb 每行一个，多行存储；该文件每次调用工具覆盖

--log_name=LOG_NAME??

含义：用于指定工具日志的存储文件

参数类型：可选参数， 取值范围【default: 当前目录/gcluster_rsynctool_yyyy_mm_dd.log】

注意事项和使用限制：指定的目录位置要有工具执行用户的写权限

--log_level=LOG_LEVEL?

含义：用于指定工具日志级别

参数类型：可选参数，取值范围【default:3，min:0, max:5】

注意事项和使用限制：

0: nolog level;

1: critical level;

2: error level;

3: warning level ;

4: info level;

5: debug level;?

--rsync_mode=RSYNC_MODE?

含义：用于指定工具调度模式

参数类型：可选参数，取值范围【default:2，min:0, max:2】

注意事项和使用限制：

0:主分片同步，备分片设定状态

含义：只同步备集群表的一组分片，其他备份的分片设定状态， 通过集群内部的自动恢复机制进行恢复

适用场景：该参数值不建议使用，仅仅为了版本兼容保留

1: 主备同时同步

含义：同时同步备集群的主、备分片，单表同步的性能能够达到最大化

适用场景：该参数值不建议使用，存在一个分片的主备都同步失败，表不可用的情况，该参数是当初设计是为了数据安全性不高的场景；

2: 先主后备同步方式.

含义：先同步备集群表的主分片，主分片同步成功后再同步备分片，确保备集群的表在同步失败后存在一组可用分片，用来回滚同步操作；

适用场景：建议使用该参数，保证备集群表的数据安全；

--double_check??

含义：用于指定是否启用回读校验

参数类型：可选参数，无参参数，取值范围【default:false】

注意事项和使用限制：数据写入磁盘后，回读检查备集群表数据；该参数会降低同步的性能，同时增加备集群的磁盘IO消耗；可以在部署初期为了验证同步的正确性时采用；

--slave_create_table_if_not_exists

含义：是否启用在备集群建表

参数类型：可选参数，取值范围【default:false】

参数使用注意事项：

该参数在启用后，会在slave需要建表时，使用集群间同步工具指定的databaser_user建表，如master上的表不是由该用户建立，会导致slave上出现异常，异常包括但不限于：建表不成功，该表建立后权限存在问题，表的UID不是预期的UID，资源管理的磁盘空间限制出错等现象，所以启用该参数时，需要使用者严格按照被同步的表都是指定的databaser_user的表。

--master_mpp_ip_mapping_file=MASTER_MPP_IP_MAPPING_FILE

含义：用于存储主集群ip mapping映射的文件

参数类型：可选参数

参数使用注意事项：

该参数用于IP mapping映射功能，如果在V9.5.3版本使用，需先修改如下配置文件方可正常同步：

1：修改集群节点的synctool配置文件，添加以下对外绑定ip和端口，然后重启syncserver服务

BIND_ADDRESS_ADDITIONAL=对外绑定IP

SERVER_PORT_ADDITIONAL=端口

2：修改集群节点gbase配置文件，添加以下对外绑定ip和端口，然后重启gbase服务

bind-address_additional=对外绑定ip

port_additional=端口

3：手动配置好主备集群ip mapping转换规则，以一个数据节点为例，转换规则配置如下：

这里from是节点对内ip，to是需要转换的对外ip，GNPORT是gbase的对外端口，SYNCPORT是synctool的对外端口。

注意这里的对外ip要与前面的gbase，syncserver的对外绑定ip一致，端口也是一样，GNPORT要与gbase的port_additional一致，SYNCPORT要与SERVER_PORT_ADDITIONAL一致。格式如下：

{

??? "OWNER":"MASTER",

??? "IPMAPPING":[

??????? {

??????????? "FROM":"192.168.8.147",

??????????? "TO":"100.100.100.147",

??????????? "GNPORT":"5060",

??????????? "SYNCPORT":"5289"

??????? }

??? ]

}

注，在V9.5.2版本使用ip mapping映射功能，可省略步骤1）和步骤2），且步骤3）中的ip mapping转换规则无需指定GNPORT和SYNCPORT端口参数，默认采用5050作为对外端口。

--slave_mpp_ip_mapping_file=SLAVE_MPP_IP_MAPPING_FILE

含义：用于存储备集群ip mapping映射的文件

参数类型：可选参数

参数使用注意事项：参考--master_mpp_ip_mapping_file。

格式如下：

{

??? "OWNER":"SLAVE",

??? "IPMAPPING":[

??????? {

??????????? "FROM":"192.168.8.148",

??????????? "TO":"100.100.100.148",

??????????? "GNPORT":"5060",

??????????? "SYNCPORT":"5289"

??????? }

??? ]

}

--sync_network_bandwidch

含义：用于指定同步数据传输的带宽

参数类型：可选参数，取值范围【unit:M/s,default:0】

参数使用注意事项：

为节省带宽，可对同步进行限流，在单机层synctool.cnf中进行如下配置：

BANDWIDTH_QOS_SWITCH=1 (1为打开限速功能，0为关闭，默认关闭)

另，为节省带宽，也可对同步进行传输数据进行二次压缩，在单机层synctool.cnf中进行如下配置即可，同步语句中无需再指定参数：

COMPRESSED_SWITCH=1 (1为打开压缩传输功能，0为关闭，默认关闭)

限速和压缩功能可分别或同时开启，参数名必须为大写。

3操作示例

1、兼容模式集群之间的同步

1）主备集群架构：

兼容模式：2个节点，p 1 d 1

2）主备集群建表：

drop database if exists test;

create database test;

use test;

create table t(a int)distributed by ('a');

3）主集群插入数据：

insert into t values(1),(2),(3),(4),(5),(6),(7),(8),(9),(0);

4）编写同步表列表文件，比如t.txt：

$ cat t.txt:

test.t

5）执行同步命令：

$ ./gcluster_rsynctool.py --master_mpp_ip=10.10.3.193 --slave_mpp_ip=10.10.3.168 --master_mpp_gc_pw=***** --slave_mpp_gc_pw=***** --table_list_file=t.txt

注：默认采用--sync_mode增量同步

2、兼容模式集群之间的同步

1）主备集群架构：

vc模式：单vc含2个节点，p 1 d 1

2）主备集群建表：

use vc vc1;

drop database if exists test;

create database test;

use test;

create table t(a int)distributed by ('a');

3）主集群插入数据：

insert into t values(1),(2),(3),(4),(5),(6),(7),(8),(9),(0);

4）编写同步表列表文件，比如t.txt：

$ cat t.txt:

test.t

5）执行同步命令：

$ ./gcluster_rsynctool.py --master_mpp_ip=10.10.3.193 --slave_mpp_ip=10.10.3.168 --master_mpp_gc_pw=***** --slave_mpp_gc_pw=***** --table_list_file=t.txt --sync_vc_name=vc1

注：每次只能同步同一vc的数据表，且--table_list_file内容格式为dbname.tbname不包含vc名

3、限制带宽同步

1）主备集群架构：单实例：单vc含2个节点，p 1 d 1

2）主备集群建表：

use vc vc1;

drop database if exists test;

create database test;

use test;

create table t(a int)distributed by ('a');

3）主集群插入数据：

insert into t values(1),(2),(3),(4),(5),(6),(7),(8),(9),(0);

4）编写同步表列表文件：

$ cat t.txt:

test.t

5）主备集群各单机配置文件synctool.conf添加参数：

BANDWIDTH_QOS_SWITCH=1

6）执行同步命令：

$ ./gcluster_rsynctool.py --master_mpp_ip=10.10.3.193 --slave_mpp_ip=10.10.3.168 --master_mpp_gc_pw=***** --slave_mpp_gc_pw=***** --table_list_file=t.txt --sync_vc_name=vc1 ?--sync_network_bandwidth=100

注，主备集群所有data节点均需添加限速参数BANDWIDTH_QOS_SWITCH=1，且必须大写，修改后重启syncserver服务。若主备集群是否限速配置不一致，则同步失败。

4、压缩传输同步

1）主备集群架构：单实例：单vc含2个节点，p 1 d 1

2）主备集群建表：

use vc vc1;

drop database if exists test;

create database test;

use test;

create table t(a int)distributed by ('a');

3）主集群插入数据：

insert into t values(1),(2),(3),(4),(5),(6),(7),(8),(9),(0);

4）编写同步表列表文件：

$ cat t.txt:

test.t

5）主备集群各单机配置文件synctool.conf添加参数：

COMPRESSED_SWITCH=1

6）执行同步命令：

$ ./gcluster_rsynctool.py --master_mpp_ip=10.10.3.193 --slave_mpp_ip=10.10.3.168 --master_mpp_gc_pw=***** --slave_mpp_gc_pw=*****??--table_list_file=t.txt --sync_vc_name=vc1

注，主备集群所有data节点均需添加压缩参数COMPRESSED_SWITCH=1，且必须大写，修改后重启syncserver服务。同步语句无需单独再指定参数。若主备集群是否压缩传输配置不一致，则同步失败。

5、多实例集群ip mapping映射同步

1）主备集群架构：多实例：单vc含4个节点，p 1 d 1，其中单物理机2个ip地址

2）网络配置，比如：

主集群网段为10.10.*.*，对外网段为10.40.*,*

备集群网段为10.11.*.*，对外网段为10.40.*,*

同步工具网段为10.40.*.*

主备集群间不互通，但均与rsynctool同步工具网络互通

3）主备集群建表：

use vc vc1;

drop database if exists test;

create database test;

use test;

create table t(a int)distributed by ('a');

4）主集群插入数据：

insert into t values(1),(2),(3),(4),(5),(6),(7),(8),(9),(0);

5）编写同步表列表文件：

$ cat t.txt:

test.t

6）主集群配置文件添加参数：

以其中一个节点10.10.3.193为例：

A）gbase_8a_gbase.cnf

bind_address_additional=10.40.1.127

port_additional=6001

B） synctool.conf

BIND_ADDRESS_ADDITIONAL=10.40.1.127

SERVER_PORT_ADDITIONAL=7001

同一物理机上的10.10.100.1节点：

A）gbase_8a_gbase.cnf

bind_address_additional=10.40.1.127

port_additional=6002

主集群ip mapping映射文件：

$ cat master_1

{

??? "OWNER":"MASTER",

??? "IPMAPPING":[

??????? {

??????????? "FROM":"10.10.3.193",

??????????? "TO":"10.40.1.127",

??????????? "GNPORT":"6001",

??????????? "SYNCPORT":"7001"

??????? },

??????? {

??????????? "FROM":"10.10.0.25",

??????????? "TO":"10.40.4.27",

??????????? "GNPORT":"6001",

??????????? "SYNCPORT":"7001"

??????? },

??????? {

??????????? "FROM":"10.10.100.1",

??????????? "TO":"10.40.1.127",

??????????? "GNPORT":"6002",

??????????? "SYNCPORT":"7002"

??????? },

??????? {

??????????? "FROM":"10.10.100.2",

??????????? "TO":"10.40.4.27",

??????????? "GNPORT":"6002",

??????????? "SYNCPORT":"7002"

??????? }

??? ]

}

7）备集群配置文件添加参数：

以其中一个节点10.10.3.168为例：

A）gbase_8a_gbase.cnf

bind_address_additional=10.40.2.228

port_additional=6001

B）synctool.conf

BIND_ADDRESS_ADDITIONAL=10.40.2.228

SERVER_PORT_ADDITIONAL=7001

同一物理机上的10.10.100.3节点

A）gbase_8a_gbase.cnf

bind_address_additional=10.40.2.228

port_additional=6002

B）synctool.conf

BIND_ADDRESS_ADDITIONAL=10.40.2.228

SERVER_PORT_ADDITIONAL=7002

备集群ip mapping映射文件：

$ cat slave_1

{

??? "OWNER":"SLAVE",

??? "IPMAPPING":[

??????? {

??????????? "FROM":"10.11.3.168",

??????????? "TO":"10.40.2.228",

??????????? "GNPORT":"6001",

??????????? "SYNCPORT":"7001"

??????? },

??????? {

??????????? "FROM":"10.11.2.209",

??????????? "TO":"10.40.2.98",

??????????? "GNPORT":"6001",

??????????? "SYNCPORT":"7001"

??????? },

?????? {

??????????? "FROM":"10.11.100.3",

??????????? "TO":"10.40.2.228",

??????????? "GNPORT":"6002",

??????????? "SYNCPORT":"7002"

??????? },

??????? {

??????????? "FROM":"10.11.100.4",

??????????? "TO":"10.40.2.98",

??????????? "GNPORT":"6002",

??????????? "SYNCPORT":"7002"

??????? }

??? ]

}

8）执行同步命令：

$ ./gcluster_rsynctool.py --master_mpp_ip=10.10.3.193 --slave_mpp_ip=10.10.3.168 --table_list_file=t.txt --master_mpp_gc_pw=*****

--slave_mpp_gc_pw=*****?

--master_mpp_ip_mapping_file=master_1 --slave_mpp_ip_mapping_file=slave_1 --sync_vc_name=vc1

注，mpping_file内容需与单机gbased及syncserver配置文件中的参数值一致，且参数名大小写严格匹配，修改后重启gbased及syncserver服务。若配置不一致，则同步失败。