minio服务数据迁移-rclone迁移工具

一、背景：

在生产运行过程中经常有遇见数据迁移的工作，这里介绍了如何进行minio服务的数据迁移过程。

二、迁移思路：

1. minio服务/集群的数据迁移思路是需要新建一个配置、密码一样的minio服务/集群；
2. 在中间服务器上安装rclone工具，确保该服务器能访问新旧的minio服务/集群；
3. 修改rclone配置文件，明确源端和目标配置；sync支持增量同步，可以工作时间做好全量迁移，在迁移时进行增量迁移；
4. 执行sync命令进行数据同步工作；
5. 验证业务是否恢复正常；

三、迁移过程：

（一）、创建目标minio服务

创建目标端端minio服务/集群。这里忽略；

（二）、在中间服务器上安装rclone服务

1.安装包上传虚机/home路径

#?/home/rclone-v1.62.2-linux-amd64.zip

2.安装解压缩服务

# yum -y install unzip

3.解压

# unzip rclone-v1.62.2-linux-amd64.zip

4.赋执行权

chmod +x?/home/rclone-v1.62.2-linux-amd64/rclone

5.生成配置文件

rclone生成的文件路径：/root/.config/rclone/rclone.conf

# pwd? /home/rclone-v1.62.2-linux-amd64 配置文件生成 #?./rclone config Current remotes: n) New remote s) Set configuration password q) Quit config n/s/q> q 注：这里不需要通过这种方式直接去修改配置，可以直接修改配置文件的。

（三）、配置rclone数据同步配置文件

# cat /root/.config/rclone/rclone.conf 
[old] #历史minio服务
type = s3
provider = Minio
env_auth = false
access_key_id = xxxxxx
secret_access_key = xxxxxx
region = cn-east-1
endpoint = http://10.0.176.163:22829
location_constraint = 
server_side_encryption = 
 
[new] #新minio服务
type = s3
provider = Minio
env_auth = false
access_key_id = xxxxxx
secret_access_key = xxxxxx
region = cn-east-1
endpoint = http://10.0.176.163:20445
location_constraint = 
server_side_encryption = 

注：这里需要修改的地方有如下：

minio服务的access值：

access_key_id = xxxxxx

minio服务的secret值：

secret_access_key = xxxxxx

minio服务的地址：

endpoint = http://10.0.176.163:22829

（四）、执行数据同步命令?

将源端数据同步到目标端，只更新目的地址的数据。获取源集群Buckets名称；

（1）执行迁移

rclone 命令格式

rclone sync old:Buckets?new:Buckets

执行迁移

1、进入rclone解压目录 # cd /home/rclone-v1.62.2-linux-amd64 2、Buckets名称保持一致，执行等待 #./rclone sync old:nacos?new:nacos

（五）、验证数据?

验证目标端端数据是否和源端是否一致，就是直接登入到minio服务上，对接数据即可。

?到此，minio服务的数据同步就完成了，数据同步的时间，跟数据量有关的，一个桶里的数据很大，同步就慢。?