MINIO数据迁移工具RCLONE

https://www.freesion.com/article/16041337993/

rclone 实现阿里OSS同步到Minio

1、云原生时代的文件同步神器rclone

Rclone是一个命令行程序，用于管理云存储上的文件，支持在不同对象存储、网盘间同步、上传、下载数据。他打包了各大供应商云存储的接口提供统一的访问界面。rclone支持40多种云存储产品，包括对象存储、企业和消费者文件存储、服务以及标准传输协议。

包括Dropbox、Box、Onedrive、Gdrive、Mega、S3、MINIO、Alioss等在内的主流网盘中的各类资源，同时实用的挂载功能能够把网盘挂载到本地（OpenVZ架构的VPS不支持挂载）服务于Aria2、CloudTorrent等下载工具以及FileBrowser等私人网盘工具。

2、下载安装rclone

#下载地址，如果慢，可以直接下载到本地再上传linux
wget https://downloads.rclone.org/rclone-current-linux-amd64.zip
# 解压
unzip rclone-current-linux-amd64.zip
# 授权
chmod 777 ./rclone-*/rclone
# 复制命令到bin
cp ./rclone-*/rclone /usr/bin/
# 删除目录
rm -rf ./rclone-*

3、配置数据源参数

rclone config

输入之后可以按照提示配置参数，之后生成一个配置文件，可以直接修改

/root/.config/rclone/rclone.conf

我的配置文件：

[myminio] #这个名字可以自定义
type = s3 #类型是s3 
provider = Minio #供应商是Minio
env_auth = false
access_key_id = xxxx #Minio安装时配置的账号
secret_access_key = xxxxxx #Minio安装时配置的密码
region = cn-east-1
endpoint = http://ip:9000  #Minio 服务API的地址（不是控制台的地址）   

[aliyunoss]
type = s3 #类型是s3 
provider = Alibaba #供应商是Alibaba
access_key_id = xxxxxxxxxxxxxx #阿里云控制台获取
secret_access_key = xxxxxxxxxxxxxxxxxxxxxx #阿里云控制台获取
endpoint = oss-cn-shanghai.aliyuncs.com #根据阿里云oss所属地区参照下方对照表
acl = public-read
storage_class = STANDARD
bucket_acl = public-read

阿里云对象存储OSS开通Region和Endpoint对照表

到此就配置好了两个网盘

4、执行同步命令

rclone sync aliyunoss:zboot myminio:zboot

等待执行完成即可，没有报错则表示同步成功，上minio控制台可以看到数据完成同步回来了

5、定时同步

配置定时任务

crontab -e

添加一个定时任务

#定时每分钟执行同步数据，从aliyunoss的zboot桶 到 myminio的zboot桶，并输出异常日志文件
1 * * * * rclone sync aliyunoss:zboot myminio:zboot  >> /usr/local/rclone.log 2>&1

重新加载crontab

service crond reload 

重启服务

service crond restart