docker minio进行数据迁移

使用rclone进行数据迁移是一种非常灵活且强大的方式,特别是在处理大规模数据集或跨云平台迁移时。rclone是一款开源的命令行工具,用于同步文件和目录到多种云存储服务,包括MinIO。下面是使用rclone进行数据迁移至MinIO的步骤和示例。

使用rclone迁移

下载地址

https://rclone.org/downloads/

Docker Minio rclone数据迁移_数据迁移

安装配置

#安装rmp
rpm -ivh rclone-v1.66.0-linux-amd64.rpm
#配置rclone
mkdir -p /root/.config/rclone/
touch /root/.config/rclone/rclone.conf
vim /root/.config/rclone/rclone.conf

文件内容:

[old]
type = s3
provider = Minio
env_auth=false
access_key_id = minio
secret_access_key = minio
region = 
endpoint = http://ip:9000

[new]
type = s3
provider = Minio
env_auth=false
access_key_id = minio
secret_access_key = minio
region = 
endpoint = http://ip:9000

查看配置信息

rclone config show

迁移命令

rclone sync -P old:bucket new:bucket

copy和sync命令的区别:

copy:增量复制,源文件删除再进行同步,新地址不会删除;
sync:同步数据,源服务某个文件被删除,新服务中对应文件也被删除。

Docker Minio rclone数据迁移_minio_02