minio+avc+rclone 集成试用
原创
©著作权归作者所有:来自51CTO博客作者rongfengliang的原创作品,请联系作者获取转载授权,否则将追究法律责任
avc 可以试用类似git 的模式管理数据支持版本以及变动,tag,以下是一个简单的集成试用
环境准备
- 安装avc+rclone 工具
可以通过官方下载使用 - docker-compose
version: '3'services:minio:image: minio/minioports:- 9000:9000- 19001:19001volumes:- ./data:/data/environment:MINIO_ACCESS_KEY: minioMINIO_SECRET_KEY: minio123command: server --console-address :19001 --quiet /data备注: 启动之后创建一个dalong 的bucket 方便数据存储
配置rlcone
s3 环境准备好了之后就是进行rclone 的配置,通过配置一个minio s3 的就可以了
参考上边的配置
~/.config/rclone/rclone.conf 可以直接拷贝复制
[myremote]type = s3provider = Minioaccess_key_id = miniosecret_access_key = minio123endpoint = http://127.0.0.1:9000
在rclone 配置好了之后就可以使用avc 工具进行初始化以及数据文件上传以及管理了
avc init rclone://myremote/dalong/first
效果
echo "dalong" > demoappavc push
说明
avc 在能力上部分git 的命令支持并不是很多,但是从简单上来说还是很方便的不需要外部依赖,lakefs 是一个不错的基于git 的数据管理能力,而且社区也比较活跃
目前avc 似乎更偏向于fix 了,新功能比较少了,avc 代码量并不大,后边从源码学习下
参考资料
https://github.com/InfuseAI/ArtiVC
https://artivc.io/
https://artivc.io/backends/rclone/
https://rclone.org/
https://lakefs.io/
https://github.com/rongfengliang/minio_rclone_artivc_learning