jenkins+ rclone定时同步sftp数据到s3

一个简单任务场景,业务对账,同时需要备份请求的对账文件(sftp服务),所以使用了一个强大的支持 
多种存储的工具rclone,然后定时自动同步到s3存储中,对于定时任务,使用jenkins(基于定时任务cron) 
使用jenkins的好处是灵活可以随意配置,同时我们系统已经有了好多构建节点,具有冗余性

参考图

jenkins+ rclone定时同步sftp数据到s3_分享

 

 

操作流程说明

因为rclone的配置是可以复用的,所以配置好一个同时copy jenkins 的agent 就行了,具体创建的jenkins job 就是一个执行rclone shell 命令 
的自由job了,对于定时任务,我们可以使用jenkins 自带的定时触发机制,随意调整任务的构建了

说明

rclone 对于同步包含了copy 以及sync 命令,如果是打算源以及目的是一样的,直接使用sync就可以,对于目的可能会变,但是不像被删除的话 
可以使用copy

参考资料

https://github.com/rclone/rclone 
https://rclone.org/