jenkins+ rclone定时同步sftp数据到s3
一个简单任务场景,业务对账,同时需要备份请求的对账文件(sftp服务),所以使用了一个强大的支持
多种存储的工具rclone,然后定时自动同步到s3存储中,对于定时任务,使用jenkins(基于定时任务cron)
使用jenkins的好处是灵活可以随意配置,同时我们系统已经有了好多构建节点,具有冗余性
参考图
操作流程说明
因为rclone的配置是可以复用的,所以配置好一个同时copy jenkins 的agent 就行了,具体创建的jenkins job 就是一个执行rclone shell 命令
的自由job了,对于定时任务,我们可以使用jenkins 自带的定时触发机制,随意调整任务的构建了
说明
rclone 对于同步包含了copy 以及sync 命令,如果是打算源以及目的是一样的,直接使用sync就可以,对于目的可能会变,但是不像被删除的话
可以使用copy
参考资料
https://github.com/rclone/rclone
https://rclone.org/