etl-engine cdc 模式有哪些应用场景？
CDC是什么
CDC是Change Data Capture（数据变更捕获）的缩写,是一种数据同步技术.
常用于大量数据的备份工作,分为入侵式的和非入侵式的备份方法,
入侵式的有基于触发器备份、基于时间戳备份、基于快照备份,
非入侵式的备份方法是基于日志的备份,
etl-engine是基于日志方式进行捕获数据的变化.
技术实现
etl-engine分别对MySQL和PostgreSQL实现了CDC监控能力。
- 对MySQL基于binlog日志进行监控;
- 对PostgreSQL基于Wal日志进行监控
应用场景
- 主从复制
一主一从或一主多从,实时同步及备份,读写分离
- 数据分发
同一份数据分发到不同目标源, 供多个应用系统使用
数据接收过程中通过转换功能, 额外输出大宽表, 供olap系统使用数据输出支持etl-engine CDC模式捕获的数据支持输出到etl-engine体系的所有输出组件中
- 关系型数据库
Mysql、PostgreSQL、Oracle、Sqlite等
- 非关系型
Elastic、Redis等
- 消息中间件
Kafka、RocketMQ
- 文件
CSV、Excel
参考资料
[免费下载](https://github.com/hw2499/etl-engine/releases)
[etl-engine使用手册](https://github.com/hw2499/etl-engine)
[etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)
[嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/B-%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)
[etl-engine配置样例](https://github.com/hw2499/etl-engine/wiki/etl-engine%E4%BD%BF%E7%94%A8%E6%A0%B7%E4%BE%8B)
