数据集成平台-Kafka实时同步Doris能力演示_数据集成

 一、数据集成平台基于开源项目Tis建设 

数据集成平台(Tis)集成了Flink-CDC、DataX等大数据组件,提供一站式数据集成服务。支持多种数据源,涵盖MySQL、Oracle、ElasticSearch等,兼容国产数据库,满足多源异构数据集成需求。

数据集成平台提供可视化操作界面,简化数据集成流程,降低操作难度。同时,具备实时与批量集成能力,确保数据及时准确。此外,还支持插件化扩展,用户可按需开发新插件,增强平台灵活性。助力企业高效完成数据集成任务,为数据中台建设提供有力支撑。

 二、数据集成平台功能特点 

  • Hive数据库数据同步能力演示(全量同步+分区同步)
  • MySQL数据库数据同步能力演示(全量+增量同步)
  • Oracle数据库数据同步能力演示(全量+增量同步)
  • 国产数据库达梦数据源DaMeng数据同步能力演示(全量同步)
  • 国产数据库人大金仓数据源KingBase数据同步能力演示(全量+增量同步)
  • Kafka实时同步能力演示(增量实时同步)

数据集成平台-Kafka实时同步Doris能力演示_数据集成_02

 一、支持数据库 

数据集成平台-Kafka实时同步Doris能力演示_实时同步_03

 二、进入主页 

数据集成平台-Kafka实时同步Doris能力演示_实时同步_04

 三、创建kafka通道 

数据集成平台-Kafka实时同步Doris能力演示_数据库_05

 四、可视化配置kafka到doris 

数据集成平台-Kafka实时同步Doris能力演示_实时同步_06

 五、配置Kafka Reader 

数据集成平台-Kafka实时同步Doris能力演示_数据库_07

 六、通过Kafka Reader到入表 

数据集成平台-Kafka实时同步Doris能力演示_实时同步_08

 七、批量配置Kafka表 

数据集成平台-Kafka实时同步Doris能力演示_实时同步_09

 八、配置Doris Writer表 

数据集成平台-Kafka实时同步Doris能力演示_实时同步_10

数据集成平台-Kafka实时同步Doris能力演示_数据库_11

 九、成功创建Kafka到Doris同步实例 

数据集成平台-Kafka实时同步Doris能力演示_数据集成_12

 十、进入实时同步通道 

数据集成平台-Kafka实时同步Doris能力演示_数据库_13

数据集成平台-Kafka实时同步Doris能力演示_实时同步_14

 十一、配置Flink实时同步 

数据集成平台-Kafka实时同步Doris能力演示_实时同步_15

 十二、实时同步配置Source/Sink 

数据集成平台-Kafka实时同步Doris能力演示_实时同步_16

 十三、自动生成同步实时同步代码 

数据集成平台-Kafka实时同步Doris能力演示_数据库_17

 十四、部署实时任务成功 

数据集成平台-Kafka实时同步Doris能力演示_数据集成_18

 十五、检查实时任务正常运行 

数据集成平台-Kafka实时同步Doris能力演示_实时同步_19

 十六、检查Flink Runtime页面 

数据集成平台-Kafka实时同步Doris能力演示_数据库_20

 十七、查看结果表数据,成功写入Doris数据 

数据集成平台-Kafka实时同步Doris能力演示_数据库_21