mysql 异构表异构数据库

转载

jacksky 2024-05-31 07:26:04

文章标签 mysql 异构表 mysql 架构 Canal 数据 文章分类 MySQL 数据库

什么是异构数据？

场景

如何将后台的数据同步到es？

场景拓展

目标

Canal

mysql数据库的主从同步的功能

Canal实现

引入MQ解决解耦问题

什么是异构数据？

场景

商户在后台系统添加数据，消费者需要在前台获取数据，这时候需要将后台的数据同步到es中。mysql的数据跟es存储的数据不一样，称为异构数据。

如何将后台的数据同步到es？

做法：团队A在java代码中新增mysql数据时，调用团队B的接口新增es商品数据。
缺点：1、协作中两个团队存在代码强耦合，团队A必须了解团队B提供的接口
2、扩展困难

场景拓展

团队C的MongoDB也要同步mysql的数据，团队A再次修改代码？
目标实现：数据能做到实时同步，团队间解耦，团队A不用多次调用接口。

目标

要保证数据做到准实时同步
团队之间解耦

Canal

Canal:阿里巴巴的，基于db增量日志解析，提供增量数据订阅和消费

mysql数据库的主从同步的功能

mysql 异构表异构数据库_mysql_03

原理：基于binlog实现（二进制日志文件）。
场景：用户新增、删除数据，主库执行完相应sql语句后，会将sql记录到binlog中。
主库将binlog传给从库，从库接收到binlog的sql，将其写入relaylog（重放日志）中。
从库执行relaylog的sql语句，就此实现同步。最后从库还会将执行relaylog的sql语句写入从库的binlog中。