什么是CDC?
CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。
Flink_CDC
1. 环境准备
- mysql
- hbase
- flink 1.13.5 on yarn
说明:如果没有安装hadoop,那么可以不用yarn,直接用flink standalone环境吧。
2. 下载下列依赖包
下面两个地址下载flink的依赖包,放在lib目录下面。
- flink-sql-connector-hbase-1.4_2.11-1.13.5.jar
- flink-sql-connector-mysql-cdc-1.4.0.jar
如果你的Flink是其它版本,可以来这里下载。
我是flink1.13,这里flink-sql-connector-mysql-cdc,需要1.4.0以上版本。
image-20220913170030754
如果你是更高版本的flink,可以自行https://github.com/ververica/flink-cdc-connectors下载新版mvn clean install -DskipTests 自己编译。
img
这是我编译的最新版2.2,传上去发现太新了,如果重新换个版本,我得去gitee下载源码,不然github速度太慢了,然后用IDEA编译打包,又得下载一堆依赖。我投降,我直接去网上下载了个1.4的直接用了。
我下载的jar包,放在flink的lib目录下面:
image-20220915145142496
3. 启动flink-sql client
- 先在yarn上面启动一个application,进入flink13.5目录,执行:
- 进入flink sql命令行
img
4. 同步数据
这里有一张mysql表:
- 创建数据表关联mysql
这样,我们在flink sql client操作这个表相当于操作mysql里面的对应表。
- 创建数据表关联hbase
这里,需要提前在hbase里面创建好product_view这个主题。
- 同步数据
flink-cdc-mysql2hbase
建立同步任务,可以使用sql如下:
这个时候是可以退出flink sql-client的,然后进入flink web-ui,可以看到mysql表数据已经同步到hbase中了,对mysql进行插入,hbase都是同步更新的。
进入hbase shell,可以看到数据已经从mysql同步到hbase了:
直接在flink-sql client里面查询hbase数据,也是可以的:
执行上面查询sql,就会进入界面,这就是hbase里面的数据了:
image-20220915153846428
5. 关联查询
在这个flink-sql client环境中,这里有两张表:product_view_source(mysql的表)和product_view_hbase(hbase的表),后者是有前者查询导入的,这里为了简单,我没有再关联其它第三张表,就用这两张表,做关联查询,达到演示的目的。
这里做了个简单的关联查询,通过id跟rowkey关联,然后打开web-ui,通过flink web-ui结果可以看出,这里是个hash join,两个source,到join,一共3个task。
image-20220915160523185
看看查出来的结果吧,这是flnk-sql client:
image-20220915160617440
比如我选中这一行,进来后是这条数据的详细情况,是没有问题的:
image-20220915160731799
参考资料
https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/table/hbase/