使用 Debezium 监听 MySQL 日期格式
一、流程概述
在本教程中，我们将学习如何使用 Debezium 来监听 MySQL 数据库的变化，并专注于日期格式的数据。Debezium 是一个开源的分布式平台，用于捕获数据库的更改数据，并将这些数据流式传输到 Apache Kafka 中。
以下是用于实现这一目的的步骤：
| 步骤 | 描述 |
|---|---|
| 1 | 环境准备 |
| 2 | 创建 MySQL 数据库与表 |
| 3 | 配置 Debezium 连接器 |
| 4 | 启动 Debezium 服务 |
| 5 | 验证结果 |
二、步骤详解
1. 环境准备
首先，确保您已经安装好以下环境：
- MySQL：确保数据库服务器正在运行，可以通过命令
mysql -u root -p登录。 - Kafka 和 Zookeeper：下载并启动 Kafka 和 Zookeeper。可参考官方文档进行安装与配置。
2. 创建 MySQL 数据库与表
创建一个名为 test_db 的数据库，并在其中创建一个包含日期字段的表。
CREATE DATABASE test_db;
USE test_db;
CREATE TABLE users (
id INT AUTO_INCREMENT PRIMARY KEY,
name VARCHAR(100),
birth_date DATE
);
注释：上述代码创建了一个新的数据库 test_db，并创建了一张 users 表，包含 id、name 和 birth_date 字段。
3. 配置 Debezium 连接器
您需要在 Kafka 中配置 Debezium 连接器以监听 MySQL 的变化。以下设置可以通过指定 JSON 文件配置连接器。
创建一个名为 debezium-mysql-source.json 的文件，并添加以下内容：
{
"name": "mysql-source",
"config": {
"name": "mysql_source",
"connector.class": "io.debezium.connector.mysql.MySqlConnector",
"tasks.max": "1",
"database.hostname": "localhost",
"database.port": "3306",
"database.user": "root",
"database.password": "your_password",
"database.server.id": "184054",
"database.server.name": "dbserver1",
"database.whitelist": "test_db",
"table.whitelist": "test_db.users",
"transforms": "route",
"transforms.route.type": "org.apache.kafka.connect.transforms.RegexRouter",
"transforms.route.regex": "test_db.users",
"transforms.route.replacement": "users"
}
}
注释：上述 JSON 文件配置了 MySQL 连接器的信息，包括数据库连接参数和将监听的表。
4. 启动 Debezium 服务
在启动 Debezium 服务之前，确保您已经正确配置了 Kafka 和 Zookeeper。接下来，通过 Kafka 启动 Debezium 连接器。
使用以下命令将连接器配置为 Kafka Connect：
curl -X POST -H "Content-Type: application/json" \
--data '@debezium-mysql-source.json' \
http://localhost:8083/connectors
注释：通过上述命令将配置文件 debezium-mysql-source.json 发送到 Kafka Connect，以启动连接器。
5. 验证结果
通过向 users 表中插入一条数据，来验证 Debezium 是否正常监听：
INSERT INTO users (name, birth_date) VALUES ('John Doe', '1990-01-01');
随后，您可以通过 Kafka Consumer 消费相应 topic, 例如：
$ kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic users --from-beginning
注释：上述 SQL 命令插入一条新用户，并使用 Kafka 的消费者脚本查看新插入的数据。
三、旅行图（Journey）
journey
title Debezium 监听 MySQL 日期格式之旅
section 环境准备
准备 MySQL 环境: 5: Me
安装 Kafka 和 Zookeeper: 3: Me
section 创建数据库与表
创建 test_db 数据库: 5: Me
创建 users 表: 3: Me
section 配置 Debezium
创建配置文件: 5: Me
配置数据库连接: 4: Me
section 启动服务
运行 Debezium 连接器: 5: Me
section 验证结果
插入用户数据: 5: Me
消费 Kafka 中的消息: 4: Me
结尾
通过以上步骤，您已经成功配置了 Debezium 以监听 MySQL 数据库中日期格式的数据。无论您是新手还是经验丰富的开发者，掌握这一过程都将极大增强您在数据流处理方面的能力。
如有任何疑问，请随时提出，我们一起讨论解决方案！
