使用 Debezium 配置 MySQL 数据库的步骤
Debezium 是一个开源的分布式平台，专门用于捕获数据更改信息（Change Data Capture，CDC）。本文将指导你如何配置 Debezium 以监控 MySQL 数据库的变更。我们将分步进行，并详细描述每一步所需执行的操作及其代码。
流程概览
下面是配置 Debezium 监控 MySQL 数据库的流程：
| 步骤 | 描述 |
|---|---|
| 1 | 安装 Docker 和 Docker Compose |
| 2 | 准备 MySQL 数据库 |
| 3 | 创建 Debezium 配置文件 |
| 4 | 启动 Debezium 服务器 |
| 5 | 测试变更捕获 |
步骤 1：安装 Docker 和 Docker Compose
首先，你需要在你的计算机上安装 Docker 和 Docker Compose。具体安装步骤请参考官方文档。
步骤 2：准备 MySQL 数据库
在本步骤中，我们将使用 Docker 启动一个 MySQL 实例，并创建一个用于测试的数据库。
# 拉取 MySQL Docker 镜像
docker run --name mysql -e MYSQL_ROOT_PASSWORD=root -e MYSQL_DATABASE=testdb -p 3306:3306 -d mysql:5.7
注释：这条命令中，
--name mysql指定了容器名称为 mysql，-e选项提供环境变量（如 root 密码和初始数据库），-p选项将本地端口 3306 映射到容器的 3306 端口，-d选项表示在后台运行容器。`.
接下来，我们需要创建一些表：
CREATE TABLE users (
id INT AUTO_INCREMENT PRIMARY KEY,
name VARCHAR(255),
email VARCHAR(255)
);
步骤 3：创建 Debezium 配置文件
在此步骤中，创建一个 JSON 配置文件来定义 Debezium 连接到 MySQL 的方式。创建 debezium-mysql-connector.json 文件，内容如下：
{
"name": "mysql-connector",
"config": {
"connector.class": "io.debezium.connector.mysql.MySqlConnector",
"tasks.max": "1",
"database.hostname": "mysql",
"database.port": "3306",
"database.user": "root",
"database.password": "root",
"database.server.id": "184054",
"database.server.name": "dbserver1",
"database.whitelist": "testdb",
"table.whitelist": "testdb.users",
"database.history.kafka.bootstrap.servers": "kafka:9092",
"database.history.kafka.topic": "dbhistory.fullfillment"
}
}
注释：该 JSON 文件配置了连接 MySQL 数据库的参数，其中
database.server.name用于标识该数据库的名称，table.whitelist指定要监控的表。
步骤 4：启动 Debezium 服务器
在这个步骤中，我们将使用 Docker 启动 Debezium Connect。
docker run -it --name debezium -p 8083:8083 \
-e BOOTSTRAP_SERVERS=kafka:9092 \
-e GROUP_ID=1 \
-e CONFIG_STORAGE_TOPIC=my_connect_configs \
-e OFFSET_STORAGE_TOPIC=my_connect_offsets \
debezium/connect:latest
注释：该命令启动了一个 Debezium Connect 实例，配置了 Kafka 地址，并设置了存储配置和偏移量的主题。
接着，在 Debezium 服务器中注册 MySQL 连接器：
curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d @debezium-mysql-connector.json
注释：这条命令将上面创建的配置文件
debezium-mysql-connector.json发送到 Debezium 的 REST API 中，以注册 MySQL 连接器。
步骤 5：测试变更捕获
最后，测试变化捕获。执行以下 SQL 语句插入一条数据：
INSERT INTO users (name, email) VALUES ('Alice', 'alice@example.com');
然后查看 Kafka 中是否捕获到了这个变化。你可以使用 Kafka Consumer CLI 进行验证：
kubectl exec -it <kafka-pod-name> -- kafka-console-consumer --bootstrap-server localhost:9092 --topic dbserver1.testdb.users --from-beginning
注释：替换
<kafka-pod-name>为实际的 Kafka Pod 名称。该命令会从头读取dbserver1.testdb.users主题中的数据变化。
饼状图展示
最后，可以使用以下代码展示变更捕获的组成部分：
pie
title Debezium 配置 MySQL 数据库的组成
"Docker 安装": 30
"MySQL 配置": 30
"Debezium 配置": 20
"启动 Debezium": 20
结尾
通过以上步骤，你已经成功配置了 Debezium 以监控 MySQL 数据库中的更改。这只是一个简单的示例，Debezium 还支持多种高级功能，如多租户支持、数据变换等。随着你对 Debezium 的深入了解，可以尝试更多的配置和扩展。希望这篇文章能帮助你在数据流域的道路上迈出第一步！
