flume 落地mysql

原创

mob64ca12ef217e 2024-03-21 05:20:28 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12ef217e的原创作品，请联系作者获取转载授权，否则将追究法律责任

Flume 落地 MySQL

Flume 是一个高可靠、高可用、分布式的日志收集、聚合和传输系统，常用于大数据处理中。在实际应用中，我们经常会使用 Flume 将日志数据采集到 HDFS 或者其他数据存储中。本文将介绍如何使用 Flume 将数据落地到 MySQL 数据库中。

准备工作

在开始之前，我们需要准备以下工作：

安装 Flume
安装 MySQL 数据库
创建一个用于接收数据的数据表

Flume 配置

Flume 的配置文件通常为一个 properties 文件，我们可以在其中指定数据流的源、通道和目的地。以下是一个简单的 Flume 配置文件示例：

# flume.conf

agent.sources = source1
agent.channels = channel1
agent.sinks = sink1

# 配置数据源
agent.sources.source1.type = netcat
agent.sources.source1.bind = localhost
agent.sources.source1.port = 44444

# 配置通道
agent.channels.channel1.type = memory
agent.channels.channel1.capacity = 10000
agent.channels.channel1.transactionCapacity = 1000

# 配置目的地
agent.sinks.sink1.type = org.apache.flume.sink.mysql.MySQLSink
agent.sinks.sink1.channel = channel1
agent.sinks.sink1.driver = com.mysql.jdbc.Driver
agent.sinks.sink1.url = jdbc:mysql://localhost:3306/test
agent.sinks.sink1.user = root
agent.sinks.sink1.password = password
agent.sinks.sink1.batchSize = 25

在这个配置文件中，我们使用 netcat 作为数据源，将数据传输到 memory 通道，再将数据存储到 MySQL 数据库中。

MySQL 数据表

在 MySQL 数据库中创建一个用于存储数据的数据表，例如：

| id  | timestamp           | message |
|-----|---------------------|---------|
| 1   | 2021-01-01 10:00:00 | Hello   |
| 2   | 2021-01-01 10:01:00 | World   |

运行 Flume

在配置好 Flume 和 MySQL 数据库之后，我们可以运行 Flume，并开始收集数据。首先启动 Flume agent：

$ bin/flume-ng agent --conf conf --conf-file flume.conf --name agent

然后，在另一个终端窗口中发送数据到 Flume agent 的端口 44444：

$ echo "Test data" | nc localhost 44444

Flume 将会接收到数据，并将其存储到 MySQL 数据库中。

结果展示

为了展示数据存储的效果，我们可以通过 SQL 查询来查看数据表中的内容：

SELECT * FROM data_table;

查询结果可能如下所示：

| id  | timestamp           | message  |
|-----|---------------------|----------|
| 1   | 2021-01-01 10:00:00 | Hello    |
| 2   | 2021-01-01 10:01:00 | World    |
| 3   | 2021-01-01 10:02:00 | Test data|