flume技术的实现原理 flume实战

---

Flume自探

自己的话：每天都要保持前进
多认识更加优秀的人，你会讨厌现在的自己。

Flume实战案例

---

一、监控端口数据官方案例

1. 案例需求：

首先，Flume 监控本机 44444 端口，然后通过 telnet 工具向本机 44444 端口发
送消息，最后 Flume 将监听的数据实时显示在控制台。

2. 需求分析：

3. 实现步骤：

3.1 安装telnet工具

yum -y install telnet

3.2 判断44444端口是否被占用

netstat -tunlp | grep 44444

功能描述：netstat 命令是一个监控 TCP/IP 网络的非常有用的工具，它可以显示路由表、
实际的网络连接以及每一个网络接口设备的状态信息。

基本语法：netstat [选项]
选项参数：

• -t 或–tcp：显示 TCP 传输协议的连线状况；
• -u 或–udp：显示 UDP 传输协议的连线状况；
• -n 或–numeric：直接使用 ip 地址，而不通过域名服务器；
• -l 或–listening：显示监控中的服务器的 Socket； - -p 或–programs：显示正在使用 Socket 的程序识别码和程序名称

3.3 创建 Flume Agent 配置文件 flume-telnet-logger.conf

在 flume 目录下创建 job 文件夹并进入 job 文件夹。

[hadoop1 flume]$ mkdir job
[hadoop1 flume]$ cd job/

在 job 文件夹下创建 Flume Agent 配置文件 flume-telnet-logger.conf。

[hadoop1 job]$ touch flume-telnet-logger.conf

在 flume-telnet-logger.conf 文件中添加如下内容。

[hadoop1 job]$ vim flume-telnet-logger.conf

添加内容如下：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

配置文件解析：

3.4 先开启 flume 监听端口

[hadoop1 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf 
-Dflume.root.logger=INFO,console

参数说明：

--conf conf/ ：表示配置文件存储在 conf/目录

--name a1 ：表示给 agent 起名为 a1

--conf-file job/flume-telnet.conf ：flume 本次启动读取的配置文件是在 job 文件夹下
的 flume-telnet.conf 文件。 

-Dflume.root.logger==INFO,console ： -D 表 示 flume 运 行 时 动 态 修 改
flume.root.logger 参数属性值，并将控制台日志打印级别设置为 INFO 级别。日志级别包括:log、
info、warn、error。

3.5 使用 telnet 工具向本机的 44444 端口发送内容

[hadoop1 ~]$ telnet localhost 44444

3.6 在 Flume 监听页面观察接收数据情况

---

二、实时读取本地文件到 HDFS 案例

1. 案例需求：

实时监控 Hive 日志，并上传到 HDFS 中

2. 需求分析：

3. 实现步骤：

根据需求，首先定义以下3大要素：

• 采集源，即source——监控文件内容更新 : exec ‘tail -F file’
• 下沉目标，即sink——HDFS文件系统 : hdfs sink
• Source和sink之间的传递通道——channel，可用file channel 也可以用 内存channel

3.1 创建并编辑 flume-file-hdfs.conf 文件

[hadoop1 job]$ touch flume-file-hdfs.conf

注：要想读取 Linux 系统中的文件，就得按照 Linux 命令的规则执行命令。由于 Hive
日志在 Linux 系统中所以读取文件的类型选择：exec 即 execute 执行的意思。表示执行 Linux
命令来读取文件。

[hadoop1 job]$ vim flume-file-hdfs.conf

添加如下内容：

# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2
# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /opt/module/hive/logs/hive.log
a2.sources.r2.shell = /bin/bash -c
# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://hadoop102:9000/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs- #是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k2.hdfs.batchSize = 1000
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 600 #设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k2.hdfs.rollCount = 0
#最小冗余数
a2.sinks.k2.hdfs.minBlockReplicas = 1
# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

3.2 执行监控配置

[hadoop1 flume]$ bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf

3.3 开启 Hadoop 和 Hive 并操作 Hive 产生日志

[hadoop1 /]$ start-all.sh

[hadoop1 /]$ hive
hive (default)>

3.4 在 HDFS 上查看文件

---