flume实时数据采集数据源选择 flume采集本地文件

转载

mob6454cc7aaa9d 2024-03-20 11:12:29

文章标签 flume实时数据采集数据源选择大数据 flume hadoop 数据 文章分类 架构后端开发

1、Flume概述

Flume是一个分布式的海量日志采集、聚合和传输的系统。Flume的主要的作用就是，实时的读取服务器本地磁盘的数据，将数据写入到HDFS。

flume实时数据采集数据源选择 flume采集本地文件_flume实时数据采集数据源选择

Agent：将数据以事件的形式从源头送至目的地。包括Source、Channel、Sink。

Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、Taildir 、sequence generator、syslog、http、legacy。

Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file_roll(本地目录)、HBase、solr、自定义。

Flume的数据传输单元为Event，Event由Header和Body组成，Header为K-V结构，Body用来存放数据，形式为字节数组。

2、Flume简单案例

实时监控目录下的多个追加文件，上传至HDFS：

Exec source适用于监控一个实时追加的文件，不能实现断点续传；Spooldir Source适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步；而Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传。

a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure the source
a3.sources.r3.type = TAILDIR
#采集文件的进度存放位置
a3.sources.r3.positionFile = /opt/module/flume/tail_dir.json
#需要采集的文件位置
a3.sources.r3.filegroups = f1 f2
a3.sources.r3.filegroups.f1 = /opt/module/flume/files/.*file.*
a3.sources.r3.filegroups.f2 = /opt/module/flume/files/.*log.*

# Describe the sink  上传至HDFS
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://hadoop102:9820/flume/upload/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a3.sinks.k3.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a3.sinks.k3.hdfs.rollCount = 0

# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

Taildir Source维护了一个json格式的position File，其会定期的往position File中更新每个文件读取到的最新的位置，因此能够实现断点续传。

3、Flume的使用

1、事务的理解

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FIqk2U8s-1591282455282)(C:\Users\lijianye\AppData\Roaming\Typora\typora-user-images\1588760661774.png)]$

2、Flume中Agent的内部原理

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tjmZKhCH-1591282455284)(C:\Users\lijianye\AppData\Roaming\Typora\typora-user-images\1588760915244.png)]$

DefaultSinkProcessor对应的是单个的Sink，LoadBalancingSinkProcessor和FailoverSinkProcessor对应的是Sink Group，LoadBalancingSinkProcessor可以实现负载均衡的功能，FailoverSinkProcessor可以错误恢复的功能。

3、Flume的常用拓扑结构

①简单串联

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sOnm2D2y-1591282455285)(C:\Users\lijianye\AppData\Roaming\Typora\typora-user-images\1588761190984.png)]$

②复制和多路复用

flume实时数据采集数据源选择 flume采集本地文件_flume实时数据采集数据源选择_05

③负载均衡和故障转移

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0l1EQPgK-1591282455287)(C:\Users\lijianye\AppData\Roaming\Typora\typora-user-images\1588761243521.png)]$

④聚合

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p2f5eoQG-1591282455289)(C:\Users\lijianye\AppData\Roaming\Typora\typora-user-images\1588761256972.png)]$

4、举例

①复制和多路复用

主要是配置Channel Selector的类型。

监控日志，并分别发送至不同的地方。

# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# 将数据流复制给所有channel
//主要的操作
a1.sources.r1.selector.type = replicating

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/hive/logs/hive.log
a1.sources.r1.shell = /bin/bash -c

# Describe the sink
# sink端的avro是一个数据发送者
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102 
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

②负载均衡和故障转移

主要是配置SinkProcessor为failover

若一个Sink故障，则可启用另一个Sink替换：

# Name the components on this agent
a1.sources = r1
a1.channels = c1
a1.sinkgroups = g1
a1.sinks = k1 k2

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
#配置故障转移
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

③聚合

可以将多个监控的结果聚合至一个Flume。

核心配置：

# hadoop102上的Sink   Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop104
a1.sinks.k1.port = 4141

# hadoop103上的Sink    Describe the sink
a2.sinks.k1.type = avro
a2.sinks.k1.hostname = hadoop104
a2.sinks.k1.port = 4141

#Hadoop104上的Source源
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop104
a3.sources.r1.port = 4141

在执行时，先启动下游的Flume（Hadoop104）：

5、自定义Interceptor

Multiplexing会根据event中Header进行筛选进入到哪个Channel，因此可以自定义Interceptor为Header附不同的值。

例如：根据第一个字符是字母还是数字进入到不同的Sink。

public class CustomInterceptor implements Interceptor {

    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {

        byte[] body = event.getBody();
        if (body[0] < 'z' && body[0] > 'a') {
            event.getHeaders().put("type", "letter");
        } else if (body[0] > '0' && body[0] < '9') {
            event.getHeaders().put("type", "number");
        }
        return event;

    }

    @Override
    public List<Event> intercept(List<Event> events) {
        for (Event event : events) {
            intercept(event);
        }
        return events;
    }

    @Override
    public void close() {

    }

    public static class Builder implements Interceptor.Builder {

        @Override
        public Interceptor build() {
            return new CustomInterceptor();
        }

        @Override
        public void configure(Context context) {
        }
    }
}

然后在配置文件中添加上面的Interceptor：

a1.channels = c1 c2
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = com.SQLBody.flume.interceptor.CustomInterceptor$Builder
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = type
a1.sources.r1.selector.mapping.letter = c1
a1.sources.r1.selector.mapping.number = c2

6、Flume采集数据会丢失吗?

根据Flume的架构原理，Flume是不可能丢失数据的，其内部有完善的事务机制，Source到Channel是事务性的，Channel到Sink是事务性的，因此这两个环节不会出现数据的丢失，唯一可能丢失数据的情况是Channel采用memoryChannel，agent宕机导致数据丢失，或者Channel存储数据已满，导致Source不再写入，未写入的数据丢失。

Flume不会丢失数据，但是有可能造成数据的重复，例如数据已经成功由Sink发出，但是没有接收到响应，Sink会再次发送数据，此时可能会导致数据的重复。

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。