Flume OG
Flume OG主要由上图几个组件组成：
Agent、Collector、Master、HDFS
Agent：
主要用于采集数据，通常是由source和sink两部分组成。其中Source用于获取数据，Sink将Source获取的数据传输到Collector。
Collector：
主要用于汇总多个Agent传输的结果数据，将汇总的数据导入后台的存储系统，如HDFS，HBase。与Agent类似，它也由Source用于获取Agent传输的数据，Sink将Source获取的数据传输到存储系统。
Master：
主要用于管理协调Agent和Collector的配置信息，是整个Flume集群的控制器，master平衡集群中各个Collector之间的负载，通知Agent数据流的结果信息，为了防止单点故障，我们通常借助ZooKepper管理多个Master节点。
Flume的容错机制：
Flume支持两种容错的机制
1、存储数据到多个Collector
2、配置备用Collector，当Agent发送数据流到Collector_A，Collector_A挂掉时，数据会发送到备用的Collector_B，如果存储系统故障时，数据会保存到本地的Collector节点上，在存储系统恢复后再发送至存储系统。
Flume NG
Flume NG主要由Event、Client、Agent组成
Event：
它是Flume数据传输的基本单元，它贯穿Flume的整个流程中。它由可选的Header和一个装有数据的ByteArray组成。Header中是由一个个KeyValue对的数据构成的，大小不固定可以扩展。
Client：
主要用于将原始的Log文件包装为一个或多个Event，发送到一个或多个Agent中。
Agent：
主要用于传输数据，由Source、Channel、Sink和其他组件组成。Agent中的各个组件将Event从一个Agent传输到下一个Agent，一直传输到存储系统中。它是Flume的核心，我们可以通过设计不同的Agent来完成各种不同情况的日志收集。Flume用于配置、监控各个Agent。
Agent中的各个组件：
Source：负责接收Event，并将Event放到一个或多个Channel
Channel：在Source和Sink之间，用于缓存Event，当Sink成功后删除缓存的Event，一个Channel可以服务与多个Source和Sink。（Channel可以有多种实现，如：memory、file、JDBC）
Sink：负责针Event传输到下一个Source或存储系统，一个Sink必须对应一个Channel
Interceptor：作用于Source，按照预设的顺序在必要地方装饰和过滤Event
ChannelSelector：作用于Source，通过配置可以从所有Channel中选择一个或多个Channel
SinkProcessor：从个Sink可以构成一个SinkGroup，它可以通过Group中所有Sink实现负载均衡。
