〇、用途
流式结构
获取磁盘日志，拦截器过滤后，传递指定数据，写入HDFS或kafka
一、组成-Source、Channel、Sink
事务（put/take）
1、Source---taildir source：
（1）特点：断点续传+多目录（维护offset）
产生自哪个版本-Apache Flume1.7，CDH 1.6
（2）没有断点续传功能时如何使用？自定义方式实现
（3）taildir挂掉怎么办，是否有影响
首先不会丢数（断点续传），但是会产生重复数据（一条或一批次）
读取成功，写入失败
（4）怎么处理重复数据？
生产环境下通常不处理，处理方案
自身：可以在taildir source内部增加自定义事务
找兄弟：下一级处理（sparkStreaming、hive、dwd、flink过滤器），手段（group by去重、开窗取窗口最小，只取第一条、Redis集群帮助去重）
（5）taildir source是否支持递归遍历文件夹读取文件？
不支持，需要自定义
递归遍历文件夹+读取文件
2、Channel
（1）常见的Channel包括哪些及对应的特点
File Channel：数据存储在磁盘上（数据可靠性高、传输速度低），默认存储容量：100w个event
Memory Channel：数据存储于内存（传输速度快、可靠性差），默认容量是100个event
Kafka Channel：数据存储于kafka/基于磁盘（数据可靠性高、传输速度也快【kafka Channel》kafka sink+Memory Channel，原因：省去了sink阶段】），在flume 1.6版本产生（原因：有bug，可以设置前缀是否带topic，但不起作用）
kafka-topic_start/topic_event，增加了额外清洗的工作量，Flume 1.7解决了该问题
（2）生产环境下如何选择
如果下一级是kafka，通常会优先选择kafka channel
如果下一级不是kafka，金融、对钱要求准确的公司，选择File Channel
如果是普通日志，通常会选择memory Channel（JD每天丢失几百万数据，每天都是PB级数据）
3、HDFS sink
不做控制，会直接落盘，产生大量小文件
可以通过参数控制：时间、大小、event的个数【或】
时间：3600-7200s（1小时-2小时）
大小：128M
event的个数（0禁止）
二、三个器（拦截器、选择器、监控器）
1、拦截器
ETL拦截器、分类型拦截器
（1）ETL拦截器
实现：数据轻度清洗（判断是否是大括号开头结尾，为了保证传输效率/实时性）
判断了数据时间：13位，必须全部是数字
（2）分类型拦截器（11张表）
start
event（商品列表、商品详情、商品点击、
广告、
点赞、评论、收藏、故障、
后台活跃、通知）
哪张表与kafka有关系，要满足所有下一级消费者
创建成特定类，不产生重复数据，针对每个表创建一个topic
一张表一个topic，一定能满足下一级消费者
为了效率，可以做适当的聚合
（3）自定义拦截器的步骤
定义一个类，实现interceptor接口，重写内部的4个方法：
初始化、关闭、单event、多event、同时创建一个静态内部类Builder
打包==》上传至flume的lib包下==》在配置文件中关联拦截器
（4）可以不使用拦截器吗
可以不用，但需要在下一级hive的DWD层或sparkstreaming里面进行处理
（5）优势和劣势
优势：只处理一次，轻度处理，不会影响太多性能
劣势：影响性能，不适合像推荐这种对实时性要求比较高的场景
三、优化
1、File Channel可以配置多目录-多个磁盘
可以提高吞吐量
2、HDFS Sink
解决小文件：时间、大小、event的个数【或】
3、监控器
调整内存
找自己：提高自己内存
找朋友：增加flume台数
4、Flume挂掉后的操作
source挂掉，可能会产生重复数据（offset），使用事务解决
channel挂掉（File、Memory×、Kafka），会丢失100个event
作者：哥们要飞
