1.下载jar包并解压到/opt/module目录下

 

链接:https://pan.baidu.com/s/1dSJhZBb6Rz__WYNhM2HzkQ 

提取码:1234

[qurui@hadoop102 ~]# tar -zxvf apache-flume-1.9.0-bin.tar -C /opt/module/
#解压到/opt/module/目录下,和下文图片有一点不同,是因为博主的jar包在/opt/software里面,你如果直接拖到桌面的话,直接用上文的命令解压就行。

win下Flume的安装 flume安装教程_hdfs

2. 将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3

[qurui@hadoop102 ~]# rm /opt/module/flume/lib/guava-11.0.2.jar

win下Flume的安装 flume安装教程_hdfs_02

3. 将flume-env.sh.template文件修改为flume-env.sh,并输入

[qurui@hadoop102 conf]$ cd /opt/module/flume/conf/ #进入该目录
[qurui@hadoop102 conf]$ mv flume-env.sh.template flume-env.sh #修改名字
[qurui@hadoop102 conf]$ vim flume-env.sh #输入该文件
export JAVA_HOME=/opt/module/jdk1.8.0_212

 如下:

win下Flume的安装 flume安装教程_hdfs_03

4.测试是否成功,输入flume-ng

[qurui@hadoop102 conf]$ flume-ng

win下Flume的安装 flume安装教程_flume_04

5.为了达到博客的字数要求,添加了一些flume的基础知识,和安装没什么关系:

1.概述

海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。

2.基础架构

avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。

Memory Channel和File Channel。Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失,那么Memory Channel就不应该使用,因为程序死亡、机器宕机或者重启都会导致数据丢失。File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

Event传输单元,Flume数据传输的基本单元,以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成,Header用来存放该event的一些属性,为K-V结构,Body用来存放该条数据,形式为字节数组。

3.自定义Interceptor

      使用Flume采集服务器本地日志,需要按照日志类型的不同,将不同种类的日志发往不同的分析系统。

     在实际的开发中,一台服务器产生的日志类型可能有很多种,不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构,Multiplexing的原理是,根据event中Header的某个key的值,将不同的event发送到不同的Channel中,所以我们需要自定义一个Interceptor,为不同类型的event的Header中的key赋予不同的值。

     在该案例中,我们以端口数据模拟日志,以数字(单个)和字母(单个)模拟不同类型的日志,我们需要自定义interceptor区分数字和字母,将其分别发往不同的分析系统(Channel)。