文章目录

  • Flume 简介
  • 一,Flume下载和安装
  • 1)登录[Flume官网](https://flume.apache.org/),下载 apache-flume-1.9.0-bin.tar.gz
  • 2)解压文件到 /opt 目录下
  • 3)改名为 flume
  • 二,Flume配置
  • 1)修改 /conf/ 目录下的 flume-env.sh 文件
  • 2)配置环境变量
  • 三,测试安装是否成功



Flume 简介

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

windows下启动flume flume的安装步骤_大数据


当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。

数据采集我们使用Flume。

一,Flume下载和安装

1)登录Flume官网,下载 apache-flume-1.9.0-bin.tar.gz

1.在官网页面单击download

windows下启动flume flume的安装步骤_大数据_02


2.在download页面中,单击archive repository

windows下启动flume flume的安装步骤_flume_03

3.在下图页面单击 1.9.0/,

windows下启动flume flume的安装步骤_apache_04


4.单击 apache-flume-1.9.0-bin.tar.gz,开始下载

windows下启动flume flume的安装步骤_大数据_05

windows下启动flume flume的安装步骤_apache_06

2)解压文件到 /opt 目录下

1.拖动apache-flume-1.9.0-bin.tar.gz文件到FinalShell的master中的root目录下,它就会上传到该目录下,如下图所示:

windows下启动flume flume的安装步骤_大数据_07

windows下启动flume flume的安装步骤_大数据_08


windows下启动flume flume的安装步骤_apache_09

2.在master界面下,输入命令:tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt

windows下启动flume flume的安装步骤_apache_10

3)改名为 flume

1.改名

进入opt目录,输入命令:cd /opt 将文件夹apache-flume-1.9.0-bin改名为flume,输入命令:mv apache-flume-1.9.0-bin flume

windows下启动flume flume的安装步骤_windows下启动flume_11

2.查看改名是否成功

查看opt目录下的文件名,输入命令:ls

windows下启动flume flume的安装步骤_java_12

二,Flume配置

1)修改 /conf/ 目录下的 flume-env.sh 文件

进入/opt/flume/conf/目录下,输入命令:cd /opt/flume/conf/

windows下启动flume flume的安装步骤_flume_13

拷贝flume-env.sh.template并重命名为flume-env.sh在该文件夹下,输入命令:cp flume-env.sh.template flume-env.sh

windows下启动flume flume的安装步骤_apache_14

查看文件是否拷贝成功,输入命令:ls

windows下启动flume flume的安装步骤_java_15

编辑 flume-env.sh 文件,输入命令: vi flume-env.sh

windows下启动flume flume的安装步骤_flume_16

按i键进入插入模式,添加内容为(自己jdk的安装路径):export JAVA_HOME=/usr/java/latest

windows下启动flume flume的安装步骤_apache_17

按Esc键退出插入模式,输入英文状态下的 :wq,按回车存盘退出

windows下启动flume flume的安装步骤_windows下启动flume_18

2)配置环境变量

1.打开环境变量配置文件,输入命令:vi /etc/profile,增添以下内容:

# Flume环境变量
export FLUME_HOME=/opt/flume   
export PATH=$FLUME_HOME/bin:$PATH

windows下启动flume flume的安装步骤_windows下启动flume_19


2.刷新一下环境变量配置,输入命令:source /ect/profile

windows下启动flume flume的安装步骤_apache_20

三,测试安装是否成功

验证安装是否成功,输入命令:flume-ng version

windows下启动flume flume的安装步骤_apache_21