flume采集hbase数据 flume hadoop

1.实验原理

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。

Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper，变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据现在由不同的工作线程处理（称为 Runner）。 在 Flume-og 中，读入线程同样做写出工作（除了故障重试）。如果写出慢的话（不是完全失败），它将阻塞 Flume 接收数据的能力。这种异步的设计使读入线程可以顺畅的工作而无需关注下游的任何问题。

Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成，如图1所示。

图1

值得注意的是，Flume提供了大量内置的Source、Channel和Sink类型。不同类型的Source,Channel和Sink可以自由组合。组合方式基于用户设置的配置文件，非常灵活。比如：Channel可以把事件暂存在内存里，也可以持久化到本地硬盘上。Sink可以把日志写入HDFS, HBase，甚至是另外一个Source等等。Flume支持用户建立多级流，也就是说，多个agent可以协同工作，并且支持Fan-in、Fan-out、Contextual Routing、Backup Routes，这也正是NB之处。如图2所示：

图2

1.1 flume的特点

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。

flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

1.2 flume的可靠性

当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），Store on failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），Besteffort（数据发送到接收方后，不会进行确认）。

2．Flume安装与使用：

本实验主要演示Flume安装，及启动一个Flume收集日志信息的例子

首先，将Flume 安装包解压到/opt/software目录:

tar -zxvf apache-flume-1.8.0-bin.tar.gz -c /opt/software

检查telnet命令是否安装：

telnet localhost 44444

安装telnet，执行：

yum list|grep telnet 
yum install telnet.x86_64

新建jobs目录：

mkdir jobs

切换到jobs目录，新建编辑文件：

cd jobs
vi flume_netcat_logger.conf

# Name the components on this agent
#a1叫进程名
#r1叫source名
#k1叫sink名
#c1叫channel名

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#netcat 电脑端口获取数据
#localhost 指定本地ip
#44444指定端口
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
#logger打印到控制台
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
#memory用内存缓存数据
#1000 代表缓存件中最多存储1000条数据
#100  source或sink每次和channel交互的数据量
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
#
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动进程：

bin/flume-ng agent -n a1 -c conf/ -f jobs/flume_netcat_logger.conf -Dflume.root.logger=INFO,console

flume-ng：代表启动flume的采集进程

agent：进程

-c conf：代表默认的配置

-f:后面跟的是采集方案的路径

-Dflume.root.logger=INFO,console:将所有日志打印到控制台

再打开一个客户端窗口，输入：

telnet localhost 44444

查看实验结果：

备注：如果启动进程的时候报错：org/apache/flume/node/Application : Unsupported major.minor version 52.0，是jdk版本导致的，需要安装jdk1.8