记录一下日志采集框架flume的相关内容，flume是由Cloudera开发，后面贡献给了Apache，是一个分布式的、稳定的，用于日志采集、汇聚和传输的系统，现在用的一般是1.x版本，老版本的因为用得少暂时不考虑。 基本概念包括agent和event。Agent以下是数据流模型图，source+channel+sink组成一个agent，一个agent完成从数据源获取数据，到写出数据到
转载
2024-05-27 18:19:48
14阅读
Flume有两类发送数据到Flume Agent的程序性方法：Flume SDK和Embedded Agent API。Flume也自带有log4j appender，可以用来从应用程序发送数据到Flume Agent。1、构建Flume事件事件是Flume中数据的基本表现形式，每个Flume事件包含header的一个map集合和一个body，是表示为字节数组的有效负荷。 Event接口： Ev
转载
2024-05-02 23:47:47
52阅读
Exec SourceExec Source在启动时运行给定的Unix命令，并期望进程在标准输出上产生连续的数据（除非属性logStdErr设置为true，否则stderr将被丢弃）。 如果进程由于任何原因退出，source也会退出，并且不会生成更多数据。 这意味着诸如cat [named pipe]或tail -F [file]之类的配置将产生期望的结果，其中日期可能不会 - 前两个命令产生数据
转载
2024-03-20 15:34:50
38阅读
要点：1.linux上必须有hadoop，并已经启动起来，因为使用的是hadfsink2.在a2.sources.r2.
原创
2023-02-02 10:03:42
84阅读
在agent启动时，会启动Channel,SourceRunner,SinkRunner，比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中： private void doStart() {
boolean&nbs
原创
2015-03-08 15:09:18
1948阅读
Flume部署和使用官方文档: http://flume.apache.org/ example: WebServer --> Agent[Source–>Channel–>Sink] --> HDFS一.简介Flume是一个分布式，可靠的的框架，它能从许多不同的数据源高效地收集、聚合和移动大量日志数据到一个集中的目的进行存储。Flume OG主要是0.9及以前的版本，Fl
转载
2024-04-29 11:14:28
102阅读
flume的安装及配置flume概述:Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFShbase、hive、kafka等众多外部存储系统中一般的采集需求，通过对flume的简单配置即可实现Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采
转载
2024-03-24 10:27:26
77阅读
flume的基本使用1 flume的基本运行方式1.1 通过端口来进行获取流1.2 通过监控文件来进行获取流1.3 通过监控文件夹2 flume的多对一和一对多2.1 多对一，ManyToOneflume1flume2flume32.2 一对多，OneToManyflume1flume2flume33 flume 拦截器（interceptors）3.1 对文件名添加时间3.2 文件夹添加主机名
转载
2024-02-19 10:34:17
106阅读
目录linux系统flume的安装和使用安装Flume下载安装Flume配置相关文件配置环境变量配置文件启动FLame实例使用Flume接收来自AvroSource的信息使用Flume接收来自NetcatSource的信息 linux系统flume的安装和使用数据采集是大数据分析全流程中的重要环节，典型的数据采集工具包括ETL工具、日志采集工具（如Flume和Kafla）、数据迁移工具（如Sqo
转载
2024-05-21 11:34:09
44阅读
前提条件：安装好hadoop2.7.3（Linux系统下）安装好Flume，参考：Flume安装配置原理：Flume数据流模型题目：完成通过Avro Source接收外部数据源，数据缓存在memory channel中，然后通过Logger sink将打印出数据，即：avro source --> memory channel --> logger sink 步骤：
转载
2024-04-24 08:31:26
32阅读
Flume的安装与使用目录Flume的安装与使用一、Flume 介绍Flume架构Flume组件SourceChannelSinkFlume数据流Flume可靠性二、Flume的安装Flume的安装1、上传至虚拟机，并解压2、重命名目录并配置环境变量3、查看 Flume 版本4、测试 Flume三、Flume的使用Flume 对接 Kafka一、Flume 介绍实时数据采集工具可以监控一个文件，可
转载
2023-07-21 22:33:36
233阅读
flume学习笔记(1)一，Flume简介官方网站： http://flume.apache.org/ 用户文档： http://flume.apache.org/FlumeUserGuide.htmlFlume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(
转载
2024-08-20 11:25:27
25阅读
1.Flume简介Apache flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储（如文本、HDFS、Hbase等）。其使用不仅仅限于日志数据聚合。因为数据源是可定制的（内置Avro，ThriftSyslog，Netcat），Flume可以用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数
转载
2024-03-24 13:36:09
34阅读
介绍概述系统要求架构数据流模型复杂流可靠性可恢复性安装安装agent配置单独的组件把各部分连接起来启动agent一个简单的示例记录原始数据基于Zookeeper的配置安装第三方插件pluginsd目录插件的目录结构数据提取RPC执行命令网络流设置multi-agent流合并复用流 介绍概述Apache Flume是一个分布式的，可靠的，高可用的系统，用于高效地从多个不同的数据源收集，汇总及迁移大
转载
2024-03-21 14:40:39
66阅读
一：安装flumeflume下载地址： [flume下载官网]通过SSH工具将flume文件从window系统发送到Ubuntu中，如下图。1.解压安装包cd ~
cd 下载
sudo tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local # 将apache-flume-1.9.0-bin.tar.gz解压到/usr/local目录下，这里
转载
2024-03-20 12:42:44
48阅读
简介：1.Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中 3.一般的采集需求，通过对flume的简单配置即可实现 4.Flume针对特殊场景也具备良好的自定义扩展能力，因此，fl
转载
2023-11-10 14:38:56
213阅读
一、描述 在CDH 5.2及更高版本中，Flume包含Kafka源和sink。 使用这些从Kafka到Hadoop或
翻译
2022-11-03 14:18:06
230阅读
1、Flume在集群中扮演的角色 Flume、Kafka用来实时进行数据收集，Spark、Storm用来实时处理数据，impala用来实时查询。 2、Flume框架简介 1.1 Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。 1.2 Flume基于流式架构，容错性强，也很灵活简单，主要用于在线实时分析
转载
2024-05-10 22:40:30
58阅读
1、selector（）（）选择器可以工作在复制 多路复用(路由) 模式下 复制模式 属性说明： selector.type replica
转载
2023-07-27 16:35:24
78阅读
在Flume使用中配置相当重要，但也非常简单。 在conf目录下，创建一个配置文件，比如：template.conf（名字可以不固定,后缀也可以不固定）相关配置：#配置Agent a1 的组件
a1.sources=r1
a1.channels=c1 (可以配置多个，以空格隔开，名字自己定）
a1.sinks=s1 (可以配置多个，以空格隔开，名字自己定）
#描述/配置a1的r1
a1.
