目录Kafka简介消息队列Kafka的应用场景消息队列的两种模型Kafka中的重要概念消费者组幂等性Kafka集群搭建kafka集群部署kafka启动脚本Kafka命令行操作1.查看Kafka Topic列表2.创建Kafka Topic3.删除Kafka Topic4.kafka消费信息5.查看kafka Topic详情6.kafka压力测试 Kafka简介消息队列消息队列——用于存放消息的组
前面我们讲了两个案例的使用，接下来看一个稍微复杂一点的案例： 需求是这样的，1、将A和B两台机器实时产生的日志数据汇总到机器C中
2、通过机器C将数据统一上传至HDFS的指定目录中注意：HDFS中的目录是按天生成的，每天一个目录看下面这个图，来详细分析一下根据刚才的需求分析可知，我们一共需要三台机器 这里使用bigdata02和bigdata03采集当前机器上产生的实时日志数据，统一汇总到bigd
1. JDK的安装
参考jdk的安装，此处略。
2. 安装Zookeeper
参考我的Zookeeper安装教程中的“完全分布式”部分。
3. 安装Kafka
参考我的Kafka安装教程中的“完全分布式搭建”部分。
4. 安装Flume
参考我的Flume安装教程。
5. 配置Flume
5.1. 配置kafka-s.cfg
切换到kafka的配置文件目
就是服务器B的Sink要换成kafka 的sink即可服务器A还是不变：# Define a memory channel called ch1 on agent1agent1.channels.ch1.type = memoryagent1.channels.ch1.capacity = 1000agent1.channels.ch1.transactionCapacity = 100 ...
原创
2022-08-01 20:30:58
94阅读
flume官网地址http://flume.apache.org/#下载
wget https://mirrors.bfsu.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
#解压
tar -zxvf apache-flume-1.9.0-bin.tar.gz
#flume-env.sh中配置JAVA_HOME
cd apache-f
原创
2023-05-11 10:49:58
331阅读
一、Flume的安装配置去Flume官网下载Flume安装包，我下载的版本为apache-flume-1.9.0-bin.tar.gz，解压。 （1）修改flume-env.sh。Flume运行在JVM之上，因此安装之前要确保系统安装了JDK，编辑环境配置文件，执行命令如下：mv flume-env.sh.template ./flume-env.sh
vim flume-env.sh
expor
最近大数据学习使用了Flume、Kafka等，今天就实现一下Flume实时读取日志数据并写入到Kafka中，同时，让Kafka的ConsoleConsumer对日志数据进行消费。1、FlumeFlume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念，其相应关系如下图所示：
官网的配置 ： https://flume.apache.org/FlumeUserGuide.html配置文件 cd /usr/app/fl
原创
2022-12-28 14:55:36
296阅读
大数据日志抽取框架flume
原创
2018-04-12 14:27:23
4396阅读
点赞
flume提供了一个度量框架，可以通过http的方式进行展现，当启动agent的时候通过传递参数 -Dflume.monitoring.type=http参数给flume agent:1
2
3
4$ bin/flume-ng agent --conf conf --conf-file example.conf --name a1
-Dflume.monitoring.type=http
目录简介主要功能日志收集数据处理工作原理Flume架构安装拷贝压缩包解压改名修改配置文件安装nc（netcat）安装telnet协议应用应用一：实时监听新建netcat-logger.conf文件开启端口监听方式一访问主机开启端口监听方式二访问主机tail命令应用二：读取文件内容输出到控制台新建ile-flume-logger.conf文件开启端口监听 应用三：将文件内容输出到控制台&n
1.概述 前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。下面是今天要分享的目录： 数据来源 Flume到Kafka 数据源加载 预览 下面开始今天的分享内容。 2.数据来源 Kafka生产的数据，是由Flume的Sink提供的，这里我们需
转载
2016-12-29 11:56:00
197阅读
2评论
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集,聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力, 当前Flume有两个版本Flume0.9x版本的统称Flume-og,Flume1.x版本的统称Flume-ng,由于Flume-ng经过重大重构,与Flume-
由于需要将Mysql的数据导入到ES中,并且考虑MySql后续数据增量的情况,查阅博客推荐使用Logstash或GO-MySQL-ElasticSearch或Py-Mysql_ElasticSearch. 有人会说为什么不用flume或者MySqlsMom,在这里说一下我的看法,Flume集成ES并不是很友好,一般的我们是利用Flume实时采集日志发布到Kafka做配套,并且我们知道ELK中的E代
一、为什么要集成Flume和Kafka 我们很多人在在使用Flume和kafka时，都会问一句为什么要将Flume和Kafka集成？那首先就应该明白业务需求，一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。第一、如果Flume直接对接实时计算框架，当数据采集速度大于数
安装将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[hadoop@datanode1 software]$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/修改apache-f
在hp3上新建目录/t_f，让flume监听该文件夹，实际工作中，该目录可以设置为应用系统服务端的日志文件夹。在flume的job文件夹下，新建：touch flume-dir-hdfs.conf在里面填写内容：# flume配置的例子
# Name the components on this agent
# source:起一个别名
# properties文件它是java的配置文件,=左边就
服务介绍 随着实时分析技术的发展及成本的降低，用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博，微盘，云存储，弹性计算平台等十多个部门的多个产品的日志搜索分析业务，每天处理约32亿条(2TB)日志。 技术架构 简单介绍一下服务的技术架构： 这是一个再常见不过的架构了： （1）Kafka：接收
原创
2021-07-28 11:09:48
366阅读
文章目录1.简介2.核心三大组件2.1.Source组件2.2.Channel组件2.3.Sink组件3.安装Flume4.采集数据测试5.日志汇总到HDFS中5.1.日志收集服务配置5.2.日志汇总服务配置5.3.运行服务测试 1.简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据
