一、概述数据在线分析处理和常用工具大数据离线处理和常用工具OLAP 和 OLTP 处理和常用处理工具二、数据在线分析处理和常用工具1、Flume 介绍Flume 专注于大数据的收集和传输，用来解决在线分析处理特点，数据源源不断的到来的问题。类似的大数据开源系统有 Logstash 和 Fluentd 。三者区别如下：Logstash 主要 和 Elasticsearch 、 Kibana 结合使用
转载
2024-05-11 16:23:31
220阅读
Flume里面涉及到拦截器对数据进行处理:本项目中自定义了两个拦截器，分别是：ETL拦截器、日志类型区分拦截器。 ETL拦截器主要用于，过滤时间戳不合法和json数据不完整的日志 日志类型区分拦截器主要用于，将错误日志、启动日志和事件日志区分开来，方便发往kafka的不同topic。 1）创建maven工程flume-interceptor 2）创建包名：com.atguigu.flume.int
9.8 ETL9.8.1概念描述ETL理解ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据设计分为3部分数据抽取数据的清洗转换数据的加载对3部分的理解在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(OperationalData Store，操作型数据存储)中—
转载
2024-07-16 07:22:12
40阅读
这两天看了一下Flume的开发文档，并且体验了下Flume的使用。本文就从如下的几个方面讲述下我的使用心得：初体验——与Logstash的对比安装部署启动教程参数与实例分析Flume初体验Flume的配置是真繁琐，source，channel，sink的关系在配置文件里面交织在一起，没有Logstash那么简单明了。Flume与Logstash相比，我个人的体会如下：Logstash比较偏重于字段
转载
2024-07-04 18:06:50
27阅读
TODO 快速开始文档 SpringBoot整合ELK（Logstash收集日志、应用主动向ES写入） ELK接入Kafka基本概念ElasticSearch什么是ElasticSearch？首推官网的解释： https://www.elastic.co/guide/en/elasticsearch/reference/7.11/elasticsearch-intro.html我简单总结下，ES（
转载
2024-07-05 05:40:34
95阅读
ELK解释：ELK就是ElasticSearch + LogStash + Kibana的缩写统称。应用于互联网 部署集群的日志搜集与管理。因公司需要，本公司用 flume替换了logstash， 这篇文章也可以叫做 EFK。 原理大同小异。下面详细说明各个部件的安装部署和集成： 物理机部署分配3台物理机上部署 Zookeeper 3个
转载
2023-11-01 17:57:31
99阅读
1.什么是ELK？ ELK日志采集流程：Filebeat负责从各个数据源采集数据，发送到LogstashLogstash将数据再写入ElasticsearchElasticsearch对采集的数据创建索引Kinbana对数据以图表形式进行展现 2.ELK可以解决那些问题？统计web日志中的某一时段的IP排行榜，URL、浏览器分布查询数据可视化展示，无需繁琐的操作即可整合现有的运
转载
2024-03-06 18:16:24
31阅读
Logstash：比较偏重于字段的预处理logstash基于JRuby实现，可以跨平台运行在JVM上Flume：偏重数据的传输Logstash组件：1、Shipper 负责日志收集。职责是监控本地日志文件的变化，并输出到 Redis 缓存起来；2、Broker 可以看作是日志集线器，可以连接多个 Shipper 和多个 Indexer；3、Indexer 负责日志存储。在这个架构中会从 Redis
转载
2024-03-18 15:08:07
67阅读
目录什么是ELK功能分类为什么选择elasticsearch（技术选型）相关概念和集群相关clustershardsreplicasIndex（相当于表）Document元数据倒排索引在虚拟机里面的docker里面安装es在虚拟机里面安装Kibana 什么是ELKELK是Elasticsearch、Logstash、Kibana三个软件首字母。Elasticsearch： 全文检索工具。和之前学
转载
2024-06-20 11:48:35
43阅读
## Flume 和 Kafka 的区别
在实时数据处理中，Flume 和 Kafka 是两个常见的数据处理工具，它们分别有不同的特点和适用场景。本文将从整体的流程、步骤及代码示例来详细介绍 Flume 和 Kafka 的区别。
### 整体流程
首先，我们先来了解一下 Flume 和 Kafka 的整体流程，如下表所示：
| 步骤 | Flume | Kafka |
|------|--
原创
2024-05-07 09:48:09
68阅读
flume/sqoop/dataX入仓选择问题1 flume 是基于流式传输，可以集群形式监听日志采集和推送
1 通过source和sink与channel交互的两段事务，保证数据不丢失的可靠性，但是不能保证数据不重复
flume侧重多生产者场景，kafka因为pull机制侧重多消费者场景，sqoop侧重关系型数据库
2 flume不像kafka支持副本，如果Flume代理的一个节点奔溃了
sqoopsqoop是一种旨在haoop和如mysql等结构化数据存储之间传输大量数据的工具原理：将导入导出的命令翻译成mapr
原创
2023-01-06 15:55:26
102阅读
Logstash: 1.插件式组织方式，易于扩展和控制2.数据源多样不仅限于日志文件，数据处理操作更丰富，可自定义（过滤，匹配过滤，转变，解析......）3.可同时监控多个数据源（input插件多样），同时也可将处理过的数据同时有不同多种输出（如stdout到控制台，同时存入elasticsearch）4.安装简单，使用简单，结构也简单，所有操作全在配置文件设定，运行调用配置文件即可5
Flume和Sqoop是Hadoop数据集成和收集系统，两者的定位不一样，下面根据个人的经验与理解和大家做一个介绍：Flume由cloudera开发出来，有两大产品：Flume-og和Flume-ng，Flume-og的架构过于复杂，在寻问当中会有数据丢失，所以放弃了。现在我们使用的是Flume-ng，主要是日志采集，这个日志可以是TCP的系统的日志数据，可以是文件数据（就是通常我们在Intel服
FLUME是一个海量日志收集系统。Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统），支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。 Flume可以将应用产生的数据存储到任何集中存储器中，比如HDFS,HBase Flume的结构Age
转载
2024-07-18 08:43:49
292阅读
一、为什么选用Flume？Flume vs Logstash vs Filebeat当时选择数据采集工具时，我们主要参考了市面上热度比较高的Flume和Logstash还有Filebeat，据目前所知，美团和苏宁用的是Flume。Flume当初的设计初衷就是将数据传送到HDFS中，它更加地注重数据的传输，而Logstash是ELK组件（Elastic Search、Logstash、Kibana）
转载
2024-02-13 19:53:25
51阅读
目录前言简介架构说明部署使用前言在对公司容器云的日志方案进行设计的时候，发现主流的 ELK（Elasticsearch，Logstash，Kibana）或者 EFK（Elasticsearch，Filebeat or Fluentd，Kibana）比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。下面我们来介绍下 Loki 的一些基
转载
2024-03-20 14:46:43
290阅读
目录1、ES1.1、ES的特点1.2、ES与关系型数据库的对比1.3、ES的物理设计1.4、ES的数据类型1.5、ES的接口1.6、ES的集群搭建1.7、ES与springboot集成2、LogStash3、Kibana4、Beats5、总结 1、ESElasticSearch又叫ElasticStack，是用Java开发的，通过简单的RESTful API来隐藏Lucene的复杂性，实现实时文
转载
2024-04-17 09:49:02
606阅读
ELK是elasticsearch+logstash+kibana的组合，是一款日志收集解决方案的简写，而EFK是elasticsearch+filebeat+kibana的组合，解决同样的问题，它们之间的区别就是logstash与filebeat的区别。1、既有ELK，为何又再弄个EFK呢？是因为logstash是使用java语言编写的，在实际使用中，明显存在耗资源较大，运行占用CPU和内存高等
转载
2024-04-19 16:58:05
132阅读
OpenGL ES什么是 OpenGL ES？OpenGL ES（OpenGL for Embedded Systems）是 OpenGL 三维图形API的子集，针对手机、PDA和游戏主机等嵌入式设备而设计，各显卡制造商和系统制造商来实现这组 API。1OpenGL 基本概念因为 OpenGL ES 是 OpenGL 的一个子集，所以下面就主要介绍一些有关 OpenGL 的一些基本概念。OpenG
