看了几篇ETL的介绍，目前觉得这篇还是不错的，特此分享一下：ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL负责将分布的、异构数据源中的数据如关系数据、 平面数据文件等抽取到临时中间层后进行清洗、转换、集成，
转载
2024-07-28 11:50:50
57阅读
Java基础 Java集合类里面基本的接口有哪些？ ArrayList和Vector的区别 Iterator和ListIterator的区别 Enumeration和Iterator的区别？ HashMap与HashTable的区别？ HashMap与HashSet的底层实现？ 我们能否让HashMap线程同步？ 你知道HashMap的工作原理吗？你知道HashMap的get()方法的工作原理吗？
转载
2024-08-19 12:42:01
9阅读
目录ack应答机制producer端数据丢失和重复生产问题 Exactly Once(⼀次正好)语义consumer端数据丢失和重复消费问题END-TO-END端到端的精准一次语义。kafka 环节丢失数据，ack应答机制 对于某些不太重要的数据，对数据的可靠性要求不是很⾼，能够容忍数据的少量
转载
2024-09-28 19:20:03
43阅读
ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。 ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有
转载
2024-05-02 16:10:53
99阅读
消息丢失的场景如果Kafka Producer使用“发后即忘”的方式发送消息，即调用producer.send(msg)方法来发送消息，方法会立即返回，但此时并不能说明消息已经发送成功。消息发送方式详见初次邂逅Kafka生产者。如果在消息过程中发生了网络抖动，那么消息就会丢失；或发送的消息本身不符合要求，如大小超过Broker端的承受能力等（消息太大的情况在生产中实际遇到过，最后通过在发送前将消息
转载
2024-03-22 10:12:14
228阅读
因为项目的业务于kafka有关，自己也对kafka有了一定的了解，这里全当总结，有解释的错误的地方，还请指认！ kafka的介绍不是本文的重点，若有对kafka还不是很了解的同学可以先去了解一下。可以参考下：http://www.orchome.com/kafka/index下面回到正题。kafka是依赖于zookeeper使用的，zookeeper上会存kafka的bro
转载
2024-02-13 14:45:27
126阅读
过期的数据才会被自动清除以释放磁盘空间。比如我们设置消息过期时间为2天，那么这2天内的所有消息都会被保存到集群中，数据只有超过了两天才会被清除。Kafka只维护在Partition中的offset值，因为这个offsite标识着这个partition的message消费到哪条了。Consumer每消费一个消息，offset就会加1。其实消息的状态完全是由Consumer控制的，Consumer可以
转载
2024-02-15 09:24:44
563阅读
一、数据湖背景中的消息层1、消息层数据湖中的消息层应该具有以下功能：该层的一项核心功能是对源头和终端进行解耦能够处理来自应用服务器节点每秒几百MB的高速信息流能够处理TB甚至PB级数据能够低延迟、高吞吐的处理消息能够保证信息按照时间有序传输向多个消费者传递相同消息的能力。能够对运营统计数据进行分析，聚合来自不同数据源的数据并分析借助廉价硬件实现高性能能够实现最低程度的数据增加与转换2、技术路线图3
Kafka在zookeeper中存储结构图： 什么是kafka？Kafka是一个高吞吐量、低延迟分布式的消息队列系统kafka是分布式发布-订阅消息系统，是一种分布式的消息队列工具kafka是一个分布式的，可分区的，可复制的消息系统kafka对消息保存的时候根据topic进行分类，发送消息者称为Producer，消息接受者称为consumer，此外kafka集群由多个kafka实例组成
转载
2024-01-15 01:15:26
180阅读
本篇主要讲述消费kafka中的数据同步到Doris中。其他olap分析型数据库中，如clickhouse中有对应的kafka引擎表消费kafka的数据而后再通过物化视图的方式将消费的数据同步到对应的物理表中。但在doris中没有对应的kafka引擎表将要如何来实现同步kafka的数据呢？&n
转载
2024-07-03 11:49:38
179阅读
ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。企业如何通过各种技术手段，并把数据转换为信息、知识，已经成了提高其核心竞争力的主
转载
2024-07-25 12:17:13
52阅读
# ETL能抽Redis吗？
在现代数据处理架构中，ETL（Extract, Transform, Load）是一个至关重要的概念。ETL流程负责从多个数据源提取数据，进行转换，然后加载到数据仓库或者其他数据库中。而Redis作为一种高性能的内存数据库，也越来越多地被用作数据源。那么，ETL能否抽取Redis里的数据呢？本文将探讨这个问题，给出相关实现和代码示例。
## 一、什么是ETL？
Kafka Streams 1.Apache Kafka开源项目的一个组成部分,是一个功能强大,易于使用的库.用于在Kafka上构建高可分布,可拓展,高容错的应用程序. 2.Kafka Streams特点 1)功能强大:高扩展性,弹性,容错 2)轻量级:无需专门的集群,一个库,而不是框架. 3)完全 ...
转载
2021-08-25 11:44:00
804阅读
2评论
一、写入方式producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。分区（Partition）Kafka集群有多个消息代理服务器（broker-server）组成，发布到Kafka集群的每条消息都有一个类别，用主题（topic）来表示。通常，不同应用产生不同
转载
2024-03-05 11:04:59
86阅读
目录1.kafka中涉及的名词2.kafka功能3.kafka中的消息模型4.大概流程1.kafka中涉及的名词消息记录(record): 由一个key，一个value和一个时间戳构成，消息最终存储在主题下的分区中, 记录在生产者中称为生产者记录(ProducerRecord), 在消费者中称为消费者记录(ConsumerRecord)，Kafka集群保持所有的消息，直到它们过期， 无论消息是否被
转载
2024-03-19 20:35:55
209阅读
先处理消费端的丢失数据和重复消费这俩种情况都是 消息偏移offset的问题导致的，只是场景不同。offset位移提交一般有俩种方式，自动位移提交和手动位移提交。用enable.auto.commit这个配置属性去控制丢失消息一般是自动提交的问题，所以切换成手动位移提交就可以。手动位移提交分成同步提交和异步提交俩种。具体看下图。 重复消费的处理 对于消费端消息的重复消费问题，如果
转载
2024-06-01 00:03:45
57阅读
本文将从消息的生产端和消息的消费端分析，数据是如何丢失的？数据是如何出现重复消费的，如何解决上述这种情况?利用 Kafka 高吞吐、可分区、可复制的特性, 在实时数据流分析应用领域，Kafka 在此大展身手。1/ 生产端 Producer消息格式：每个消息是一个 ProducerRecord 对象，必须指定消息所属的 Topic 和消息值 Value ，此外还可以指定消息所属的 Partition
转载
2023-12-07 21:00:19
84阅读
美图欣赏： 一.Kafka是什么在流式计算中，Kafka一般用来缓存数据，spark通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个
转载
2023-12-01 11:50:40
115阅读
讲真，我今年的双十一有点“背”，负责的Kafka集群出了一些幺蛾子，但正是这些幺蛾子，让我这个双十一过的非常充实，也让我意识到如果不体系化学习Kafka，是无法做到生产集群及时预警，将故障扼杀在摇篮中，因此也下定决心研读kafka的内核。本文就先来分享一个让我始料未及的故障：Kafka生产环境大面积丢失消息。首先要阐述的是消息丢失并不是因为断电，而且集群的副本数量为3，消息发送端设置的acks=-
转载
2024-05-17 03:08:39
137阅读
前言根据源码分析kafka java客户端的生产者和消费者的流程。 基于zookeeper的旧消费者kafka消费者从消费数据到关闭经历的流程。由于3个核心线程基于zookeeper的连接器监听该消费者是否触发重平衡，并获取该消费者客户端消费的topic下group对应的partition以及offset。参考` ZookeeperConsumerConnector`寻找partitio
转载
2024-03-19 21:38:20
22阅读
