/**
* 从Kafka读取数据，实现ExactlyOnce，偏移量保存到MySQL中
* 1.将聚合好的数据，收集到Driver端，
* 2.然后建计算好的数据和偏移量在一个事物中同时保存到MySQL中
* 3.成功了提交事物
* 4.失败了让这个任务重启
*
* MySQL数据库中有两张表：保存计算好的结果、保存偏移量
*/
object ExactlyOnce
随着分布式系统的发展，消息队列成为了不可或缺的组件之一。在Kubernetes（K8S）环境中，常用的消息队列包括RabbitMQ、RocketMQ和Kafka。这三种消息队列各有优点和适用场景，接下来我将详细介绍它们的区别，以及如何在K8S环境中使用这三种消息队列。
### RabbitMQ、RocketMQ和Kafka比较
在选择消息队列时，需要根据具体的业务需求和系统架构特点来决定使用哪
原创
2024-04-26 10:44:30
151阅读
Kafka和storm集群环境安装 这两者的依赖如下: Storm集群：JDK1.8 , Zookeeper3.4，Storm1.1.1； Kafa集群 : JDK1.8 ，Zookeeper3.4 ，Kafka2.12；文件准备环境配置修改配置文件启动Storm 分布式实时大数据处理框架 Storm的核心组件： Nimbus：即Storm的Master，负责资源分配和任务调度。一个Storm集群
转载
2024-07-06 22:35:50
59阅读
1、SparkStreaming && Storm的区别？答：
SparkStreaming 是微批处理，不是真正的实时，它的实时性取决于自定义的间隔是多大。
Storm是真正意义上的实时处理，因为它是一条一条处理数据的。但Storm的吞吐量比起SparkStreaming是要小很多的。
SparkStreaming依托于Spark
转载
2024-04-17 15:25:48
55阅读
本文整理自云栖社区之前对阿里搜索事业部资深搜索专家蒋晓伟老师的一次采访，蒋晓伟老师，认真而严谨。在加入阿里之前，他曾就职于西雅图的脸书，负责过调度系统，Timeline Infra和Messenger的项目。而后在微软的SQL Server引擎担任过Principal Engineer，负责关系数据库的架构工作。2014年加入阿里以后，作为阿里搜索事业部资深搜索专家，他负责搜索工程的数据团队。谈起
转载
2024-01-05 21:35:02
49阅读
一、Spark Streaming概述1.1 Spark Streaming是什么？Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的 TCP套接字等等。数据输入后可以用 Spark 的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方
转载
2023-10-26 22:30:28
138阅读
1、基本概念（了解） ①流（Streaming）： 是一种数据传送技术，它把客户机收到的数据变成一个稳定连续的流，源源不断地送出，使用户听到的声音或看到的图象十分平稳， 而且用户在整个文件送完之前就可以开始在屏幕上浏览文件。 ②常见的流式计算框架 Apache Storm Spark Streaming Apache Flink
今天先安装好了spark，利用spark里自带的Scala运行了几个简单的Scala程序，看教学视频了解了点儿简单的语法，截图如下： 接着安装scala ide for eclipse，安装在了usr/local目录下，本以为他会正常的替代原来的eclipse，因为我之前有这样直接解压到里面直接就替换了，这次解压之后不仅之前的还在，而且两个eclipse都没法正常使用了&nb
转载
2023-12-12 15:31:18
281阅读
sparkstreaming和flink的区别–组件：sparkstreaming：Master:主要负责整体集群资源的管理和应用程序调度；Worker:负责单个节点的资源管理，driver 和 executor 的启动等；Driver:用户入口程序执行的地方，即 SparkContext 执行的地方，主要是 DGA 生成、stage 划分、task 生成及调度；Executor:负责执行 tas
转载
2023-08-11 23:56:23
123阅读
大纲：Spark Streaming概述DStreamSpark Streaming WordCount 1、Spark Streaming概述1.1 什么是Spark StreamingSpark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Stre
转载
2024-06-08 14:31:32
69阅读
Spark Streaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。其中区别之一就是，Spank Streaming和Stom的计算模型完全不一样，Spark Streaming是基于RDD的，因此需要将一小段时间内的，比如1秒内的数据，收集起来，作为一个RDD.然后再针对这个batch的数据进行处理。而Storm却可以做到每来一条数据， 都可以立即进行处理和计算。
转载
2024-01-08 18:15:58
42阅读
6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。关注Doris官方公众号，后台回复“0629”即可获取各位嘉宾分享PPT及现场录像。今天是朱良昌同学代表百度智能云流式计算团队带来Spark Streaming对接Doris 设计与实现的分享。业务场景Spark Streaming（主要
转载
2024-10-09 12:26:01
213阅读
Spark和MapReduce都是用来处理海量数据，但是在处理方式和处理速度上却不同。第一，spark处理数据是基于内存的，而MapReduce是基于磁盘处理数据的。MapReduce是将中间结果保存到磁盘中，减少了内存占用，牺牲了计算性能。Spark是将计算的中间结果保存到内存中，可以反复利用，提高了处理数据的性能。
转载
2021-12-07 10:41:00
188阅读
Spark运行原理&相对mapreduce优势 一. 相对mapreduce优势 Spark 与 mapreduce 的重要概念区别mapreduce一个 mapreduce 就是一个job一个job 包含N个task ( Map Task /Reduce Task)一个task 对应一个进程Task运行开启进程, task完毕后销毁进程, 对于多个task而言, 开销是比较大的Spark
转载
2024-08-03 22:43:00
64阅读
首先最核心的两点：内存和磁盘的区别；job中途失败重新计算的区别。---spark最核心的概念是RDD（弹性分布式数据集），它的所有rdd在并行运算过程程中，可以做到数据共享，也就是可以重复使用mr在计算过程中---mapr：一次数据过程包含从共享文件系统读取数据、进行计算、完成计算、写入计算结果到共享存储中，在计算过程中，不同计算节点之间保持高度并行，这样的数据流模型使得那些需要反复使用一个特定
转载
2023-12-14 11:32:01
115阅读
1、Spark是什么？ ○ 高可伸缩性 ○ 高容错 ○ 基于内存计算
2、Spark的生态体系（BDAS，中文:伯利克分析栈） ○ MapReduce属于Hadoop生态体系之一，Spark则属于BDAS生态体系之一
转载
2023-12-18 21:26:13
26阅读
1、什么是Spark？ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MadReduce所具有的优点；但不同于MapReduce的是Job中间输出的结果可以保存在内存中，从而不需要读写HDFS，因此Spark能更好地适用于数据挖掘与
转载
2023-09-25 10:11:59
503阅读
引言 目前接触到的并行处理框架主要有MP、MPI、CUDA以及MapReduce(Hadoop、Spark)。MPI和MapRedcue(Hadoop、Spark)都可以在集群中运行，而MP因为共享存储结构的关系，不能在集群上运行，只能单机。另外，MPI、Spark让数据保留在内存中，可以为节点间的通信和数据交互保存上下文，所以能执行迭代算法，而Hadoop却不具有这个特性。因此，需要迭代的机器
转载
2024-01-11 10:06:16
184阅读
Apache Spark™ is a fast and general engine for large-scale data processing.Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而
转载
2023-08-10 09:12:42
594阅读
Trigger什么是Trigger?翻译过来中文意思是触发器，显然这个解释是懵逼的，读者肯定有以下疑问，触发什么？什么时候触发？为什么需要触发器？带着疑问我们来学习FlinkTrigger详解Trigger是干嘛的呢？读者在理解trigger的时候，一定要和watermark以及window联系起来，上节讲到watermark的语义是表示后来到达的数据再也没有小于这个时间了，window机制决定了
转载
2023-11-03 11:24:28
118阅读
