目录 Spark Streaming概述一、Apache SparkSpark CoreSpark SQLSpark Streaming二、Spark Streaming处理数据的流程1.数据源2.数据处理3.存储结果三、Spark Streaming工作原理Spark Streaming概述目前对于流式数据实时处理方案主要有两种：一条一条数据的处理，它的实时性很高，亚秒级别，延迟性非常
转载
2023-09-09 22:07:47
60阅读
官方文档：http://storm.apac...
原创
2021-08-13 14:13:41
138阅读
Storm入门教程：前言Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。本教程是一本对storm的基础介绍手册，希望帮助所有愿意使用实时流处理框架的技术同仁。一、实时流计算互联网从诞生的第
转载
2023-05-07 18:42:03
200阅读
短短几年时间，大数据这个词便已家喻户晓。但在大数据这个名词被命名之前，人类对数据的搜集与分析已有着悠久的历史。从人工统计分析到电脑/大型机再到今天的分布式计算平台，数据处理速度飞速提高的背后则是整体架构的不断演进。今天大数据架构最火热的莫过于Hadoop，Spark和Storm这三种，而Spark和Storm这两个后起之秀更是抢了不少Hadoop的风头，也让网上逐渐开始有一种声音说Hadoop的日
转载
2023-08-21 10:32:34
57阅读
Q1：什么是hadoop？Hadoop是Apache软件基金会支持可靠的、可扩展的一个开源的分布式计算框架的工程。具体而言，Apache Hadoop软件库是一个允许使用简单编程模型跨计算机集群处理大型数据集合的框架，其设计的初衷是将单个服务器扩展成上千个机器组成的一个集群为大数据提供计算服务，其中每个机器都提供本地计算和存储服务。 Hadoop工程包括以下模块：Hadoop
转载
2024-06-17 14:12:36
26阅读
strom经典图谱：strom基础TopologiesStreamsSpoutsBoltsStreamgroupingsReliabilityTasksWorkersConfiguration1、Topologies一个topology是spouts和bolts组成的图，通过streamgroupings将图中的spouts和bolts连接起来，如下图：一个topology会一直运行直到你手动ki
原创
2018-09-13 22:41:02
2643阅读
反压机制（BackPressure）被广泛应用到实时流处理系统中，流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。反压机制就是指系
转载
2024-05-24 23:30:44
43阅读
本系列内容：Kafka环境搭建与测试Python生产者/消费者测试Spark接收Kafka消息处理，然后回传到KafkaFlask引入消费者WebSocket实时显示版本：spark-2.4.3-bin-hadoop2.7.tgzkafka_2.11-2.1.0.tgz------------------第3小节：Spark接收Kafka消息处理，然后回传到Kafka---------------
转载
2023-08-22 20:24:39
75阅读
Flink全景图实时处理框架StromStrom是第一代实时处理框架，基于流处理，数据吞吐量和延迟上效果不理想，只支持at least once和at most once，不能保证精确一次性，在数据准确性上存在不足SparkStreaming第二代实时处理框架，基于mini-batch思想，每次处理一小批数据，一小批数据包含多个事件，以接近事实处理效果，概况性来说是微批次、准实时Flink第三代实
转载
2024-02-03 09:45:18
59阅读
对接kafka 0.8以及0.8以上的版本Spark要在2.3.0一下选择较好，因为这个Spark对接kafka用这个比较稳定，1.0还是测试 导入依赖<dependency>
<groupId>org.apache.spark</groupId>
<!--0.8是kafka的版本，2.11是scala的版本
转载
2023-09-05 10:51:57
152阅读
(1)、如何实现sparkStreaming读取kafka中的数据 在kafka0.10版本之前有二种方式与sparkStreaming整合，一种是基于receiver，一种是direct,然后分别阐述这2种方式分别是什么 receiver：是采用了kafka高级api,利用receiver接收器来接受kafka topic中的数据，从kafka接收来的数据会存储在spark的executor中，
转载
2023-11-28 13:42:47
58阅读
Reciver方式 spark streaming通过Reciver方式获取kafka的数据实质是：在spark程序的Executor中开Reciver来接收来自kafka的数据，然后spark streaming会启动job去处理这些数据。 因为这些数据是存在内存中的，所以这种方式会容易丢失数据，如果要启用高可靠机制，让数据零丢失，就必须启用Spark Streaming的预写日志机制（Writ
转载
2023-08-05 00:45:26
162阅读
Kafka 0.10 与 Spark Streaming 流集成在设计上与0.8 Direct Stream 方法类似。它提供了简单的并行性，Kafka分区和Spark分区之间的1:1对应，以及对偏移量和元数据的访问。然而，由于新的集成使用了新的 Kafka consumer API 而不是简单的API，所以在使用方面有显著的差异。这个版本的集成被标记为实验性的，因此API有可能发生变
转载
2023-11-29 12:44:59
50阅读
1：Direct方式特点：1）Direct的方式是会直接操作kafka底层的元数据信息，这样如果计算失败了，可以把数据重新读一下，重新处理。即数据一定会被处理。拉数据，是RDD在执行的时候直接去拉数据。2）由于直接操作的是kafka，kafka就相当于你底层的文件系统。这个时候能保证严格的事务一致性，即一定会被处理，而且只会被处理一次。而Receiver的方式则不能保证，因为Receiver和ZK
转载
2023-12-23 17:45:13
51阅读
sparkstreaming 消费kafka数据的 kafkautil 提供两种创建dstream的方法： 1 老版本的createStream方法 &
转载
2023-09-01 14:45:17
125阅读
spark集群是依赖hadoop的。 hadoop集群搭建教程：Hadoop集群搭建教程（一）Hadoop集群搭建教程（二）Spark集群集群部署官网下载：spark官网这里要注意spark兼容的hadoop版本 接着解压：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz先在你的master节点进行spark的安装和配置，然后直接拷贝到其他节点就可以了。cd /usr
转载
2024-04-20 10:49:47
18阅读
# 从Kafka到Spark：实时流数据处理的完美组合
在当今数字化时代，数据已经成为企业最宝贵的资源之一。为了更好地利用数据，实时流数据处理技术应运而生。Kafka和Spark作为两大热门的实时流数据处理框架，因其高效、可靠和灵活性而备受青睐。本文将介绍Kafka和Spark的基本原理，并结合代码示例，展示它们如何完美地结合在一起，实现实时流数据的处理和分析。
## Kafka与Spark的
原创
2024-04-20 07:12:51
37阅读
进程状态是指操作系统中对进程进行管理时，为进程指定了几种状态。以便于给进程分配相应的资源。最初只分了运行，等待，就绪三种状态。 运行态指的是这个进程所需要的所有资源都已经配足了，并且给它CPU资源，此时就属于运行状态。 就绪态指的是其他所有资源，只缺CPU资源，这种状态是一种万事俱备只欠东风的状态。 等待态指的是缺其他资源，也没CPU资源，与外设有交互，或者等待指令之类的状态。三态转换关系运行状
Strom部署安装[root@python ~]# ifconfigeth0 Link encap:Ethernet HWaddr00:0C:29:1D:C6:CC inet addr:10.0.0.9 
原创
2016-11-01 00:33:38
830阅读
在进群生产环境下运行Topology和在本地模式下运行非常相似。下面是步骤：
1、定义Topology（如果使用Java开发语言，则使用TopologyBuilder来创建）
2、使用StormSubmitter向集群提交Topology。StormSubmitter有三个参数，Topology的名字，Topology的配置，和Topology本身。下面是例子：
Config co
转载
2015-08-04 13:32:00
168阅读
2评论
