1 WordCount案例实操1．需求：使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数2．添加依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11<
原创
2022-11-11 10:33:55
93阅读
目录1 Spark Streaming 不足2 Structured Streaming 概述2.1 模块介绍2.3 编程模型3 入门案例：WordCount3.1 功能演示3.2 Socket 数据源3.3 Console 接收器3.4 编程实现4 DataStreamReader 接口5 文件数据源6 Rate source1 Spark Streaming 不足Apache Spark在20
转载
2023-07-18 22:53:53
107阅读
# 如何实现“dstream arm”在K8S中
作为一名经验丰富的开发者，我将会向你介绍如何在K8S中实现“dstream arm”。首先，我们需要了解一下整个过程的流程，然后逐步进行代码实现。
### 步骤概述
| 步骤 | 操作 |
| --- | --- |
| 步骤一 | 创建一个Kubernetes集群 |
| 步骤二 | 部署DStream并配置ARM架构 |
| 步骤三 |
原创
2024-05-27 11:44:02
92阅读
1. RDD队列（了解）测试过程中，可以通过使用ssc.queueStream(queueOfRDDs)来创建DStream，每一个推送到这个队列中的RDD，都会作为一个DStream处理。案例object SparkStreaming02_RDDQueue {
def main(args: Array[String]): Unit = {
//创建配置文件对象
val con
转载
2021-03-09 19:54:43
192阅读
2评论
# 深入了解Spark DStream
Apache Spark是一个用于大规模数据处理的快速通用引擎，它提供了高效的数据处理能力和支持多种数据处理方式的API。在Spark中，有一个非常重要的概念就是DStream（Discretized Stream），它是Spark Streaming的核心抽象，用于处理实时流数据。
## 什么是Spark DStream？
DStream是一个连续的
原创
2024-07-11 05:51:40
35阅读
一.DStreams【离散流】 DStreams或离散流是Spark Streaming提供的基本抽象。它表示连续的数据流，可以是从源接收的输入数据流，也可以是通过转换输入流生成的已处理数据流。在内部，DStream由一系列连续的RDD表示，这是Spark对不可变的分布式数据集的抽象。DStream中的每个RDD都包含来自特定间隔的数据，如下图所示： 在DStream上执行的任何操作都
转载
2023-07-11 10:43:39
90阅读
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！
原创
2022-02-15 10:16:55
142阅读
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，
原创
2021-09-03 14:37:05
133阅读
Discretized Stream是Spark Streaming的基础抽象，代表持续性的数据流和经过各种Spark原语操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据，如下图：对数据的操作也是按照RDD为单位来进行的计算过程由Spark engine来完成...
原创
2022-03-24 09:44:27
142阅读
# Spark DStream 面试实现流程
## 整体流程
下面是实现 "spark DStream" 的流程图：
```mermaid
flowchart TD
A(创建SparkContext)
B(创建StreamingContext)
C(创建DStream)
D(对DStream进行操作)
E(启动StreamingContext)
原创
2023-12-15 05:16:02
82阅读
即，中文叫做，Spark Streaming提供的一种高级抽象，代表了一个持续不断的数据流。DStream可以通过输入数据源来创建，比的每个RDD都包含了一个时间段内的数据。
原创
精选
2024-04-27 19:06:59
206阅读
从上一篇文章(HDFS客户端文件写操作---概述)的示例代码中可以看到，先创建FileSytem类对象(其实这个对象就是DistributedFileSystem类对象，DistributedFileSystem类是FileSytem类的子类)，我们从FileSytem类的get函数开始，该函数有两个，代码如下：/** Returns the FileSystem for this URI's s
详细说说direct dstream
原创
2021-07-27 09:48:31
314阅读
Discretized Stream是Spark Streaming的基础抽象，代表持续性的数据流和经过各种Spark原语操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据，如下图：对数据的操作也是按照RDD为单位来进行的计算过程由Spark engine来完成...
原创
2021-07-07 10:48:54
221阅读
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，
原创
2021-09-03 14:32:57
169阅读
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台 本片博文为大家
原创
2022-02-06 13:58:08
224阅读
DStream上的原语与RDD的类似，分为Transformations（转换）和Output Operations（输出）两种，此外转换操作中还有一
原创
2022-11-11 10:49:27
104阅读
目录1 DStream 是什么2 DStream Operations2.1 函数概述2.2 转换函数：transform2.3 输出函数：foreachRDD 1 DStream 是什么SparkStreaming模块将流式数据封装的数据结构：DStream（Discretized Stream，离散化数据流，连续不断的数据流），代表持续性的数据流和经过各
原创
2021-08-26 23:34:39
385阅读
Spark Streaming原生支持一些不同的数据源。一些“核心”数据源已经被打包到Spark S
原创
2022-11-11 10:53:12
92阅读
目录DStream转换1、无状态转换2、有状态转换2-1、updateStateByKey2-2、Window OperationsDStream转换 DStream上的原语与RDD的类似，分为Transformations（转换）和Output Operations（输出）两种，此外转换操作中还有一些比较特殊的原语，如：...
原创
2022-05-16 09:33:37
184阅读
