概述Spark主要抽象弹性分布式数据集（RDD）——横跨集群所有节点进行并行计算的分区元素集合；用户可以要求Spark将RDD持久化到内存中，来让它在并行计算中高效地重用RDDs能在节点失败中自动地恢复过来共享变量（Shared Variables）两种类型的共享变量
广播变量——在所有节点的内存中缓存一个值；累加器——仅仅能执行“添加”操作初始化Spark初始化SparkSpark 编程的
转载
2023-08-17 18:45:39
80阅读
一、数据读写(1)从文件系统加载数据创建RDD ①本地文件：sc.textFile("file:///data/spark/buyer_favorite") ②HDFS文件：sc.textFile("hdfs://localhost:9000/spark/buyer_favorite")(2)通过并行集合创建RDD val array = Array(1,2,3
转载
2023-11-06 13:07:12
87阅读
Spark 编程指南spark特性： 提供了java scala python 和R的api支持。 在生产环境上扩展超过8000个节点。 可以在内存中缓存交互中间数据的能力：提炼一个工作集合，缓存它，反复查询。 低级别的水平伸缩的数据检索可以通过scala或者python 命令行进行交互。 高级别的流处理库spark streaming可以处理流数据。 通过spark sql支持结构化
转载
2023-11-10 11:15:02
79阅读
GraphX编程指南GraphX 是新的图形和图像并行计算的Spark API。从整理上看，GraphX 通过引入 弹性分布式属性图(Resilient Distributed Property Graph)继承了Spark RDD：一个将有效信息放在顶点和边的有向多重图。为了支持图形计算，GraphX 公开了一组基本的运算（例如，subgraph，jo
原创
2021-10-14 16:47:37
187阅读
文章目录零、IDEA的scala环境配置0.1 spark和scala之间的关系0.2 编写项目（0）创建项目（1）配置pom.xml文件：（2）配置对应环境（3）测试代码（4）控制台出去日志信息（5）注意事项0.3 IDEA中切换python环境一、scala特点1.1 面向对象特性1.2 函数式编程1.3 静态类型1.4 代码简单测试栗子二、scala基础语法12.1 基本语法（1）基本规范
转载
2024-02-02 18:57:47
47阅读
RDD 介绍RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指定数据存储到内存和磁盘中，掌握了RDD编程是SPARK开发的第一步。1:创建操作（creation op
转载
2023-07-15 11:51:57
0阅读
# Spark权威指南的下载流程
作为一名经验丰富的开发者，我很乐意教你如何下载“Spark权威指南”。下面是整个流程的步骤表：
| 步骤 | 描述 |
|---|---|
| 1 | 访问Spark官方网站 |
| 2 | 寻找“Spark权威指南”的下载页面 |
| 3 | 选择下载格式 |
| 4 | 点击下载链接 |
| 5 | 确认下载 |
现在，让我逐步解释每个步骤需要做什么，并
原创
2024-01-30 08:56:19
140阅读
第一篇是关于XMPP 协议是啥，IM 是啥以及一个比较有名的开源实现，该开源实现包括三个部分（Spark、Smack和Openfire）；第二篇讲如何开发基于Spark 的客户端IM 插件部分；第三篇讲如何开发基于Openfire 服务器端的插件部分。好了，进入正题吧。 什么是XMPP？ Extensible Messaging and Presence Protocol，简单的来讲，它
转载
2024-07-29 23:40:42
46阅读
Spark Streaming 是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例如Kafka，Flume，Kinesis或TCP sockets）中提取数据，并且可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join和 ...
转载
2021-05-03 23:16:46
382阅读
2评论
OverviewSpark Streaming（下称streaming）是Spark core的拓展，一个易扩展、高吞吐、高容错的流式数据处理系统。streaming-archstrea...
转载
2021-06-10 21:00:46
210阅读
OverviewSpark Streaming（下称streaming）是Spark core的拓展，一个易扩展、高吞吐、高容错的流式数据处理系统。streaming-archstrea...
转载
2021-06-10 21:00:47
222阅读
Spark编程指南 译者说在前面：近期在学习Spark相关的知识，在网上没有找到比較详细的中文教程，仅仅找到了官网的教程。出于自己学习同一时候也造福其它刚開始学习的人的目的，把这篇指南翻译成了中文。笔者水平有限，文章中难免有很多谬误，请高手指教。 本文翻译自Spark Programming Gui
转载
2017-07-28 09:56:00
233阅读
2评论
Spark Streaming编程指南
概览Spark Streaming 是基于Spark 核心API的扩展，使高伸缩性、高带宽、容错的流式数据处理成为可能。数据可以来自于多种源，如Kafka、Flume、Kinesis、或者TCP sockets等，而且可以使用map、reduce、join 和 window等高级接口实现复杂算法的处理。最终，处理的数据可以被推送到数据库
一、实验目的（1） 通过实验掌握 Spark SQL 的基本编程方法；（2） 熟悉 RDD 到 DataFrame 的转化方法；（3） 熟悉利用 Spark SQL 管理来自不同数据源
转载
2024-06-19 18:25:10
69阅读
目录简介 Apache Spark 是一个用来实现快速而通用的集群计算平台。是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)开发。
Spark并不是真的依赖于Hadoop，它有自己的集群管理。 Hadoop只是实现Spark的方法之一。
Spark 速度比MapReduce快，内存中计算快100倍以上，硬盘计算快10倍以上。
Spark 是在 Scala 语言中
转载
2023-09-07 20:51:54
81阅读
# Spark权威指南下载教程
## 概述
欢迎来到Spark领域！作为一名经验丰富的开发者，我将帮助你学会如何下载并阅读《Spark权威指南》。
## 流程
首先，让我们通过以下步骤来完成《Spark权威指南》的下载：
```mermaid
journey
title 下载《Spark权威指南》
section 开始
开始下载
section 下载
原创
2024-07-14 07:57:06
99阅读
# 如何下载《Spark权威指南》的PDF版本
作为一名刚入行的小白，下载电子书可能看上去有些复杂，但只要按照步骤来，就能顺利完成。本文将为你提供一个完整的流程，以及相应的代码示例，帮助你实现PDF书籍的下载。
## 下载流程
以下表格总结了整个下载《Spark权威指南》PDF的步骤：
| 步骤 | 描述 |
|------|----
原创
2024-10-23 05:19:33
311阅读
总览第一、每个spark 应用都有一个驱动程序去运行着主函数和再每个节点上的并行操作。
spark提供了一个RDD（弹性分布式数据集）的数据集合，可以通过不同的节点并行操作运算，可以通过hdfs文件构建。RDD可以在内存中进行缓存，当需要复用的时候会有更高的效率。第二、提供了共享变量（shared varibales）在不同节点的并行操作中使用。一个是广播变量（broadcast variable
转载
2023-11-29 12:27:16
56阅读
Spark Structured Streaming入门操作
原创
精选
2023-10-19 11:36:09
266阅读
Spark权威指南读书笔记（一）一、什么是Spark？1.Spark设计哲学统一平台计算引擎（不考虑数据存储）配套的软件库二、Spark应用程序spark应用程序由一个驱动器进程和一组执行器进程组成。驱动器进程负责运行main函数，主要负责三件事：维护Spark应用程序的相关信息回应用户的程序或输入分析任务并分发给若干执行器进行处理驱动器是Spark应用程序的核心，其在整个生命周期中维护者所有相关
转载
2023-09-12 16:32:17
148阅读
