一、数据读写(1)从文件系统加载数据创建RDD ①本地文件：sc.textFile("file:///data/spark/buyer_favorite") ②HDFS文件：sc.textFile("hdfs://localhost:9000/spark/buyer_favorite")(2)通过并行集合创建RDD val array = Array(1,2,3
转载
2023-11-06 13:07:12
87阅读
Spark 编程指南spark特性： 提供了java scala python 和R的api支持。 在生产环境上扩展超过8000个节点。 可以在内存中缓存交互中间数据的能力：提炼一个工作集合，缓存它，反复查询。 低级别的水平伸缩的数据检索可以通过scala或者python 命令行进行交互。 高级别的流处理库spark streaming可以处理流数据。 通过spark sql支持结构化
转载
2023-11-10 11:15:02
79阅读
概述Spark主要抽象弹性分布式数据集（RDD）——横跨集群所有节点进行并行计算的分区元素集合；用户可以要求Spark将RDD持久化到内存中，来让它在并行计算中高效地重用RDDs能在节点失败中自动地恢复过来共享变量（Shared Variables）两种类型的共享变量
广播变量——在所有节点的内存中缓存一个值；累加器——仅仅能执行“添加”操作初始化Spark初始化SparkSpark 编程的
转载
2023-08-17 18:45:39
80阅读
GraphX编程指南GraphX 是新的图形和图像并行计算的Spark API。从整理上看，GraphX 通过引入 弹性分布式属性图(Resilient Distributed Property Graph)继承了Spark RDD：一个将有效信息放在顶点和边的有向多重图。为了支持图形计算，GraphX 公开了一组基本的运算（例如，subgraph，jo
原创
2021-10-14 16:47:37
187阅读
文章目录零、IDEA的scala环境配置0.1 spark和scala之间的关系0.2 编写项目（0）创建项目（1）配置pom.xml文件：（2）配置对应环境（3）测试代码（4）控制台出去日志信息（5）注意事项0.3 IDEA中切换python环境一、scala特点1.1 面向对象特性1.2 函数式编程1.3 静态类型1.4 代码简单测试栗子二、scala基础语法12.1 基本语法（1）基本规范
转载
2024-02-02 18:57:47
47阅读
RDD 介绍RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指定数据存储到内存和磁盘中，掌握了RDD编程是SPARK开发的第一步。1:创建操作（creation op
转载
2023-07-15 11:51:57
0阅读
OverviewSpark Streaming（下称streaming）是Spark core的拓展，一个易扩展、高吞吐、高容错的流式数据处理系统。streaming-archstrea...
转载
2021-06-10 21:00:47
222阅读
Spark编程指南 译者说在前面：近期在学习Spark相关的知识，在网上没有找到比較详细的中文教程，仅仅找到了官网的教程。出于自己学习同一时候也造福其它刚開始学习的人的目的，把这篇指南翻译成了中文。笔者水平有限，文章中难免有很多谬误，请高手指教。 本文翻译自Spark Programming Gui
转载
2017-07-28 09:56:00
233阅读
2评论
Spark Streaming 是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例如Kafka，Flume，Kinesis或TCP sockets）中提取数据，并且可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join和 ...
转载
2021-05-03 23:16:46
382阅读
2评论
OverviewSpark Streaming（下称streaming）是Spark core的拓展，一个易扩展、高吞吐、高容错的流式数据处理系统。streaming-archstrea...
转载
2021-06-10 21:00:46
210阅读
Spark Streaming编程指南
概览Spark Streaming 是基于Spark 核心API的扩展，使高伸缩性、高带宽、容错的流式数据处理成为可能。数据可以来自于多种源，如Kafka、Flume、Kinesis、或者TCP sockets等，而且可以使用map、reduce、join 和 window等高级接口实现复杂算法的处理。最终，处理的数据可以被推送到数据库
总览第一、每个spark 应用都有一个驱动程序去运行着主函数和再每个节点上的并行操作。
spark提供了一个RDD（弹性分布式数据集）的数据集合，可以通过不同的节点并行操作运算，可以通过hdfs文件构建。RDD可以在内存中进行缓存，当需要复用的时候会有更高的效率。第二、提供了共享变量（shared varibales）在不同节点的并行操作中使用。一个是广播变量（broadcast variable
转载
2023-11-29 12:27:16
56阅读
Spark Structured Streaming入门操作
原创
精选
2023-10-19 11:36:09
266阅读
Spark Structured Streaming入门操作
原创
2021-07-12 16:38:28
1110阅读
前言： Spark SQL是Spark大数据框架的一部分， 支持使用标准SQL查询和HiveQL来读写数据，可用于结构化数据处理，并可以执行类似SQL的Spark数据查询，有助于开发人员更快地创建和运行Spark程序。 全书分为4篇，共9章，第一篇讲解了Spark SQL发展历史和开发环境搭建。第二篇讲解了Spark SQL实例，使得读者掌握Spark SQL的入门操作，了 解Spark RDD、
转载
2024-05-17 22:42:18
168阅读
Spark Streaming 编程指南OverviewA Quick ExampleBasic ConceptsLinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreams and ReceiversTransformations on DStreamsOutput Operations on D
RDD编程在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运
转载
2023-09-28 00:58:46
139阅读
一、简介RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运行时可以通过管道的
转载
2023-08-18 22:47:18
87阅读
本文翻自官方博客，略有添加：https://github.com/mesos/spark/wiki/Spark-Programming-GuideSpark发指南 从高的面看，其实每一个Spark的用，都是一个Driver类，通运行用户定义的main函，在集群上行各种并发操作和算Spark提供的最主要的抽象，是一个性分布式据集(RDD)，它是一种特殊集合，可以分布在集群的点上，以函式程操
转载
2024-01-22 14:58:35
67阅读
Spark学习之RDD编程（2）1. Spark中的RDD是一个不可变的分布式对象集合。2. 在Spark中数据的操作不外乎创建RDD、转化已有的RDD以及调用RDD操作进行求值。3. 创建RDD:1）读取一个外部数据集2）在驱动器程序里分发驱动器程序中的对象集合。4. RDD支持的操作：1）转换操作，由一个RDD生成一个新的RDD。
2）行动操作，对RDD进行计算结果，并把结果返回到驱动器程序中
转载
2024-07-19 23:44:54
50阅读
