http://stark-summer.iteye.com/blog/2178096 RDD的核心方法： 首先看一下getPartitions方法的源码： getPartitions返回的是一系列partitions的集合，即一个Partition类型的数组 我们就想进入HadoopRDD实现： 1
转载
2018-09-14 08:42:00
168阅读
2评论
Spark RDD 学习导入pysparkimport pyspark初始化SparkContextsc = pyspark.SparkContext(master="local[*]",appName="test1")RDD Transform算子将一个列表构建成一个rddrdd1 = sc.parallelize([1,2,3,4,5])收集并显示rdd中的数据rdd1...
原创
2021-11-18 09:17:43
444阅读
键值对RDD是Spark中许多操作所需要的常见数据类型。键值对RDD通常用来进行聚合运算，我们一般要先通过一些初始ETL（抽取，转化，装载）操作来将数据转化为键值对形式。Spark
原创
2023-02-17 10:01:27
91阅读
1.RDD缓存机制 cache, persist Spark 速度非常快的一个原因是 RDD 支持缓存。成功缓存后，如果之后的操作使用到了该数据集，则直接从缓存中获取。虽然缓存也有丢失的风险，但是由于 RDD 之间的依赖关系，如果某个分区的缓存数据丢失，只需要重新计算该分区即可。 涉及到的算子：pe ...
转载
2021-05-13 22:55:32
206阅读
2评论
1.在生产环境下，如何处理配置文件 && 表的数据处理 配置文件，或者配置表，一般是放在在线db，比如mysql等关系型数据库，或者后台rd直接丢给你一份文件，数据量比起整个离线数据仓库的大表来说算很小，所以这种情况下，一般的做法是将小表，或者小文件广播出去，那么下面一个例子来看，广播表的使用解决i ...
转载
2021-05-13 22:52:59
582阅读
2评论
看了前面的几篇Spark博客，相信大家对于Spark的基本概念以及不同模式下的环境部署问题已经搞明白了。但其中，我们曾提到过Spark程序的核心，也就是弹性分布式数据集(RDD)。但到底什么是RDD,它是做什么用的呢？本篇博客，我们就来详细讨论它们的使用情况。文章目录RDD概述1.什么是RDD2.R...
原创
2021-06-01 17:48:48
428阅读
文章目录RDD 的初步了解数据存储分布式存储内存优先数据可靠性数据分析程序调度DriverJobstagetaskmasterworkerexecutorRDD 的初步了解数据存储RDD 是一种集合,用来存储和管理数据分布式存储分布式运算思想是 将大数据量数据分成多份,使用多台机器处理,待所有机器处理完毕汇总到同一台机器上
原创
2022-02-10 10:32:27
117阅读
Spark笔记整理（二）：RDD与spark核心概念名词
原创
2018-04-25 16:58:35
10000+阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、基本概念1.RDD的生成2.RDD的存储3.Dependency4.Transformation和Action4.1 Transformation操作可以分为如下几种类型：4.1.1 视RDD的元素为简单元素。4.1.2 视RDD的元素为Key-Value对:4.2 Action操作可以分为如下几种：5.shuffl
转载
2023-11-14 09:26:59
105阅读
文章目录RDD 的初步了解数据存储分布式存储内存优先数据可靠性数据分析程序调度DriverJobstagetaskmasterworkerexecutorRDD 的初步了解数据存储RDD 是一种集合,用来存储和管理数据分布式存储分布式运算思想是 将大数据量数
原创
2021-05-31 17:19:16
403阅读
是什么 SparkSql 是Spark提供的 高级模块，用于处理结构化数据，开发人员可以使用HiveQL 和SQL语言 实现基于RDD的大数据分析， 底层基于RDD进行操作，是一种特殊的RDD，DataFrameRDD类型 1. 将SQL查询与Spark无缝混合，可以使用SQL或者Da
转载
2023-08-10 20:44:14
114阅读
窄依赖所谓窄依赖就是说子RDD中的每个分区（partition）只依赖于父RDD中有限个数的partition。在API中解释如下： 窄依赖在代码中有两种具体实现，一种是一对一的依赖：OneToOneDependency，从其getparent方法中不难看出，子RDD只依赖于父 RDD相同ID的Partition。另外一种是范围的依赖，RangeDependency，它仅仅被org.apache
转载
2023-06-11 15:26:05
137阅读
1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用 它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有S
转载
2023-07-11 20:00:57
108阅读
一、Spark包括什么spark的核心是Spark Core，其中上面的Spark Sql对接的是Hive等结构化查询，Spark Streaming是对接的流式计算，后面的那两个也是主要用在科学任务中，但是他们的基础都是spark core，而Spark core的核心就是RDD操作，RDD的操作重要的就是算子，也就是说，掌握了算子基本上就掌握了spark的基础。二、RDD1、是什么？ 
弹性分布式数据集（RDD）不仅仅是一组不可变的JVM(Java虚拟机) 对象的分布集，可以让你执行高速运算，而且是Apark Spark的核心。顾名思义，该数据集是分布式的。基于某个关键字，该数据集被划分成多块，同时分发到执行结点。这样做可以使得此类数据集能够执行高速执行运算。另外，RDD将跟踪（记入日志）应用于每个块的所有转换，以加快计算速度，并在发生错误和部分数据丢失时提供回退。在这种情况...
原创
2022-03-15 14:06:34
172阅读
