我们在使用 Array.prototype.splice 方法的时候，都会提及说它速度慢，效率低。尤其在例如 Vue或者React 框架中也不推荐使用，原因是为什么呢？splice 方法方法介绍如下:方法也比较明了，就是在数组内删除或者添加元素。如下示例:// 添加一个元素
const arr = [1, 2, 3]
arr.splice(1, 0, 2, 3)
// [1, 2, 3, 2, 3
转载
2023-09-11 11:31:58
622阅读
# 利用Spark RDD处理JSON数据的指南
在大数据处理领域，Apache Spark是一个强大的工具，能够快速地处理大规模的数据集。它支持多种数据来源，其中包括JSON格式的数据。本文将介绍如何使用Spark的RDD（弹性分布式数据集）来处理JSON数据，并提供相应的代码示例。
## Spark RDD简介
RDD是一个不可变的分布式数据集，能够在多个计算机上并行计算。RDD的特点是
Spark用scala语言实现了RDD的API，程序开发者可以通过调用API对RDD进行操作处理。下图为RDD的处理过程：RDD经过一些列的“转换”操作，每一次转换都会产生不同的RDD，以供给下一次“转换”操作使用，直到最后一个RDD经过“行动”操作才会被真正计算处理，并输出到外部数据源中，若中间的数据结果需要复用，则可以进行缓存处理，将数据缓存到内存中。需要注意的是，RDD采用了惰性调用,即在R
转载
2023-10-30 22:18:00
77阅读
原文太长，提炼关键点数据序列化 (Kryo更快，使用SparkConf初始化作业并调用conf.set（“ spark.serializer”，“ org.apache.spark.serializer.KryoSerializer”）来切换为使用Kryo)内存调优内存管理概述确定内存消耗（ 确定数据集所需的内存消耗量的最佳方法是创建一个RDD，将其放入缓存中，然后查看Web UI中的
转载
2024-01-10 18:51:33
81阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、基本概念1.RDD的生成2.RDD的存储3.Dependency4.Transformation和Action4.1 Transformation操作可以分为如下几种类型：4.1.1 视RDD的元素为简单元素。4.1.2 视RDD的元素为Key-Value对:4.2 Action操作可以分为如下几种：5.shuffl
转载
2023-11-14 09:26:59
105阅读
Spark-空RDD判断与处理
原创
2021-07-27 15:18:38
720阅读
窄依赖所谓窄依赖就是说子RDD中的每个分区（partition）只依赖于父RDD中有限个数的partition。在API中解释如下： 窄依赖在代码中有两种具体实现，一种是一对一的依赖：OneToOneDependency，从其getparent方法中不难看出，子RDD只依赖于父 RDD相同ID的Partition。另外一种是范围的依赖，RangeDependency，它仅仅被org.apache
转载
2023-06-11 15:26:05
137阅读
是什么 SparkSql 是Spark提供的 高级模块，用于处理结构化数据，开发人员可以使用HiveQL 和SQL语言 实现基于RDD的大数据分析， 底层基于RDD进行操作，是一种特殊的RDD，DataFrameRDD类型 1. 将SQL查询与Spark无缝混合，可以使用SQL或者Da
转载
2023-08-10 20:44:14
114阅读
1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用 它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有S
转载
2023-07-11 20:00:57
108阅读
一、Spark包括什么spark的核心是Spark Core，其中上面的Spark Sql对接的是Hive等结构化查询，Spark Streaming是对接的流式计算，后面的那两个也是主要用在科学任务中，但是他们的基础都是spark core，而Spark core的核心就是RDD操作，RDD的操作重要的就是算子，也就是说，掌握了算子基本上就掌握了spark的基础。二、RDD1、是什么？ 
弹性分布式数据集（RDD）不仅仅是一组不可变的JVM(Java虚拟机) 对象的分布集，可以让你执行高速运算，而且是Apark Spark的核心。顾名思义，该数据集是分布式的。基于某个关键字，该数据集被划分成多块，同时分发到执行结点。这样做可以使得此类数据集能够执行高速执行运算。另外，RDD将跟踪（记入日志）应用于每个块的所有转换，以加快计算速度，并在发生错误和部分数据丢失时提供回退。在这种情况...
原创
2022-03-15 14:06:34
172阅读
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。
原创
2023-06-10 00:35:02
90阅读
原因1:优秀的数据模型和丰富的计算抽象Spark出现之前，已经有了非常成熟的计算系统MapReduce，并提供高级API(map/reduce)，在集群中运行计算，提供容错，从而实现分布式计算。虽然MapReduce提供了数据访问和计算的抽象，但是数据的重用只是简单地将中间数据写入一个稳定的文件系统(比如HDFS)，所以会产生数据复制备份、磁盘I/O和数据序列化，所以在多个计算中遇到需要重用中间结
1. Spark与Scala的版本问题官网会给出Maven Repository上可以查到2. RDD(Resilent Distributed DataSet)一组Partition，每个分片都被一个计算任务处理，未指定的话默认是程序分配的CPU core的数目计算每个Paritition的函数每个Partition上的数据都有一个函数进行计算RDD之间的依赖关系Rdd每次转换会生成
转载
2023-07-30 15:45:52
132阅读
spark常用RDD操作，操作包括两种类型，即转换（Transformation）操作和行动（Action）操作一、转换操作（Transformation）1、filter（func）筛选出满足函数func的元素，并返回一个新的数据集 例：val lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")
val linesWi
转载
2023-06-19 05:51:18
0阅读
学习spark最基本的概念就时RDD(Resilient Distributed Datasets弹性分布式数据集)RDD五大特性我画了一个丑丑的图，这里我们将RDD图形化一下，更容易理解在RDD源码里面，它规定了五大特性：A list of partitions向图中一样由一系列分区组成，分割分区在不同节点之上A function for computing each split每个分片都有函数
转载
2023-08-08 08:39:21
82阅读
RDD和DataFrame RDD-DataFrame上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以Person为类型参数，但Spark框架本身不了解Person类的内部结构。而右侧的DataFrame却提供了详细的结构信息，使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。DataFrame多了数据的结构信息，即schema
转载
2023-09-15 22:28:51
73阅读
弹性分布式数据集（RDD）不仅仅是一组不可变的JVM(Java虚拟机) 对象的分布集，可以让你执行高速运算，而且是Apark Spark的核心。顾名思义，该数据集是分布式的。基于某个关键字，该数据集被划分成多块，同时分发到执行结点。这样做可以使得此类数据集能够执行高速执行运算。另外，RDD将跟踪（记入日志）应用于每个块的所有转换，以加快计算速度，并在发生错误和部分数据丢失时提供回退。在这种情况...
原创
2021-08-04 13:56:33
192阅读
RDD是“Resilient Distributed Dataset”的缩写，从全称就可以了解到RDD的一些典型特性。Resilient（弹性）：RDD之间会形成有向无，数据库等。
原创
2024-04-30 14:59:51
316阅读
spark RDD目录spark RDD关于sparkRDD基本概念学习对于RDD的基本操作主从节点的启动spark的初始化RDD创建调用parallelize()方法并行化生成RDD使用外部存储中的数据集生成RDD注意事项正式的、RDD的基础操作WordCount的例子RDD转化操作transformationRDD行动操作actions总结基本编程步骤总结没有做的实践操作导入并使用jar包集成
转载
2023-12-11 10:33:02
57阅读
