RDD（Resilient Distributed Datasets）是Spark中最基本的数据结构，它是一个不可变的分布式数据集合，可以在集群中进行并行处理。RDD可以从Hadoop的HDFS文件系统中读取数据，也可以从其他数据源中读取数据，如本地文件系统、Hive、Cassandra等。RDD的特点：分布式：RDD可以在集群中分布式存储和处理数据，可以在多个节点上并行处理数据。不可变性：RDD
转载
2023-08-01 16:08:05
287阅读
Spark 官方网站使用如下简洁的语言描述了Spark我们可以从中提取出如下信息：Spark是一个引擎快速通用Spark可以用来处理数据数据是大规模的Spark本身并不提供数据存储能力，它只是一个计算框架它的快速体现在什么地方呢？如果处理的数据在内存中，运行MapReduce比hadoop要快100倍以上，要是数据在磁盘中，也比Hadoop快10倍以上。为什么会快呢，Spark在处理数据的时候，使
转载
2023-09-30 09:20:55
44阅读
Spark3.0解决了超过3400个JIRAs，历时一年多，是整个社区集体智慧的成果。Spark SQL和 Spark Cores是其中的核心模块，其余模块如PySpark等模块均是建立在两者之上。Spark3.0新增 了太多的功能，无法一一列举，下图是其中24个相对来说比较重要的新功能，下文将会围绕这些进行简单介绍。 性能相关的新功能主要有： Adaptive Quer
转载
2023-09-03 11:18:21
211阅读
简介Apache Spark 3.3.0 从2021年07月03日正式开发，历时近一年，终于在2022年06月16日正式发布，在 Databricks Runtime 11.0 也同步发布。这个版本一共解决了 1600 个 ISSUE，感谢 Apache Spark 社区为 Spark 3.3 版本做出的宝贵贡献。PySpark 的 PyPI 月下载量已经迅速增长到2100万次，Python 现在
转载
2023-09-11 19:39:00
250阅读
# Spark特性及其应用
Apache Spark是一个强大的分布式数据处理框架，因其高性能和简洁的API而广受欢迎。Spark提供了一些显著的特性，包括内存计算、丰富的API、支持多种数据源和容错能力等，本文将逐一介绍这些特性，并展示相关代码示例。
## 内存计算
Spark最核心的特性之一是其内存计算能力。相比传统的MapReduce，Spark可以将数据存储在内存中，这使得数据处理速
原创
2024-09-12 05:29:19
29阅读
特征选择 坊间传言：数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。因此特征工程显得尤为重要。最近的工作中做了较多的特征工作，在这里做一个小小的总结。peason特征选择 笔者本身统计学的，一直认为pearson也只能
1.首先针对hadoop的数据存储做个总结：每个块存在三个备份----------------磁盘IO，而且是永久化进行保存，shuffle过程因为需要全局进行排序，中间数据需要溢出持久化写到磁盘中去，这个是十分容易导致磁盘的瓶颈卡顿的，磁盘一边读一边写速度是十分慢的，因此hadoop比较适合做离线处理。2.spark特点：1.快速处理的能力，hadoop的MR把中间件结果存储到磁盘，每次都需要读
转载
2023-09-01 23:53:36
115阅读
学习spark最基本的概念就时RDD(Resilient Distributed Datasets弹性分布式数据集)RDD五大特性我画了一个丑丑的图，这里我们将RDD图形化一下，更容易理解在RDD源码里面，它规定了五大特性：A list of partitions向图中一样由一系列分区组成，分割分区在不同节点之上A function for computing each split每个分片都有函数
转载
2023-08-08 08:39:21
82阅读
Spark–RDD属性和特点 文章目录Spark--RDD属性和特点1.1 什么是RDD1.2 RDD的属性1.3 RDD特点1.3.1 分区1.3.2 只读1.3.3 依赖1.3.4 缓存1.3.5 CheckPoint1.4 RDD相关概念关系 1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个
转载
2024-04-08 22:56:32
48阅读
1. HashMap的数据结构数据结构中有数组和链表来实现对数据的存储，但这两者基本上是两个极端。数组存储区间是连续的，占用内存严重，故空间复杂的很大。但数组的二分查找时间复杂度小，为O(1)；数组的特点是：寻址容易，插入和删除困难；链表链表存储区间离散，占用内存比较宽松，故空间复杂度很小，但时间复杂度很大，达O（N）。链表的特点是：寻址困难，插入和删除容易。哈希表那么我们能不能综合两者的特性，做
该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于科学网翻译基础上进行优化、修改、补充，这篇译文翻译得很不错。在此基础上，我增加了来自英文原文的图和表格数据，以及译文中缺少的未翻译的部分。如果翻译措
Apache Spark是一个流行的大数据处理框架，广泛用于数据分析和机器学习等领域。最近，Apache Spark发布了3.0版本，这个版本引入了许多新的特性和改进，进一步增强了Spark的性能和功能。本文将介绍Spark 3.0的一些新特性。Adaptive Query Execution
Adaptive Query Execution是Spark 3.0中一个非常重要的特性。它允许Spar
原创
2023-05-09 10:45:42
481阅读
Q：什么是Spark？A：简单理解，Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好
RDD的五大特征了解RDD1、分区列表2、每个分区都有一个计算函数3、依赖于其他RDD4、(Key,Value)数据类型的RDD分区器5、每个分区都有一个优先位置列表 了解RDD传统的MapReduce虽然具有自动容错、平衡负载和可拓展性强的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算时要进行大量的磁盘I/O操作。Spark中的RDD可以分号地解决这一缺点。RDD是Spark提
转载
2024-04-08 11:54:36
193阅读
对于学习大数据开发的人而言，关于spark的认知、理解、应用就显得尤为重要，而在spark之中一个相当重要的点就是rdd，那么rdd究竟有哪些优点和特性，决定了其在spark中的地位呢？
首先，我们来了解什么rdd它是Spark处理流程中的主要对象。RDD（resilient distributed dataset, RDD），即弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数
转载
2024-01-15 22:30:51
29阅读
目录一、RDD概念二、RDD做了什么三、RDD一、RDD概念 RDD（
Resilient Distributed Dataset
）叫做弹性分布式数据集，是
Spark
中最基本的数据抽象，它代表⼀个
不可变、可分区、⾥⾯的元素可
并⾏计算
的集合。
RDD
具有数
转载
2024-01-12 09:46:47
69阅读
文章目录1、什么是RDD2、RDD的五大特性3、WordCount粗图解RDD4、RDD的操作算子Transformations类算子Action类算子控制类算子5、RDD的宽依赖和窄依赖 1、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流
转载
2023-07-25 13:26:16
185阅读
1.什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。1.2.RDD的属性 1）一组分片（Pa
转载
2024-01-12 00:18:54
37阅读
1.spark容错主要分为两个方面 其一是集群 再者为spark的应用程序。 2.Driver 重要补充： driver宕机： Spark On Yarn:总之，要重启 client：只能重启job cluster：类似于MR的ApplicationMaster Spark On Standalon
转载
2017-03-13 15:03:00
178阅读
2评论
Spark RDD 概述 特性
原创
2022-12-28 15:29:28
119阅读
