Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash
原创
2022-11-11 10:37:24
29阅读
Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数注意：(1)只有Key-Value类型的RDD才有分区器的，非Key-Value类型的RDD分区器的值是None(2)每个RDD的分区ID范围：0~numPartitions...
原创
2021-12-28 18:06:28
75阅读
Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数注意：(1)只有Key-Value类型的RDD才有分区器的，非Key-Value类型的RDD分区器的值是None(2)每个RDD的分区ID范围：0~numPartitions...
原创
2022-02-16 15:56:14
68阅读
# Spark Core 案例入门指南
欢迎来到Spark Core案例的学习之路！作为一名初学者，你可能对Spark的应用场景和如何实现一个具体案例感到困惑。本文将为你详细分解整个流程，并逐步引导你如何编写代码。让我们开始吧！
## 1. 项目流程概述
在开始编码之前，理解整体流程是非常重要的。以下是基本的步骤概述表：
| 步骤 | 描述 |
|-
原创
2024-10-24 04:54:55
20阅读
1.什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。属性一组分区，即数据集的基本组成单位一个计算每个分区的函数RDD之间的依赖关系一个Partition，即RDD的分片函数一个列表，存储存取每个partition的有限位置（pr...
原创
2022-03-28 17:49:35
61阅读
1.什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。属性一组分区，即数据集的基本组成单位一个计算每个分区的函数RDD之间的依赖关系一个Partition，即RDD的分片函数一个列表，存储存取每个partition的有限位置（pr...
原创
2021-06-21 16:00:26
452阅读
Spark中核心组件core的介绍
原创
2023-10-23 17:46:53
123阅读
# 如何实现SparkCore 源码
## 概述
在这篇文章中，我将向你介绍如何实现SparkCore 源码的过程。作为一名经验丰富的开发者，我将引导你完成这个任务，帮助你更好地理解SparkCore 的源码结构和实现原理。
### 流程表格
| 步骤 | 操作 |
| --- | --- |
| 1 | 下载SparkCore 源码 |
| 2 | 阅读源码并理解核心概念 |
| 3 | 修
原创
2024-06-26 04:12:48
21阅读
Spark入门实战系列--6.SparkSQL（上）--SparkSQL简介【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》1、SparkSQL的发展历程石山园 Spark入门实战系列--6.SparkSQL（上）--SparkSQL简介【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1.1SparkSQL的
文章目录什么是RDD1.RDD属性：2.RDD特点：2.1 弹性2.2 分区2.3 只读2.4 依赖2.5 缓存2.6 CheckPoint3.RDD 编程3.1 RDD的创建3.2 RDD的转换什么是RDDRDD：弹性分布式数据集，Spark中最基本的数据抽象，弹性的，不可变，可分区，里面的元素可并行计算的集合。1.RDD属性：* Internally, each RDD is char...
原创
2021-06-21 16:00:51
277阅读
文章目录什么是RDD1.RDD属性：2.RDD特点：2.1 弹性2.2 分区2.3 只读2.4 依赖2.5 缓存2.6 CheckPoint3.RDD 编程3.1 RDD的创建3.2 RDD的转换
什么是RDDRDD：弹性分布式数据集，Spark中最基本的数据抽象，弹性的，不可变，可分区，里面的元素可并行计算的集合。
1.RDD属性：* Internally, each RDD is charac
原创
2022-03-28 17:35:13
48阅读
Spark Core包含Spark的基本功能，如内存计算、任务调度、部署模式、故障恢复、存储管理等，SparkCore底层是RDD，即弹性分布式分布式数据集，底层又分为多个partition(分区)，它本身是不存数据的，只是计算的时候数据存在于RDD中，RDD的产生意味着调用了算子。这样一系列通过调用算子生成的RDD，最终会生成DAG有向无环图。 在将sparkcore之前我们先看看sp
转载
2023-09-10 17:10:13
76阅读
## SparkCore 读取 JSON 的步骤
为了帮助刚入行的小白实现 SparkCore 读取 JSON，下面将详细介绍整个过程，并提供相应的代码和解释。
### 步骤一：导入必要的库和模块
在开始编写代码之前，我们需要导入 SparkCore 和相关的库和模块。首先导入以下库和模块：
```python
from pyspark import SparkContext, Spark
原创
2023-07-22 03:49:46
93阅读
在大数据领域中，Spark2.x 是一个强大的计算框架，而协同过滤算法则是推荐系统中常用的重要算法之一。一、什么是 Spark2.x+协同过滤算法Spark2.x 提供了高效的分布式计算能力，能够处理大规模的数据。协同过滤算法是基于这样一个假设：如果用户 A 和用户 B 在过去有相似的偏好或行为，那么在未来他们也可能有相似的偏好。二、示例代码以下是一个简单的使用 Spark2.x 实现协同过滤的示
转载
2024-10-08 11:09:57
18阅读
在当今的数据时代，Spark作为一个强大的分布式计算框架，越来越受到开发者的青睐。集成Spark Core到IDEA（IntelliJ IDEA）中，可以大大提高数据处理效率。在本文中，我将详细介绍如何将Spark Core与IDEA进行集成，包括环境准备、集成步骤、配置详解、实战应用、排错指南和生态扩展。我将用更加轻松的语气，与大家分享这一过程。
## 环境准备
要开始集成Spark Cor
1、RDD 全称 弹性分布式数据集 Resilient Distributed Dataset它就是一个 class。 abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient priv
转载
2020-05-29 18:25:00
48阅读
2评论
Spark中对于数据的保存除了持久化操作之外，还提供了一种检查点的机制，检查点（本质是通过将RDD写入Disk做检查点）是为了通过lineage做容错的辅助，lineage过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。检查点通过将数据写入到HDFS文件系统实现了RDD的检查点功能。为当前RDD...
原创
2021-12-28 18:06:27
50阅读
RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。通过查看源码发现cache最终也是调用了persist方法，默认的存储级别都是仅在内存存储一份，Spark的存储级别...
原创
2021-12-28 18:06:28
26阅读
1 LineageRDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。（1）读取一个HDFS文件并将其中内容映射成一个个元组scala> val wordAndOne = s...
原创
2021-12-28 18:06:28
40阅读
RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。通过查看源码发现cache最终也是调用了persist方法，默认的存储级别都是仅在内存存储一份，Spark的存储级别...
原创
2022-02-16 16:24:54
63阅读
