本文翻译自Spark(http://spark.apache.org)的官方文档。由于Spark更新较快，部分API已经过时，本文仅供参考，请以相应版本的官方文档和运行时的提示为准。概述从高层次上来看，每一个Spark应用都包含一个驱动程序，用于执行用户的main函数以及在集群上运行各种并行操作。Spark提供的主要抽象是弹性分布式数据集（RDD），这是一个包含诸多元素、被划分到不同节点上进行并
聚类分析是一个无监督学习 (Unsupervised Learning) 过程, 一般是用来对数据对象按照其特征属性进行分组，经常被应用在客户分群，欺诈检测，图像分析等领域。K-means 应该是最有名并且最经常使用的聚类算法了，其原理比较容易理解，并且聚类效果良好，有着广泛的使用。和诸多机器学习算法一样，K-means 算法也是一个迭代式的算法，其主要步骤如下:第一步，选择 K 个点作为初始聚类
本人习惯用pycharm开发，并且喜欢notebook以及anaconda自带的各种库，开发起来方便很多，所以在安装好spark后，修改了默认的python编译器到anaconda下，可以在notebook和pycharm中使用spark，全部安装完成花了点时间，所以记录一下。1、下载并安装pycharm，这个自己下载吧：https://www.jetbrains.com/pycharm/，安装好
转载
2023-10-24 21:55:49
99阅读
坑很多，直接上兼容性最佳的命令，将python包上传到hdfs或者file:/home/xx/(此处无多余的/)# client 模式
$SPARK_HOME/spark-submit \
--master yarn \
--deploy-mode client \
--num-executors 2 \
--conf "spark.yarn.dist.archives=<Python包路径
转载
2024-05-15 13:54:42
213阅读
Shuffle的核心要点ShuffleMapStage与ResultStage 在划分stage时，最后一个stage称为finalStage，它本质上是一个ResultStage对象，前面的所有stage被称为ShuffleMapStage。 ShuffleMapStage的结束伴随着shuffle文件的写磁盘。 ResultStage基本上对应代码中的action算子，即将一个函数应用在RDD
## 项目方案：Spark Python路径指定方案
在使用Spark时，有时候我们需要指定Python路径来确保我们的程序能够正确运行。这个问题在连接多个不同版本的Python环境时尤为常见。下面我将介绍一种简单的方法来指定Python路径。
### 方案概述
我们可以通过设置`PYSPARK_PYTHON`环境变量来指定Spark使用的Python路径。这个环境变量可以在启动Spark的
原创
2024-03-31 05:09:24
216阅读
本文讨论了 Join Strategies、Join 中的提示以及 Spark 如何为任何类型的 Join 选择最佳 Join 策略。Spark 5种Join策略：Broadcast Hash Join（BHJ）Shuffle Sort Merge Join（SMJ）Shuffle Hash Join（SHJ）Broadcast Nested Loop Join（BNLJ）Shuffle Cart
转载
2024-01-29 02:41:51
36阅读
Spark Standalone模式为经典的Master/Slave（主/从）架构，资源调度是Spark自己实现的。在Standalone模式中，根据应用程序提交的方式不同，Driver（主控进程）在集群中的位置也有所不同。应用程序的提交方式主要有两种：client和cluster，默认是client。可以在向Spark集群提交应用程序时使用--deploy-mode参数指定提交方式。
转载
2023-10-03 22:27:39
87阅读
本文以Spark执行模式中最常见的集群模式为例，详细的描述一下Spark程序的生命周期（YARN作为集群管理器）。1、集群节点初始化集群刚初始化的时候，或者之前的Spark任务完成之后，此时集群中的节点都处于空闲状态，每个服务器（节点）上，只有YARN的进程在运行（环境进程不在此考虑范围内），集群状态如下所示： 每个节点服务器上都有一个YARN的管理器进程在检测着服务器的状态
转载
2024-01-05 22:04:54
36阅读
背景 Spark Streaming 作业在运行过程中，上游 topic 增加 partition 数目从 A 增加到 B，会造成作业丢失数据，因为该作业只从 topic 中读取了原来的 A 个 partition 的数据，新增的 B-A 个 partition 的数据会被忽略掉。 思考过程 为了作业能够长时间的运行，一开始遇到这种情况的时候，想到两种方案：感知上游 topic 的 partit
转载
2023-12-27 18:30:29
44阅读
长时间运行的 Spark Streaming 作业一旦提交给 YARN 集群，应该一直运行，直到故意停止。 任何中断都会导致严重的处理延迟，并且可能会导致处理数据丢失或重复。 YARN 和 Apache Spark 都不是为执行长时间运行的服务而设计的。 但是他们已经成功地适应了日益增长的近乎实时处理的需求，这些需求是作为长期工作而实施的。 成功并不一定意味着没有技术挑战。本博文总结了我在安全的
转载
2024-01-29 00:51:13
53阅读
spark原理和概念
spark 运行架构spark的节点分为 driver(驱动节点)和executor(执行节点),基于yarn来提交spark job分为两种模式client和cluster,两种模式去区别在于 client模式将会把driver程序运行在执行spark-submit的机器上,而cluster会把driver程序传输到集群中的一个节点去执行, client模式如
转载
2023-10-18 18:22:05
61阅读
在使用 Apache Spark 进行大数据处理时，会有不同的运行模式，例如 Local mode、Standalone mode、YARN mode 等。这些模式的选择和配置对于性能表现至关重要。以下是解决“Spark 指定 mode”问题的记录过程。
### 问题背景
在一次对大型数据集的处理任务中，团队的用户在将 Spark 部署到 YARN 集群时，遇到了性能瓶颈。原本预期能够快速完成
# 如何在Spark中指定JAR包
在使用Apache Spark进行开发时，很多时候需要依赖一些外部的JAR包。这些JAR包可能是第三方库，也可能是自定义的代码。本文将指导你如何在Spark中正确地指定这些JAR包，并通过一个简单的步骤流程和代码示例来帮助你掌握这一技能。
## 流程步骤展示
首先，让我们以表格的形式概述实现的主要步骤：
| 步骤 | 描述
原创
2024-10-02 05:05:47
41阅读
# 在Apache Spark中指定Driver的实现方法
随着大数据技术的不断发展，Apache Spark逐渐成为了一种流行的数据处理工具。对于初学者来说，了解如何指定Spark的Driver是掌握Spark的重要一步。本文将详细介绍如何实现这一功能，同时提供相关的代码示例和注释。
## 实现流程
要实现“指定Spark Driver”，我们可以分为几个步骤，下面是这些步骤的概述：
|
1. 从集合(内存)中创建rdd//1. 从集合(内存)中创建rdd
object initRddByList extends App {
//1. 该对象用于 : Spark应用参数的配置 将Spark的各种参数设置为key,value
// note : 1. 一旦一个SparkConf对象被传递给Spark,他就被克隆了,不能再被修改了(不支持运行时修改配置)
在使用Beeline连接Apache Hive并指定Spark作为执行引擎时，可能会遇到各种问题。本文将详细介绍如何解决“beeline 指定 spark”相关问题的过程，包括环境准备、分步指南、配置详解、验证测试、排错指南和扩展应用。
## 环境准备
在开始之前，我们需要确保我们的环境满足以下软硬件要求：
- **硬件要求**：
- 至少8 GB的RAM
- Quad-core C
# 如何在Spark中指定Master节点
Apache Spark是一种跨平台的分布式计算框架，广泛用于大数据处理。在进行Spark集群计算时，指定Master节点是至关重要的步骤。本文将带领你一步步了解如何在Spark中指定Master节点，包括相关的代码示例、注释以及图示说明。
## 整体流程概述
以下是使用Spark指定Master的整体流程：
| 步骤 | 描述
原创
2024-09-14 04:40:36
73阅读
# 如何在 Apache Spark 中指定 Master
在学习 Apache Spark 时，指定 Master 是一个基础但重要的步骤。Master 是 Spark 集群的控制节点，负责资源管理和调度。本文将详细介绍如何实现这一过程，提供必要的代码示例以及解释。
## 流程概述
以下是整个流程的简要步骤：
| 步骤 | 描述 |
|
原创
2024-10-03 04:35:05
82阅读
# Spark 指定队列：优化资源分配的策略
Apache Spark 是一个广泛使用的大数据处理框架，它允许用户在集群上并行处理大量数据。在多用户环境中，合理分配资源是保证作业高效运行的关键。本文将介绍如何通过指定队列来优化 Spark 作业的资源分配。
## Spark 与 YARN 队列
在 Spark on YARN 模式下，可以通过 YARN 的队列系统来控制资源分配。YARN 队
原创
2024-07-16 03:46:06
118阅读
