在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种：第一种: 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下：./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-m
转载
2023-08-11 11:48:58
197阅读
1、概述 为了更好地理解调度，我们先看一下集群模式的Spark程序运行架构图，如上所示：2、Spark中的基本概念 1、Application：表示你的程序 2、Driver：表示main函数，创建SparkContext。并由SC负责与ClusterMananger通信，进行资源的申请，任务的监控和分配。程序执行完毕后，关闭SparkContext。&n
转载
2023-07-05 21:13:21
188阅读
文章目录Spark SQL一、Spark SQL概述1.什么是DataFrame2.什么是DataSet二、Spark SQL编程1.DataFrame读取json文件1.1 创建DataFrame1.2 SQL风格语法 [重点]1.3 DSL风格语法1.4 RDD转换为DataFrame[重要]1.5 DataFrame转换为RDD2.DataSet2.1 创建DataSet2.2 RDD转换
转载
2023-08-11 00:04:51
108阅读
主要是翻译官网的编程指南，自己调整了一下内容安排，同时为了偷懒大量参考了淘宝的翻译版嘿嘿。但他们的编程指南主要是写java、scala语言用的，要求掌握sbt（scala），maven（java），我选择python就是因为提交简单嘛。 + scala-2.11.1shell交互式编程 cd到spark的顶层目录中 cd ~/spark-1.0.1 然后运行spark-shell即可。这里因为
转载
2024-05-23 12:07:32
27阅读
Spark的任务, 生产环境中一般提交到Yarn上执行. 具体流程如下图所示1、client提交任务到RM.2、RM启动AM.3、AM启动Driver线程, 并向RM申请资源.4、RM返回可用资源列表.5、AM通过nmClient启动Container, 并且启动ExecutorBackend后台进程.6、Executor反向注册给Driver7、Executor启动任务 我们通过截取部分源码来展
转载
2023-08-16 06:37:21
363阅读
Yarn-Cluster 模式任务流程一、任务提交流程执行脚本提交任务，实际是启动一个 SparkSubmit 的 JVM 进程SparkSubmit 类中的 main 方法 反射调用 YarnClusterApplication 的 main 方法创建客户端YarnClusterApplication 在客户端创建 yarnClient，向 ResourceManager 提交用户的应用程序RM
转载
2023-08-11 17:04:01
206阅读
聚类分析是一个无监督学习 (Unsupervised Learning) 过程, 一般是用来对数据对象按照其特征属性进行分组，经常被应用在客户分群，欺诈检测，图像分析等领域。K-means 应该是最有名并且最经常使用的聚类算法了，其原理比较容易理解，并且聚类效果良好，有着广泛的使用。和诸多机器学习算法一样，K-means 算法也是一个迭代式的算法，其主要步骤如下:第一步，选择 K 个点作为初始聚类
前言实验环境：1.pyspark 1.5.0
2.python 2.7本次主要写的是用pyspark提交任务时，需要注意的地方及遇到的问题的解决。Step 1. 提交python工程在提交spark的时候，我们往往python工程是多个python文件，彼此之间有调用关系。
那如何提交python工程呢？
./bin/spark-submit –py-files XXXX.zip aaa
转载
2023-07-04 21:19:14
406阅读
文章目录1. Spark任务调度概述2. Spark通信机制3. 任务调度过程3.1 Spark Stage 级调度3.2 Spark Task 级调度3.2.1 调度策略3.2.2 本地化调度3.2.3 失败重试与黑名单机制 1. Spark任务调度概述当Driver任务启动之后，Driver则会根据用户程序逻辑准备任务，并根据Executor资源情况逐步分发任务。 一个Spark应用程序包括
转载
2023-10-05 16:09:20
105阅读
spark任务运行的源码分析在整个spark任务的编写、提交、执行分三个部分：① 编写程序和提交任务到集群中 ②sparkContext的初始化③触发action算子中的runJob方法，执行任务(1)编程程序并提交到集群：①编程spark程序的代码②打成jar包到集群中运行③使用spark-submit命令提交任务在提交任务时，需要指定 --class 程序的入口（有main方法的类），1） s
转载
2024-05-31 23:50:37
32阅读
standalone模式下:提交spark-submit任务，会先在client端启动driver，driver就是我们写的spark程序，driver进程启动后,首先会构建sparkcontext，sparkcontext主要包含两部分：DAGScheduler和 TaskScheduler,然后TaskScheduler会寻找集群资源管理器(Master/Worker)的Ma
转载
2023-10-25 13:24:53
189阅读
Client 提交应用，Master节点启动DriverDriver向Cluster Manager申请资源，并构建Application的运行环境，即启动SparkContextSparkContext向ClusterManager申请Executor资源，Worker会先实例化ExecutorRunner对象，在ExecutorRunner启动中会创建进程生成器ProcessBuilder，然
转载
2023-08-26 16:37:22
138阅读
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuf
转载
2023-08-30 22:52:09
50阅读
先上图： 每一个过程的任务数，对应一个inputSplit1, Partition输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些输入分片生
转载
2023-06-19 12:43:12
191阅读
概述Spark Application在遇到action算子时，SparkContext会生成Job，并将构成DAG图将给DAG Scheduler解析成Stage。Stage有两种： ShuffleMapStage 这种Stage是以Shuffle为输出边界 其输入边界可以是从外部获取数据，也可以是另一个ShuffleMapStage的输出 其输出可以是另一个Stage的开始 Shuf
转载
2023-10-05 16:25:28
140阅读
先说几个坑：需要注意版本，不同的spark版本会有些不同，当前我的spark版本是2.2.1，如果以下的方式不生效，记得先看看版本；由于公司平台的环境是离线的，pip down下载的包是需要和硬件架构匹配的，我在mac上pip down的包拿到Linux下是无法正常安装的，建议看一下这篇文章的介绍：https://imshuai.com/python-pip-install-package-off
转载
2023-08-11 18:25:27
302阅读
Spark任务调度TaskScheduler调度入口：（1） CoarseGrainedSchedulerBackend 在启动时会创建DriverEndPoint. 而DriverEndPoint中存在一定时任务，每隔一定时间（spark.scheduler.revive.interval, 默认为1s）进行一次调度（给自身
转载
2023-08-22 15:40:21
136阅读
Spark 文章目录122.12.2 等作业运行完再关闭Spark Streaming每隔batchDuration的时间会把源源不断的流数据分割成一批有限数据集，然后计算这些数据，我们可以从Spark提供的监控页面看到当前batch是否执行完成，当作业执行完，我们就可以手动执行kill命令来强制关闭这个Streaming作业。这种方式的缺点就是得盯着监控页面，然后决定关不关闭，很不灵活
转载
2024-01-24 21:43:47
190阅读
以yarn-cluster(顺带说下client模式)为例，包名org.apache.spark用oas代替，org.apache.hadoop用oah代替。org.apache.spark.deploy.yarn用sdy代替。org.apache.hadoop.yarn.client.api用hyca代替。常用类如下：私有类：sdy.ApplicationMaster；sdy.ExecutorR
转载
2023-09-21 12:23:11
353阅读
（一）任务（作业）调度任务调度相关的3个概念：job、stage、task。Job：根据用的的spark逻辑任务。以action方法为界，遇到一个action 方法，则触发一个job。Stage：stage是job的子集。以宽依赖（shuffle）为界。遇到遇到一个shuffle，做一次划分。Task：task是stage的子集。以并行度（分区数）为区分。分区数多少个，就多少个task。 
转载
2023-07-02 21:34:44
78阅读
