spark提交到yarn流程

原创

mob64ca12cfa7d5 2023-12-15 10:55:48 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12cfa7d5的原创作品，请联系作者获取转载授权，否则将追究法律责任

Spark提交到YARN流程

Apache Spark是一种快速、通用的大数据处理框架，通过将任务分布到集群上的多个节点来实现并行处理。YARN（Yet Another Resource Negotiator）是Apache Hadoop的资源管理器，用于管理和分配集群资源。在本文中，我们将介绍如何将Spark应用程序提交到YARN集群中。

准备工作

在开始之前，我们需要确保以下条件满足：

安装和配置好Hadoop和YARN集群。
安装并配置好Spark集群。

提交Spark应用程序到YARN流程

下面是将Spark应用程序提交到YARN的基本流程：

编写Spark应用程序代码。

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object WordCount {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setAppName("WordCount")
    val sc = new SparkContext(sparkConf)

    val textFile = sc.textFile(args(0))
    val wordCount = textFile.flatMap(line => line.split(" "))
      .map(word => (word, 1))
      .reduceByKey(_ + _)

    wordCount.saveAsTextFile(args(1))

    sc.stop()
  }
}

上述代码是一个简单的单词计数应用程序。

将应用程序代码打包为JAR文件。
```
$ sbt package
```
运行上述命令将生成一个名为WordCount.jar的JAR文件。
使用spark-submit命令将应用程序提交到YARN集群。
```
$ spark-submit --class WordCount --master yarn --deploy-mode cluster WordCount.jar input.txt output
```
- --class WordCount指定应用程序的入口类。
- --master yarn指定使用YARN作为集群管理器。
- --deploy-mode cluster指定以集群模式部署应用程序。
- WordCount.jar是打包好的应用程序JAR文件。
- input.txt是输入文件的路径。
- output是输出文件的路径。
查看应用程序的运行日志和输出。

运行完spark-submit命令后，可以在YARN的Web界面上查看应用程序的运行日志。同时，输出文件将保存在指定的输出路径中。

序列图

下面是提交Spark应用程序到YARN的序列图：

sequenceDiagram
  participant Client
  participant Resource Manager
  participant Node Manager
  participant Application Master
  participant Spark Driver
  participant Spark Executor

  Client->>Resource Manager: 提交应用程序
  Resource Manager->>Node Manager: 为应用程序分配资源
  Node Manager->>Application Master: 启动应用程序
  Application Master-->>Node Manager: 通知Spark Driver启动
  Spark Driver->>Spark Executor: 分发任务
  Spark Executor-->>Spark Driver: 返回任务结果
  Spark Driver-->>Application Master: 通知任务完成
  Application Master-->>Node Manager: 释放资源