Spark性能调优与原理分析01、Spark运行模式运行Spark的应用程序，其实仅仅需要两种角色，Driver和Executor。Driver负责将用户的应用程序划分为多个Job，分成多个Task，将Task提交到Executor中运行。Executor负责运行这些Task并将运行的结果返回给Driver程序。Driver和Executor实际上并不关心是运行在哪的，只要能够启动Java进程，将
转载
2023-09-03 21:08:06
107阅读
1.Spark运行模式
Spark的运行模式多种多样，灵活多变。部署在单机上时，既可以用本地模式运行，也可以用伪分布式模式运行。以分布式集群方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况。底层的资源调度既可以依赖于外部的资源调度框架（Mesos、Yarn），也可以使用Spark内建的Standalone模式。MASTER环境
转载
2023-09-04 10:39:43
90阅读
1. 本地模式该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。如果是local[*]，则代表 Run Spark locally with as many worker threads as logical c
转载
2023-09-09 07:17:16
70阅读
本章学习重点：1、Jvm：如何将java代码编译为class文件。如何装载class文件及如何执行class文件。jvm如何进行内存分配和回收。jvm多线程：线程资源同步机制和线程之间交互的机制。3.1 java代码的执行机制java源码编译机制。1、三个步骤：分析和输入到符号表(Parse and Enter)Parse过程所做的为词法和语法分析。词法分析：将代码字符串转变为Token序列。语法
转载
2023-07-07 21:08:22
48阅读
第一篇中，我们启动了Spark，有没有发现我们启动了三个节点，一个是Spark master节点，另外两个是slaves节点。这其实就是用的Spark自带的standalone模式启动的。 我们来总结下，有几种方式啊。local模式：local模式就是本地模式，这种模式多用于开发和测试，和有没有Spark环境没多大关系，你可以在本地项目里写一段Spark程序，以这种模式启动，都无需连接到Spark
转载
2023-07-30 16:07:50
110阅读
# 使用 Python、Spark 与 Hive 的集群模式执行
在大数据处理的领域，Python、Apache Spark 和 Hive 是三个非常重要的工具，它们各自有着独特的优势和适用场景。通过合理地结合这三个工具，我们能够在集群模式下高效地执行数据分析任务。本文将为您详细介绍如何通过 Python 和 Spark 连接到 Hive，并在集群模式下运行作业，提供代码示例，并涵盖相关的技术架
原创
2024-10-31 09:41:59
73阅读
注意点： Spark是完全兼容hive的，若之前hive有自己的元数据库，则spark可以直接使用，若之前没有，则可以用spark创建hive元数据库元数据库保存的是许多描述信息，也就是数据库和表的各种信息，如数据存储信息、表结构信息等原始数据保存在HDFS中1.首先要找到hive元数据库在什么位置此时要导入一个配置文件，即将hive-site.xml导入到spark安装目录下的conf
转载
2023-09-26 12:47:53
100阅读
参考数据《spark核心源码分析与开发实战》Spark注重打造自己的生态系统，不仅支持多种外部文件存储系统，还为了提升自己在实际生产中的运行效率提供了多种多样的集群运行模式。spark部署在一台机器上：local本地模式 或 伪分布模式分布式集群模式部署 ： standalone（Spark自带模
转载
2023-08-27 12:13:25
54阅读
一 ，spark 基于 standalone 提交任务 ：1 ，standalone - client 模式 ：默认 ， 客户端模式代码 ：cd /export/servers/spark-2.3.1-bin-hadoop2.6/bin
./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.Spa
转载
2024-08-08 15:19:08
320阅读
1、提交流程图提交流程文字说明：1、执行bin/spark-submit命令后，Client会组装commnd命令到yarn集群的ResourceManager。commnd命令：bin/java org.apache.spark.deploy.yarn.ApplicationMaster，如果非集群模式就是bin/java org.apache.spark.deploy.yarn.Executo
转载
2023-08-31 14:32:56
393阅读
1 执行第一个Spark程序该算法是利用蒙特·卡罗算法求PI/home/hadoop/software/spark/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://harvey:7077 \
--executor-memory 1G \
--total-executor-cores 2
转载
2023-09-04 11:12:50
72阅读
Spark有两层的调度概念，第一层是集群级别，即每个应用在集群中以独立的一组进程的运行；第二种是应用级别，在executor内部多个任务并行的在不同的线程之间运行。本篇先来聊聊集群级别的应用调度，为了满足应用在集群中运行，就需要为这个应用分配专属的资源，如内存和CPU。常见的分配方式有两种：静态资源分配和动态资源分配。静态资源分配静态资源分配即最常用的基于指定配置申请固定数量的资源，
转载
2023-10-08 20:01:16
83阅读
Spark学习笔记：5、Spark On YARN模式有些关于Spark on YARN部署的博客，实际上介绍的是Spark的 standalone运行模式。如果启动Spark的master和worker服务，这是Spark的 standalone运行模式，不是Spark on YARN运行模式，请不要混淆。Spark在生产环境中，主要部署在Hadoop集群中，以Spark On YARN模式运行
Spark在YARN中有yarn-cluster和yarn-client两种运行模式:
I. Yarn client在yarn-client模式下，Driver运行在Client上，通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executor container进行交互，并将最后的结果汇总。 执行流程 - 1.客
转载
2024-02-24 11:56:03
76阅读
Spark架构与作业执行流程简介 Local模式 运行Spark最简单的方法是通过Local模式（即伪分布式模式）。运行命令为：./bin/run-example org.apache.spark.examples.SparkPi local基于standalone的Spark架构与作业执行流程 Standalone模式下，集群启动时包括Master与Worker，其中Master负责接收客
转载
2024-03-06 13:30:09
121阅读
安装首先去官网下载Spark。注意Spark和Hadoop之间版本对应关系，我自己装的Hadoop 2.7.5版本，按照下面方式下载即可。 下载完成后，解压安装包至路径/usr/localtar -zxf ./spark-2.3.0-bin-hadoop2.7.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.3.0-bin-hadoop/ .
转载
2023-12-07 06:37:10
26阅读
目录Spark特点Spark生态系统Spark CoreSpark SQLSpark StreamingStructured StreamingMLlibGraphXSprak应用场景Spark运行架构1、一些名词2、架构设计3、Spark的基本运行流程4、RDD的设计与运行原理RDD设计背景RDD概念RDD特性RDD之间的依赖关系阶段的划分RDD运行过程Spark的四种部署模式习题 Spark
转载
2024-04-23 14:35:03
54阅读
文章目录1. Spark的主从结构1.1 驱动器程序Driver1.2 执行器程序Executor2. 集群管理器概念区分3. 运行流程小结Reference 本文是在阅读《Spark快速大数据分析》后，根据里面提到的知识点，对Spark的运行原理进行总结概括。 说明：这本书使用的spark版本是1.2，目前最新版本已经是3.0，所以可能笔记中有些内容在新版中已经不再适用。1. Spark的主
转载
2024-02-19 19:59:26
42阅读
一、spark的算子分类 转换算子和行动算子 转换算子：在使用的时候，spark是不会真正执行，直到需要行动算子之后才会执行。在spark中每一个算子在计算之后就会产生一个新的RDD。二、在编写spark程序的时候，会遇到可以通过spark算子完成的操作，同时，scala原生语法也可以完成的操作是，两者的区别是什么？ scala在执行语句的时候是在JVM进程执行，所有的计算全是在JVM中通
转载
2023-10-15 21:03:18
93阅读
1、懒执行数据从源头到处理，并不是每一步操作都会立刻执行。在spark操作方法中，分为Transformation与Action两类操作。 transformation：一个方法由RDD调用，执行后产生另一个RDD。 Action：一个方法由RDD调用，执行后不是产生另一个RDD，而是产生一个非RDD的结果，例如collect，count。Tra
转载
2023-08-06 11:54:26
73阅读
