spark采用的是主从式的架构，主节点叫master，从节点是workerDriver我们编写的spark就在Driver上，由driver进程执行。
Driver是spark集群的节点之一，或你提交spark程序的机器Mastermaster是集群的资源管理者和调度者，类似yarn里面的ResourceManger，还负责监控整个集群的监控状况Worker用自己的内存缓存RDD数据
使用内存对p
转载
2023-07-19 14:06:39
45阅读
Spark的架构概述（章节一）背景介绍Spark是一个快如闪电的统一分析引擎（计算框架）用于大规模数据集的处理。Spark在做数据的批处理计算，计算性能大约是Hadoop MapReduce的10~100倍，因为Spark使用比较先进的基于DAG 任务调度（有向无环计算），可以将一个任务拆分成若干个阶段，然后将这些阶段分批次交给集群计算节点处理。mapreduce计算分为两步，map阶段和redu
转载
2023-08-15 23:45:17
0阅读
更好的理解spark——spark通信架构此篇摘抄自某教程的ppt，希望大家可以更深刻的理解sparkspark既然是分布式集群，那么他的master和worker节点之间是怎么进行通信的？spark1.3之前的通信框架是什么？之后为什么不使用这个通信框架了？1、Spark内部的通信架构使用Actor模型进行开发，在Spark1.3之前直接使用AKKA来作为具体的通信框架。为了解决shuffle过
转载
2023-09-21 07:42:02
103阅读
# Apache Spark 软件科普与示例
Apache Spark 是一个开源的分布式计算框架，旨在处理大规模的数据集。Spark 提供了高效的内存计算能力，并支持多种数据处理任务，包括批处理、实时流处理、机器学习和图计算。它的大规模数据处理能力已使其成为大数据分析的首选工具之一。
在这篇文章中，我们将深入探讨 Spark 的基础知识、工作原理，并提供一些代码示例来展示如何使用 Spark
Spark 性能优化方案Spark性能测试工具
•Spark性能测试基准程序Benchmark–https://github.com/intel-hadoop/HiBench•Spark性能测试与分析可视化工具–https://github.com/zhihuili/Dew性能调优的步骤
1.性能测试，观察系统性能特性2.资源（CPU、Memory、Disk、Net）利用分析，寻找资源瓶颈，提高
转载
2023-09-14 22:51:50
424阅读
Spark是一个分布式内存计算框架。关键词：分布式，内存。因此学习它要学习它的分布式架构以及它实现高速并行计算的机理。架构主从结构所谓分布式就是网络中多个主机上可以同时协同工作。所有的分布式框架，无论用于存储还是计算，分布式结构是前提。大部分分布式框架都是主从式结构。（HDFS是namenode-datanode，YARN是ResourceManager-NodeManager. ）作为“主”，需
转载
2023-08-16 06:32:56
356阅读
1 架构及生态通常当需要处理的数据量超过了单机尺度(比如我们的计算机有4GB的内存，而我们需要处理100GB以上的数据)这时我们可以选择spark集群进行计算，有时我们可能需要处理的数据量并不大，但是计算很复杂，需要大量的时间，这时我们也可以选择利用spark集群强大的计算资源，并行化地计算，其架构示意图如下：对于一些部分的解释：SparkCore：包含Spark的基本功能；尤其是定义
转载
2023-07-24 14:47:20
60阅读
前言
在Spark初认识中，我们了解到了，Spark是一个一栈式的大数据处理生态系统，其核心的组件Spark Core，Spark Sql，SparkStreaming分别解决了大数据中的数据处理的批处理，交互式查询，实时查询的业务场景。Spark的核心是Spark core，其他的组件都是基于Spark Core的，那么，问题来了。
问题：
Spark的核心模块是Spa
转载
2023-08-30 12:08:29
36阅读
1 概述官方网站 Spark Streaming是Spark core API的扩展，支持实时数据流的处理，并且具有可扩展，高吞吐量，容错的特点。 数据可以从许多来源获取，如Kafka，Flume，Kinesis或TCP sockets，并且可以使用复杂的算法进行处理，这些算法使用诸如map，reduce，join和window等高级函数表示。 最后，处理后的数据可以推送到文件系统，数据库等。 实
转载
2023-12-26 11:03:44
46阅读
Spark基础及架构一、为什么使用Spark二、Spark优势三、Spark技术栈四、Spark架构设计五、Spark架构核心组件六、Spark API1.SparkContext2.SparkSession3.Spark RDD4.Spark RDD概念七、Spark RDD的创建八、Spark RDD分区九、Spark RDD的操作1.RDD转换算子2.RDD动作算子 一、为什么使用Spar
转载
2023-07-13 19:18:45
50阅读
Spark与Mapreduce对比MapReduceSpark数据存储结构：磁盘hdfs文件系统的split使用内存构建弹性分布式数据集RDD， 对数据进行运算和cache编程范式： Map + ReduceDAG(有向无环图)： Transformation + action计算中间数据落磁盘， io及序列化、 反序列化代价大计算中间数据在内存中维护， 存取速度是磁盘的多个数量级Task以进程的
转载
2023-12-31 21:46:08
49阅读
文章目录一、基本介绍spark是什么？弹性分布式数据集RDD基本概念基本流程二、Hadoop和Spark的区别三、RDD操作TransformationAction四、Block与RDD生成过程五、依赖关系与Stage划分六、Spark流程调度流程（粗粒度图解）执行流程（细粒度图解）七、spark在yarn上的两种运行模式(yarn-client和yarn-cluster)1、Yarn-Clie
转载
2024-02-06 19:20:51
15阅读
Spark的一大好处就是可以通过增加机器数量并使用集群模式运行，来扩展计算能力。Spark可以在各种各样的集群管理器（Hadoop YARN , Apache Mesos , 还有Spark自带的独立集群管理器）上运行，所以Spark应用既能够适应专用集群，又能用于共享的云计算环境。Spark运行时架构Spark在分布式环境中的架构如下图： 在分布式环境下，Spark集群采用的是主/从结构。
转载
2023-09-19 00:16:16
97阅读
问题导读1.什么是Spark?2.Spark生态系统包括哪些？3.Spark的依赖有哪些？4.了解Spark架构是怎样的？5.Spark是如何运行的？6.Spark架构有哪些组件？Spark概览
Spark 是一个通用的大规模数据快速处理引擎。可以简单理解为 Spark 就是一个大数据分布式处理框架。
Spark是基于map reduce算法实
转载
2024-03-03 22:42:58
43阅读
文章目录1.运行架构2.核心组件1.Driver2.Executor3.Master & Worker4.ApplicationMaster3.核心概念1.Executor与Core2.并行度（Parallelism）3.有向无环图（DAG）4.提交流程1.Yarn Client模式2.Yarn Cluster模式 1.运行架构Spark 框架的核心是一个计算引擎，整体来说，它采用了标准
转载
2023-08-16 06:34:40
63阅读
原创
2021-07-27 15:18:36
2164阅读
本编主要基于B站尚硅谷的视频及文档做出的一些改写和添加自己的
原创
2022-03-23 10:23:56
924阅读
Spark是一种分布式计算框架，对标Hadoop的MapReduce；MapReduce适用于离线批处理（处理延迟在分钟级）而Spark既可以做离线批处理，也可以做实时处理（SparkStreaming） ①Spark集批处理、实时流处理、交互式查询、机器学习与图计算一体 ②Spark实现了一种分布式的内存抽象，称为弹性分布式数据集；RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后
转载
2023-05-26 09:58:16
81阅读
介绍Spark是一个开源分布式计算框架，可以进行批处理和流处理计算。相对于其他分布式计算框架，它有几个特点： 1、快。Spark是基于内存进行计算的，官方宣称计算速度比MapReduce快100倍 2、易用。提供了Java、Python、Scala、R等多种语言支持，也支持SQL交互方式 3、全面。Spark包含了多种计算库，有Spark SQL、Spark Streaming、MLlib、Gra
转载
2023-08-30 17:50:46
136阅读
Spark资源管理架构Spark 的资源管理架构：Spark 集群考虑到了未来对接一些更强大的资源管理系统（如 Yarn、Mesos 等），没有在资源管理的设计上对外封闭，所以Spark 架构设计时将资源管理抽象出了一层，通过这种抽象能够构建一种插件式的资源管理模块。 上图所示，Master 是 Spark 的 主控节点，在实际的生产环境中会有多个 Master，只有一个 Master 处于 ac
转载
2023-08-15 15:15:36
225阅读
