更好的理解spark——spark通信架构此篇摘抄自某教程的ppt，希望大家可以更深刻的理解sparkspark既然是分布式集群，那么他的master和worker节点之间是怎么进行通信的？spark1.3之前的通信框架是什么？之后为什么不使用这个通信框架了？1、Spark内部的通信架构使用Actor模型进行开发，在Spark1.3之前直接使用AKKA来作为具体的通信框架。为了解决shuffle过
转载
2023-09-21 07:42:02
103阅读
一、Spark工作原理1、spark工作原理简介下面我们来分析一下Spark的工作原理 来看这个图首先看中间是一个Spark集群，可以理解为是Spark的 standalone集群，集群中有6个节点。左边是Spark的客户端节点，这个节点主要负责向Spark集群提交任务，假设在这里我们向Spark集群提交了一个任务。那这个Spark任务肯定会有一个数据源，数据源在这我们使用HDFS，就是让Spar
转载
2023-07-24 14:47:28
173阅读
spark基本概念：
•RDD：是ResillientDistributed Dataset（弹性分布式数据集）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型
•DAG：是Directed Acyclic Graph（有向无环图）的简称，反映RDD之间的依赖关系
•Executor：是运行在工作节点（WorkerNode）的一个进程，负责运行Task
转载
2024-04-07 20:32:15
50阅读
1. RDD有哪些特性？2. 如何理解Application、Job、Stage、TaskSet以及Task？3. Spark如何实现可插拔式的资源管理模块？4. Spark如何实现RPC通信模块？5. 启动Standalone集群的流程是怎样的？6. Spark集群
转载
2023-08-11 11:07:54
92阅读
Spark 概述Apache Spark是一个快如闪电的统一的分析引擎（仅仅是一款分析引擎，不提供存储服务）。快：相比较于上一代离线框架MapReduce（磁盘）而言Spark基于内存计算较快。统一：Spark提供统一API访问接口实现批处理、流处理、SQL、Machine Learinng、图形关系分析等。Spark快的原因使用先进的DAG（有向无环图）设计。MapReduce：矢量计算起点（M
转载
2023-09-26 19:01:52
47阅读
一、Hadoop、Spark、Storm三大框架比较Hadoop:离线海量数据批处理,基于磁盘的Spark：基于内存。Spark特点：运行速度快，使用DAG执行引擎以支持循环数据流与内存计算，2、容易使用：多种语言编程，通过spark shell进行交互式编程3、通用性：提供了完整而强大的技术栈，包括sQL查询、流式计算、机器学习和图算法组件4、运行模式多样：可运行在独立集群模式中，可以运行与ha
原创
精选
2023-01-25 22:08:26
620阅读
点赞
一、Spark 是什么spark是一个用来实现快速而通用的集群计算平台。spark各组件：1. Spark core实现了spark的基本功能，包括任务调度，内存管理，错误恢复，与存储系统交互等模块。spark core中还包含了对弹性分布式数据集（resilient distributed dataset，RDD）对API定义。RDD表示分布在多个计算节点上可以并行操作对原属集合，是spark主
转载
2023-09-21 20:49:19
72阅读
1. Spark概述1.1. 什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目
转载
2023-08-10 17:06:01
87阅读
Spark核心概念——RDD RDD（抽象数据集的统称Spark是对RDD的其中一种实现）：Resilient Distributed Datasets，弹性分布式数据集 1.分布在集群中的只读对象集合（由多个Partition构成） 2.可以存储在磁盘或内存中（多种存储级别） 3.通过并行“转换”操作构造 4.失效后自动重构RDD基本操作（operator） 1.Transformat
原创
2022-11-28 15:42:03
95阅读
# Spark窗口函数：数据流分析的强大工具
在大数据处理领域，Apache Spark 是一个非常流行的开源框架，它提供了强大的数据处理能力。其中，窗口函数（Window Function）是 Spark SQL 中一个非常实用的功能，它允许我们对一组数据进行聚合操作，而不仅仅是单一的行。本文将介绍 Spark 窗口函数的概念、使用方法以及一个简单的代码示例。
## 窗口函数简介
窗口函数
原创
2024-07-29 10:49:27
60阅读
reduceByKey 会将上一个 RDD 中的每一个 key 对应的所有 value 聚合 成一个 value，然后生成一个新的 RDD，元素类型是<key,value>
原创
2022-07-01 17:36:22
89阅读
概念架构是大型系统架构设计成败的关键，概念架构界定系统的高层组件以及他们之间的关系，概念性架构意在对系统进行适当分解，而不陷入细节，可以与管理人员、市场人员、用户等非技术人员交流架构，概念性架构规定了每个组件的非正式规约及架构图。如今，很多人误将“概念架构”等同于“理想架构”，对架构重要的用例驱动了架构设计，对于大多数系统，选择20%到30%的用例，然后设计、实现某个特定用例的一两个场景，就能降低
转载
2023-07-22 13:26:49
122阅读
RDD分区在分布式程序中，通信的代价是很大的，因此控制数据分布以获得最少的网络传输可以极大地提升整体性能。所以对RDD进行分区的目的就是减少网络传输的代价以提高系统的性能。RDD的特性在讲RDD分区之前，先说一下RDD的特性。RDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，
转载
2023-09-17 17:22:58
127阅读
Spark 核心概念简介
原创
2015-12-05 14:41:29
555阅读
hdfs中的block是分布式存储的最小单元，类似于盛放文件的盒子，一个文件可能要占多个盒子，但一个盒子里的内容只可能来自同一份文件。假设block设置为128M，你的文件是250M，那么这份文件占3个block（128+128+2）。这样的设计虽然会有一部分磁盘空间的浪费，但是整齐的block大小，便于快速找到、读取对应的内容。（p.s. 考虑到hdfs冗余设计，默认三份拷贝，实际上3*3=9个
转载
2023-08-08 14:33:55
69阅读
Point 1：资源管理与作业调度 Spark对于资源管理与作业调度可以使用Standalone(独立模式)，Apache Mesos及Hadoop YARN来实现。 Spark on Yarn在Spark0.6时引用，但真正可用是在现在的branch-0.8版本。Spark on Yarn遵循YARN的官方规范实现，得益于Spark天生支持多种Scheduler和Executor的良好设计，对
转载
2024-08-14 16:03:20
135阅读
本文主要内容来自于《Hadoop权威指南》英文版中的Spark章节，能够说是个人的翻译版本号，涵盖了基本的Spark概念。假设想获得更好地阅读体验，能够訪问这里. 安装Spark 首先从spark官网下载稳定的二进制分发版本号,注意与你安装的Hadoop版本号相匹配： wget http://arc
转载
2018-04-11 12:07:00
292阅读
2评论
本文主要打算对spark内部的序列化机制以及在shuffle map中起衔接作用的MapOutputTracker做一下剖析。主要涉及具体实现原理以及宏观设计的一些思路。1，spark序列化任何一个分布式框架，序列化都是其必不可少并且很重要一部分，spark也不例外。spark设计序列化的主要类以及之间的依赖包含关系如下图：上图中，虚线表示依赖关系，而实线表示继承关系。各个类的解释如下：a，Ser
参考：https://www.cnblogs.com/qingyunzong/p/8945933.html 一：Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与Cluste
转载
2020-03-17 22:30:00
166阅读
2评论
在处理大数据时，数据清洗是一个极为重要且复杂的过程，尤其在使用Apache Spark进行分布式计算时。在这篇博文中，我将详细阐述在Spark环境中进行数据清洗的备份策略、恢复流程、灾难场景、工具链集成、案例分析及监控告警等内容，力图为大家提供一套完整的解决方案。
### 备份策略
为了确保数据的有效性和完整性，我设计了一个全面的备份策略。首先通过思维导图展示我们需要备份的对象及方法。
``
