文章目录Spark简介Spark特点Spark架构Spark实例进程Driver驱动器Executor执行器Spark运行模式Local模式Standalone模式Yarn模式RDD分布式数据集RDD简介RDD拥有的属性RDD特点1.分区2.只读3.依赖4.缓存5.CheckPointRDD编程模型 Spark简介Spark是专为大规模数据处理而设计的计算引擎。Spark拥有Hadoop Map
转载
2023-08-11 16:59:16
156阅读
Spark Streaming流式处理1. Spark Streaming介绍1.1 Spark Streaming概述1.1.1什么是Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。
一、Spark概述1.1. 什么是SparkSpark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项
转载
2023-09-08 15:16:51
103阅读
SparkSpark 是什么?Apache Spark™是用于大规模数据处理的快速和通用引擎.速度:在内存中,运行程序比Hadoop MapReduce快100倍，在磁盘上则要快10倍.Apache Spark具有支持非循环数据流和内存计算的高级DAG执行引擎.易用:可以使用Java，Scala，Python，R快速编写程序.Spark提供80+高级操作方法，可以轻松构建并行应用程序.Spark提
转载
2023-08-01 20:03:38
120阅读
本章导读RDD作为Spark对各种数据计算模型的统一抽象，被用于迭代计算过程以及任务输出结果的缓存读写。在所有MapReduce框架中，shuffle是连接map任务和reduce任务的桥梁。map任务的中间输出要作为reduce任务的输入，就必须经过shuffle，shuffle的性能优劣直接决定了整个计算引擎的性能和吞吐量。相比于Hadoop的MapReduce，我们可以看到Spark提供多种
转载
2024-08-14 18:54:57
64阅读
文章目录一、概述1）Spark特点2）Spark适用场景二、Spark核心组件三、Spark专业术语详解1）Application：Spark应用程序2）Driver：驱动程序3）Cluster Manager：资源管理器4）Executor：执行器5）Worker：计算节点6）RDD：弹性分布式数据集7）窄依赖8）宽依赖9）DAG：有向无环图10）DAGScheduler：有向无环图调度器11
转载
2023-09-05 10:08:41
101阅读
## Spark计算引擎实现流程
为了帮助你理解如何实现一个Spark计算引擎，我将为你提供一份步骤指南。下面是整个过程的概览：
```mermaid
journey
title Spark计算引擎实现流程
section 了解需求
section 数据加载
section 数据处理
section 数据分析
section 结果展示
```
原创
2023-10-22 13:11:39
48阅读
Spark是一个基于MapReduce思想的分布式通用计算框架，相对于MapReduce,它的升华主要体现在处理结果驻留在了内存中(RDD,即分布式内存的概念，也是将数据进行切片，计算的中间结果驻留在内存中，可以设置切片数，也可以采用默认值)，可以直接与客户端交互，而不是像mapReduce那样，将 ...
1.1 Hive引擎简介 Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。1.2 Hive on Spa
转载
2023-09-20 06:30:22
287阅读
计算机行业里面的引擎，嗯。。找个跟生活贴近一点的例子呢，就好像汽车想跑起来就得有引擎，飞机想飞起来也得有引擎。
所以呢软件的引擎就是能完成这个软件最基本功能的一部份代码，也就是这个软件的动力来源。比如一个游戏软件的绘图
算法、读存档代码、AI等等这些功能的代码就是引擎。这个引擎可以用来做不同的游戏，但是风格是完全一样的，只是把
他的外在表现形式换了一下。就好象，汽车的引擎也可以放在不同的车型上，不
转载
2024-01-15 14:28:16
74阅读
在压缩感知中，有一些用来评价感知矩阵（非测量矩阵）的指标，如常见的RIP等，除了RIP之外，spark常数也能够用来衡量能否成为合适的感知矩阵。 0、相关概念与符号 1、零空间条件NULL Space Condition 在介绍spark之前，先考虑一下感知矩阵的零空间。 这里从矩阵的零空间来考虑测量矩阵需满足的条件：对于K稀疏的信号x，当且仅当测量矩阵的零空间与2K个基向量张成的线性空间没有
转载
2024-01-12 15:07:40
338阅读
2021SC@SDUSC前言上一篇博客分析了Spark Streaming的性能调优机制，这次分析一下Spark 2.X的流计算过程介绍Spark 发展迅速，如今最新的版本已经是3.X了，但由于分析的需要以及减少分析困难，我们小组选定的是3.1.2的版本，但本次分析不针对Spark3.X的流计算特性而转而分析Spark2.X中的内容，是为了便于为Spark进行理解。这里也结合databricks官
转载
2023-09-08 22:44:17
53阅读
Operator接口https://insight.io/github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/exec/Operator.java?line=66 这个接口最重要的一个方法：/**
* Process the row.
* @param row The object repre
转载
2024-01-10 13:41:44
36阅读
内存计算（In-memory Computing）指采用了各种内存计算在计算过程中让CPU从主内存读写数据，而不是从磁盘读写数据的计算模型。这里的内存技术包括列存储格式、数据分区与压缩、增量写入、无汇总表等方法。目前，内存计算主要是从存储架构（分布式缓存、内存数据库、内存云体系）和计算模型（基于主内存的并行处理、算法下放到数据层）两个方面提出解决方案。分布式缓存架构： 由多台服务器组成一个缓存服
转载
2023-11-23 19:27:12
84阅读
什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、Graph
转载
2024-01-18 17:07:18
47阅读
# 使用 Java 实现 Spark 计算引擎
作为一名刚入行的小白，学习如何使用 Spark 计算引擎可能会显得复杂，但其实只要掌握了基本的步骤和代码实现过程，就能轻松上手。本文将介绍整体流程，并结合代码示例，帮助你一步一步理解如何在 Java 中实现 Spark 计算引擎。
## 整体流程
首先，我们可以整理出实现 Spark 计算引擎的整体流程。以下表格展示了实现过程的各个步骤：
|
# 使用 Apache Spark 进行数据处理的入门指南
Apache Spark 是一个强大的开源集群计算框架，广泛应用于大数据处理和分析。它支持多种编程语言，如 Scala、Java、Python 和 R，因而适用范围非常广泛。本文将介绍如何使用 Spark 进行数据处理，并提供相应的代码示例。
## Spark 的基本工作流程
在使用 Spark 进行数据处理时，首先需要设置 Spa
原创
2024-09-07 05:57:11
66阅读
一、Spark内部原理 ——通过RDD，创建DAG（逻辑计划） ——为DAG生成物理查询计划 ——调用并执行Task 二、生成逻辑执行图：产生RDD 三、生成逻辑执行图：RDD之间关系 四、生成逻辑执行图：Shuffle —每个reduce task要从每个map task端读取一部分数据，网络连接数是：M*R。—shuffle是分布式计算框架的核心数据交换方式，其实现方式直接决定
原创
2022-11-28 15:42:03
212阅读
1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大
转载
2024-06-04 08:09:38
41阅读
涉及到的知识点：Hive的体系结构安装和配置Hive的数据模型：内部表、分区表、外部表，桶表、视图Hive的查询（本质就是SQL）Hive的Java API（本质就是JDBC程序）Hive的自定义函数（UDF：user defined function。本质就是一个Java程序）Hive的体系结构Hive其实是构建在Hadoop上的数据仓库平台，为数据仓库管理提供了许多功能。其中最常用的功能就是翻
转载
2024-04-16 15:01:32
70阅读
