目录1.RDD1.1 概念1.2 RDD的五大特性1.3 RDD的理解图2.Spark任务执行原理（Standalone集群）3.Spark代码流程4.Transformations转换算子4.1 概念4.2 Transformation类算子4.2.1 filter算子的使用4.2.2 sample算子的使用5.Action行动算子5.1 概念5.2 Action类算子6.控制算子-R
转载
2024-09-08 09:26:24
66阅读
目录一、Spark简介（一）定义（二）Spark和MapReduce区别（三）Spark历史（四）Spark特点二、Spark生态系统三、Spark运行架构（一）基本概念（二）架构设计（三）Spark运行基本流程四、Spark编程模型（一）核心数据结构RDD（二）RDD上的操作（三）RDD的特性（四）RDD 的持久化（五）RDD之间的依赖关系 （六）RDD计算工作流 五、Spa
转载
2024-09-09 06:35:15
35阅读
1.初始准备：准备3台虚拟机，其IP分别为：192.168.42.128
192.168.42.129
192.168.42.130需要安装好JDK，环境生效即可安装好Hadoop集群2.配置IP映射编辑/etc/hosts配置文件：vim /etc/hosts # 三台机器都需要操作
# 添加以下内容
192.168.42.128 Master
192.168.42.129 Slave1
1
转载
2023-11-02 08:50:54
131阅读
已有条件：已经安装好hadoop2.7.7和JDK1.8.并且集群可以运行。 其中有master，slave1,slave2.安装包：spark-2.4.3-bin-hadoop2.7.tgz（这里要根据自己的情况定）一， 下载安装包上传到主节点master上，并用scp命令将它们传到slave1,slave2的bigdata目录下。如下图所示： 二， 分别在三台机器上将它们解压，改名字。并且分别
转载
2024-07-01 17:09:47
104阅读
本次安装是之前的Hadoop完全分布式集群的基础之上进行，相关软件版本如下： Linux系统：CentOS release 6.5 final x86-64 Jdk：jdk1.8.0_141 hadoop: Yarn的hadoop2.6 scala:scala-2.10.6 spark:spark-1.6.0-bin-hadoop2.6 此处省略jdk和hadoop的安装。 一.下载s
转载
2024-05-01 22:49:25
94阅读
Spark分布式计算原理一、RDD依赖与DAG工作原理1、RDD的依赖关系2、DAG工作原理二、RDD优化1、RDD持久化1.1、RDD缓存机制cache1.2 检查点2、RDD共享变量2.1、广播变量2.2、累加器3、RDD分区设计4、数据倾斜三、装载常见数据源3.1、装载CSV数据源3.1.1 使用SparkContext3.1.2使用SparkSession3.2、装载JSON数据源 一、
转载
2023-08-29 16:44:57
155阅读
文章目录简介安装hdfs命令概念流程RDD函数运行模式standalone运行模式yarn运行模式流处理监控端口监控文件停止任务问题 最后更新 2022.03.09简介分布式计算的前提是 计算的数据 分区后 各区无状态，适合用spark分布式管理 分布式计算的前提是数据最好是分布式存储 然后各个算子（算法）计算的结果与结果之间不相关（无依赖，无状态）一般写spark可以用java、scala、p
转载
2024-06-06 15:39:12
55阅读
上一篇 关于spark 和ray整合的文章在这：
祝威廉：Spark整合Ray思路漫谈zhuanlan.zhihu.com
另外还讲了讲Spark 和Ray 的对比：
祝威廉：从MR到Spark再到Ray，谈分布式编程的发展zhuanlan.zhihu.com
现在我们来思考一个比较好的部署模式，架构图大概类似这样： 首先，大家可以理解为
转载
2023-12-25 13:23:19
122阅读
前言 Spark是一种大规模、快速计算的集群平台，本公众号试图通过学习Spark官网的实战演练笔记提升笔者实操能力以及展现Spark的精彩之处。 本文的参考配置为：Deepin 15.11、Java 1.8.0_241、Hadoop 2.10.0、Spark 2.4.4、scala 2.11.12 &nb
转载
2024-01-17 09:03:46
46阅读
# Spark分布式集群部署实验心得
在现代大数据处理中，Apache Spark以其出色的性能和便利性而备受青睐。作为一个分布式计算框架，Spark支持多种编程语言和多种数据源，使得数据处理更加高效。本文将分享我在部署Spark分布式集群过程中的一些心得，并通过代码示例进行具体说明。
## 一、环境准备
在开始部署Spark之前，我们需要一定的硬件和软件基础。首先，确保你有多个可以联网的计
# 实现Spark分布式计算
作为一名经验丰富的开发者，我将会教你如何实现Spark分布式计算。Spark是一个快速通用的集群计算系统，具有高效的API，可以用于大规模数据处理。在分布式计算中，Spark可以帮助我们实现并行计算任务，提高计算效率，处理大规模数据。
## 实现流程
下面是实现Spark分布式计算的整体流程：
| 步骤 | 操作 |
|----|----|
| 1 | 安装S
原创
2024-04-26 10:23:00
59阅读
分布式处理，并行计算，网格计算，虚拟化摘 要 本文对分布式计算技术的工作原理和几种典型的分布式计算技术，如中间件技术、网格技术、移动Agent技术、P2P技术以及最近推出的Web Service技术进行了分析和比较，介绍了存储整合在分布式计算技术中的应用，指出了其存在的一些问题。 关键词 分布式计算；中间件；网格；移动Agent； P2P；Web Service
转载
2024-08-02 21:36:27
23阅读
前言Spark是基于内存的计算框架，计算速度非常快。如果想要对接外部的数据，比如HDFS读取数据，需要事先搭建一个Hadoop 集群。Apache Spark是一个开源集群运算框架，相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark 在存储器内运行程序的运算速度能做到比 Hadoop
转载
2023-10-26 14:11:43
61阅读
编写分布式应用程序的需求：效率性: 可以通过将程序分成多个部分并行运行在多个机器上的方式来提高效率。可靠性: 可以通过将程序分布在多个机器上以避免单点提高系统的容错性。伸缩性: 可以通过动态的增加机器以提升整个系统的处理能力。业务性: 像网络游戏、聊天软件等系统其业务本身就需要分布式的支持。乐趣性: 这里作者提到了其自身的乐趣, 当然这应该也是很多程序员的乐趣。分布式编程的两种基本模型：分布式Er
转载
2023-11-20 11:44:17
151阅读
Spark环境搭建搭建所使用的环境和软件搭建集群集群规划配置spark相关文件原文链接 搭建所使用的环境和软件服务器集群 我用的CentOS-7版本的3个虚拟机，主机名为hadoop01、hadoop02、hadoop03。scala-2.13.4.tgz安装包spark-2.4.7-bin-hadoop2.7.tgz安装包搭建集群集群规划1： 将scala与spark安装包上传到hadoop-
转载
2023-09-21 11:32:52
58阅读
前言： 在部署spark集群时，我们知道有三种：一种是本地模式，一种是Standalone 集群，还有一种是云端下面我们部署的是Standalone 集群Standalone 集群部署官方文档：：http://spark.apache.org/docs/2.4.5/spark-standalone.html软件包分为编译后和没有编译的软件包，没有编译的需要自己重新编译链接： 没有编译： https
转载
2024-03-08 14:12:04
97阅读
最开始关注Spark，是在csdn首页上看到一篇文件《Spark核心开发者：性能超Hadoop百倍，算法实现仅有其1/10或1/100》的，看着标题确实感觉比较年逼的。后来稍微研究了一下，其实发现，这个描述有点问题。Spark是一个基于内存的纯计算框架，而hadoop是包括计算框架的mapreduce和分布式存储hdfs，所以应该描述为Spark性能超Hadoop的ma
转载
2023-09-13 10:40:40
85阅读
Spark Spark 框架概述Spark 诞生背景Apache Spark是用于大规模数据处理的统一分析引擎Spark 最早源于一片论文，该论文是由加州大学柏克莱分校的Matei Zaharia等人发表。论文中提出了一种弹性分布式数据集(RDD)的概念。 总的说，Spark借鉴了Map Reduce思想发展而来，保留了其分布式并行计算的优点并改进了明显的缺陷，让中间数据存储在内存中提高了运行速度
转载
2023-09-21 11:33:02
156阅读
SPARK作为业界主流的大数据处理利器，Spark 的地位毋庸置疑。所以，今天我先带你了解一下 Spark 的特点，再一起来看怎么用 Spark 处理推荐系统的特征。Spark 是一个分布式计算平台。所谓分布式，指的是计算节点之间不共享内存，需要通过网络通信的方式交换数据。Spark 最典型的应用方式就是建立在大量廉价的计算节点上，这些节点可以是廉价主机，也可以是虚拟的 Docker 容器。理解了
转载
2023-10-16 22:56:11
140阅读
# Spark分布式集群部署实验报告
## 引言
Apache Spark是一个用于大规模数据处理的开源集群计算框架。它设计用于快速执行大规模数据处理任务，提供高效的数据分析和机器学习功能。本文将结合代码示例，介绍Spark的分布式集群部署流程及其应用。
## Spark架构概述
在深入部署流程之前，了解Spark的基本架构是很有必要的。Spark的核心组件包括：
- **Driver*
