本次安装是之前的Hadoop完全分布式集群的基础之上进行，相关软件版本如下： Linux系统：CentOS release 6.5 final x86-64 Jdk：jdk1.8.0_141 hadoop: Yarn的hadoop2.6 scala:scala-2.10.6 spark:spark-1.6.0-bin-hadoop2.6 此处省略jdk和hadoop的安装。 一.下载s
转载
2024-05-01 22:49:25
94阅读
Spark环境搭建搭建所使用的环境和软件搭建集群集群规划配置spark相关文件原文链接 搭建所使用的环境和软件服务器集群 我用的CentOS-7版本的3个虚拟机，主机名为hadoop01、hadoop02、hadoop03。scala-2.13.4.tgz安装包spark-2.4.7-bin-hadoop2.7.tgz安装包搭建集群集群规划1： 将scala与spark安装包上传到hadoop-
转载
2023-09-21 11:32:52
58阅读
已有条件：已经安装好hadoop2.7.7和JDK1.8.并且集群可以运行。 其中有master，slave1,slave2.安装包：spark-2.4.3-bin-hadoop2.7.tgz（这里要根据自己的情况定）一， 下载安装包上传到主节点master上，并用scp命令将它们传到slave1,slave2的bigdata目录下。如下图所示： 二， 分别在三台机器上将它们解压，改名字。并且分别
转载
2024-07-01 17:09:47
104阅读
第一步：版本的选择： spark-0.x spark-1.x(主流：Spark-1.3 和 Spark-1.6) spark-2.x(最新 Spark-2.4) 下载地址：http://spark.apache.org/downloads.html（官网） 其他镜像网站：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/
原创
2018-12-08 09:56:03
2366阅读
文章目录简介安装hdfs命令概念流程RDD函数运行模式standalone运行模式yarn运行模式流处理监控端口监控文件停止任务问题 最后更新 2022.03.09简介分布式计算的前提是 计算的数据 分区后 各区无状态，适合用spark分布式管理 分布式计算的前提是数据最好是分布式存储 然后各个算子（算法）计算的结果与结果之间不相关（无依赖，无状态）一般写spark可以用java、scala、p
转载
2024-06-06 15:39:12
55阅读
Spark分布式计算原理一、RDD依赖与DAG工作原理1、RDD的依赖关系2、DAG工作原理二、RDD优化1、RDD持久化1.1、RDD缓存机制cache1.2 检查点2、RDD共享变量2.1、广播变量2.2、累加器3、RDD分区设计4、数据倾斜三、装载常见数据源3.1、装载CSV数据源3.1.1 使用SparkContext3.1.2使用SparkSession3.2、装载JSON数据源 一、
转载
2023-08-29 16:44:57
155阅读
上一篇 关于spark 和ray整合的文章在这：
祝威廉：Spark整合Ray思路漫谈zhuanlan.zhihu.com
另外还讲了讲Spark 和Ray 的对比：
祝威廉：从MR到Spark再到Ray，谈分布式编程的发展zhuanlan.zhihu.com
现在我们来思考一个比较好的部署模式，架构图大概类似这样： 首先，大家可以理解为
转载
2023-12-25 13:23:19
122阅读
前言 Spark是一种大规模、快速计算的集群平台，本公众号试图通过学习Spark官网的实战演练笔记提升笔者实操能力以及展现Spark的精彩之处。 本文的参考配置为：Deepin 15.11、Java 1.8.0_241、Hadoop 2.10.0、Spark 2.4.4、scala 2.11.12 &nb
转载
2024-01-17 09:03:46
46阅读
1.规划 三台服务器 s101 //master(进程) s102 ~ s104 //worker(进程) 2.在每个主机上分别安装spark 3.配置spark(每个节点进行相同操作) 3.1)在spark的conf目录下创建hadoop的core-site.xml和hdfs-site.xml软连 ...
转载
2021-08-11 20:03:00
361阅读
2评论
# 实现Spark分布式计算
作为一名经验丰富的开发者，我将会教你如何实现Spark分布式计算。Spark是一个快速通用的集群计算系统，具有高效的API，可以用于大规模数据处理。在分布式计算中，Spark可以帮助我们实现并行计算任务，提高计算效率，处理大规模数据。
## 实现流程
下面是实现Spark分布式计算的整体流程：
| 步骤 | 操作 |
|----|----|
| 1 | 安装S
原创
2024-04-26 10:23:00
59阅读
分布式处理，并行计算，网格计算，虚拟化摘 要 本文对分布式计算技术的工作原理和几种典型的分布式计算技术，如中间件技术、网格技术、移动Agent技术、P2P技术以及最近推出的Web Service技术进行了分析和比较，介绍了存储整合在分布式计算技术中的应用，指出了其存在的一些问题。 关键词 分布式计算；中间件；网格；移动Agent； P2P；Web Service
转载
2024-08-02 21:36:27
23阅读
前言Spark是基于内存的计算框架，计算速度非常快。如果想要对接外部的数据，比如HDFS读取数据，需要事先搭建一个Hadoop 集群。Apache Spark是一个开源集群运算框架，相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark 在存储器内运行程序的运算速度能做到比 Hadoop
转载
2023-10-26 14:11:43
61阅读
最开始关注Spark，是在csdn首页上看到一篇文件《Spark核心开发者：性能超Hadoop百倍，算法实现仅有其1/10或1/100》的，看着标题确实感觉比较年逼的。后来稍微研究了一下，其实发现，这个描述有点问题。Spark是一个基于内存的纯计算框架，而hadoop是包括计算框架的mapreduce和分布式存储hdfs，所以应该描述为Spark性能超Hadoop的ma
转载
2023-09-13 10:40:40
85阅读
前言： 在部署spark集群时，我们知道有三种：一种是本地模式，一种是Standalone 集群，还有一种是云端下面我们部署的是Standalone 集群Standalone 集群部署官方文档：：http://spark.apache.org/docs/2.4.5/spark-standalone.html软件包分为编译后和没有编译的软件包，没有编译的需要自己重新编译链接： 没有编译： https
转载
2024-03-08 14:12:04
97阅读
SPARK作为业界主流的大数据处理利器，Spark 的地位毋庸置疑。所以，今天我先带你了解一下 Spark 的特点，再一起来看怎么用 Spark 处理推荐系统的特征。Spark 是一个分布式计算平台。所谓分布式，指的是计算节点之间不共享内存，需要通过网络通信的方式交换数据。Spark 最典型的应用方式就是建立在大量廉价的计算节点上，这些节点可以是廉价主机，也可以是虚拟的 Docker 容器。理解了
转载
2023-10-16 22:56:11
140阅读
Spark Spark 框架概述Spark 诞生背景Apache Spark是用于大规模数据处理的统一分析引擎Spark 最早源于一片论文，该论文是由加州大学柏克莱分校的Matei Zaharia等人发表。论文中提出了一种弹性分布式数据集(RDD)的概念。 总的说，Spark借鉴了Map Reduce思想发展而来，保留了其分布式并行计算的优点并改进了明显的缺陷，让中间数据存储在内存中提高了运行速度
转载
2023-09-21 11:33:02
156阅读
## Spark分布式安装与配置指南
在当前大数据时代，Apache Spark 是一个非常流行的分布式计算框架。对于刚入行的新手而言，了解如何在集群上安装和配置 Spark 是至关重要的。本文将提供一个详细的指南，帮助你理解 Spark 的分布式安装与配置的整个流程。
### 安装与配置流程概述
以下是安装和配置 Spark 的步骤：
| 步骤 | 描述 |
|------|------
Spark伪分布式安装配置Scala安装Spark测试配置Scala解压安装包至指定目录:tar -zxvf scala-2.10.4.tgz -C /home/配置环境变量:vi /etc/profileexport SCALA_HOME=/home/scala-2.10.4export PATH=$PATH:$SCALA_HOME/bin是环境变量立刻生效:source /etc/profile测试是否安装成功:scala安装Spark解压安装包至指定目录:tar -zxvf sp
原创
2021-08-03 10:06:45
851阅读
文章目录Ubuntu下的Spark 伪分布式安装一、安装Scala二、安装Spark三、配置Spark文件四、测试Ubuntu下的Spark 伪分布式安装资源获取
原创
2022-08-12 11:54:13
265阅读
Spark 伪分布式 & 全分布式Spark目前支持多种分布式部署方式： 一、Standalone Deploy Mode； 二、Amazon EC2 ； 三、Apache Mesos； 四、Hadoop YARN。 第一种方式是单机部署，不需要有依赖的资源管理器，其它三种都需要将spark部署到对应的资源管理器上。 除了部署的多种方式之外，较新版本的Spark支持多种hadoop平台，
转载
2022-11-28 15:51:13
150阅读
