前言 Spark是一种大规模、快速计算的集群平台，本公众号试图通过学习Spark官网的实战演练笔记提升笔者实操能力以及展现Spark的精彩之处。 本文的参考配置为：Deepin 15.11、Java 1.8.0_241、Hadoop 2.10.0、Spark 2.4.4、scala 2.11.12 &nb
转载
2024-01-17 09:03:46
46阅读
已有条件：已经安装好hadoop2.7.7和JDK1.8.并且集群可以运行。 其中有master，slave1,slave2.安装包：spark-2.4.3-bin-hadoop2.7.tgz（这里要根据自己的情况定）一， 下载安装包上传到主节点master上，并用scp命令将它们传到slave1,slave2的bigdata目录下。如下图所示： 二， 分别在三台机器上将它们解压，改名字。并且分别
转载
2024-07-01 17:09:47
104阅读
本次安装是之前的Hadoop完全分布式集群的基础之上进行，相关软件版本如下： Linux系统：CentOS release 6.5 final x86-64 Jdk：jdk1.8.0_141 hadoop: Yarn的hadoop2.6 scala:scala-2.10.6 spark:spark-1.6.0-bin-hadoop2.6 此处省略jdk和hadoop的安装。 一.下载s
转载
2024-05-01 22:49:25
94阅读
Spark分布式计算原理一、RDD依赖与DAG工作原理1、RDD的依赖关系2、DAG工作原理二、RDD优化1、RDD持久化1.1、RDD缓存机制cache1.2 检查点2、RDD共享变量2.1、广播变量2.2、累加器3、RDD分区设计4、数据倾斜三、装载常见数据源3.1、装载CSV数据源3.1.1 使用SparkContext3.1.2使用SparkSession3.2、装载JSON数据源 一、
转载
2023-08-29 16:44:57
155阅读
文章目录简介安装hdfs命令概念流程RDD函数运行模式standalone运行模式yarn运行模式流处理监控端口监控文件停止任务问题 最后更新 2022.03.09简介分布式计算的前提是 计算的数据 分区后 各区无状态，适合用spark分布式管理 分布式计算的前提是数据最好是分布式存储 然后各个算子（算法）计算的结果与结果之间不相关（无依赖，无状态）一般写spark可以用java、scala、p
转载
2024-06-06 15:39:12
55阅读
上一篇 关于spark 和ray整合的文章在这：
祝威廉：Spark整合Ray思路漫谈zhuanlan.zhihu.com
另外还讲了讲Spark 和Ray 的对比：
祝威廉：从MR到Spark再到Ray，谈分布式编程的发展zhuanlan.zhihu.com
现在我们来思考一个比较好的部署模式，架构图大概类似这样： 首先，大家可以理解为
转载
2023-12-25 13:23:19
122阅读
Spark WordCount运行原理一个spark任务可以有多个stage，一个stage可以有多个Task，真正执行任务的就是Task对象 在一个stage中一个分区就是一个TaskRDD的依赖关系1、Lieage：血统、遗传RDD最重要的特性之一，保存了RDD的依赖关系RDD实现了基于Lineage的容错机制2、依赖关系：宽依赖：一个父RDD的分区被子RDD的多个分区使用，例如map、fla
转载
2023-08-29 11:18:00
63阅读
# 实现Spark分布式计算
作为一名经验丰富的开发者，我将会教你如何实现Spark分布式计算。Spark是一个快速通用的集群计算系统，具有高效的API，可以用于大规模数据处理。在分布式计算中，Spark可以帮助我们实现并行计算任务，提高计算效率，处理大规模数据。
## 实现流程
下面是实现Spark分布式计算的整体流程：
| 步骤 | 操作 |
|----|----|
| 1 | 安装S
原创
2024-04-26 10:23:00
59阅读
分布式处理，并行计算，网格计算，虚拟化摘 要 本文对分布式计算技术的工作原理和几种典型的分布式计算技术，如中间件技术、网格技术、移动Agent技术、P2P技术以及最近推出的Web Service技术进行了分析和比较，介绍了存储整合在分布式计算技术中的应用，指出了其存在的一些问题。 关键词 分布式计算；中间件；网格；移动Agent； P2P；Web Service
转载
2024-08-02 21:36:27
23阅读
前言Spark是基于内存的计算框架，计算速度非常快。如果想要对接外部的数据，比如HDFS读取数据，需要事先搭建一个Hadoop 集群。Apache Spark是一个开源集群运算框架，相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark 在存储器内运行程序的运算速度能做到比 Hadoop
转载
2023-10-26 14:11:43
61阅读
最开始关注Spark，是在csdn首页上看到一篇文件《Spark核心开发者：性能超Hadoop百倍，算法实现仅有其1/10或1/100》的，看着标题确实感觉比较年逼的。后来稍微研究了一下，其实发现，这个描述有点问题。Spark是一个基于内存的纯计算框架，而hadoop是包括计算框架的mapreduce和分布式存储hdfs，所以应该描述为Spark性能超Hadoop的ma
转载
2023-09-13 10:40:40
85阅读
Spark环境搭建搭建所使用的环境和软件搭建集群集群规划配置spark相关文件原文链接 搭建所使用的环境和软件服务器集群 我用的CentOS-7版本的3个虚拟机，主机名为hadoop01、hadoop02、hadoop03。scala-2.13.4.tgz安装包spark-2.4.7-bin-hadoop2.7.tgz安装包搭建集群集群规划1： 将scala与spark安装包上传到hadoop-
转载
2023-09-21 11:32:52
58阅读
前言： 在部署spark集群时，我们知道有三种：一种是本地模式，一种是Standalone 集群，还有一种是云端下面我们部署的是Standalone 集群Standalone 集群部署官方文档：：http://spark.apache.org/docs/2.4.5/spark-standalone.html软件包分为编译后和没有编译的软件包，没有编译的需要自己重新编译链接： 没有编译： https
转载
2024-03-08 14:12:04
97阅读
SPARK作为业界主流的大数据处理利器，Spark 的地位毋庸置疑。所以，今天我先带你了解一下 Spark 的特点，再一起来看怎么用 Spark 处理推荐系统的特征。Spark 是一个分布式计算平台。所谓分布式，指的是计算节点之间不共享内存，需要通过网络通信的方式交换数据。Spark 最典型的应用方式就是建立在大量廉价的计算节点上，这些节点可以是廉价主机，也可以是虚拟的 Docker 容器。理解了
转载
2023-10-16 22:56:11
140阅读
Spark Spark 框架概述Spark 诞生背景Apache Spark是用于大规模数据处理的统一分析引擎Spark 最早源于一片论文，该论文是由加州大学柏克莱分校的Matei Zaharia等人发表。论文中提出了一种弹性分布式数据集(RDD)的概念。 总的说，Spark借鉴了Map Reduce思想发展而来，保留了其分布式并行计算的优点并改进了明显的缺陷，让中间数据存储在内存中提高了运行速度
转载
2023-09-21 11:33:02
156阅读
Apache Spark是一个开源分布式运算框架，最初是由加州大学柏克莱分校AMPLab所开发。Hadoop MapReduce的每一步完成必须将数据序列化写到分布式文件系统导致效率大幅降低。Spark尽可能地在内存上存储中间结果， 极大地提高了计算速度。MapReduce是一路计算的优秀解决方案， 但对于多路计算的问题必须将所有作业都转换为MapReduce模式并串行执行。Spark扩展了Map
一、基本介绍是什么？快速，通用，可扩展的分布式计算引擎。弹性分布式数据集RDDRDD（Resilient Distributed Dataset）弹性分布式数据集，是Spark中最基本的数据（逻辑）抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查
转载
2023-10-14 16:13:05
164阅读
Spark分布式计算期末复习1. Scala1.1 特点1.2 Scala源代码文件，编译后的文件1.3 变量和常量1.4 推断类型1.5 for循环1.6 数组1.7 方法与函数的区别1.8 函数的声明（有名和匿名）1.9 高阶函数1.10 闭包1.11 Lambda演算1.12 集合类型List、Array、Map、Tuple创建和访问元素1.13 容器方法Foreach、Map、FlatM
转载
2023-12-20 08:50:33
51阅读
1、基于Spark自动扩展scikit-learn(spark-sklearn)1.1 导论Spark MLlib 将传统的单机机器学习算法改造成分布式机器学习算法，比如在梯度下降算法中，单机做法是计算所有样本的梯度值，单机算法是以全体样本为计算单位；而分布式算法的逻辑是以每个样本为单位，在集群上分布式的计算每个样本的梯度值，然后再对每个样本的梯度进行聚合操作等。在Spark Mllib中分布式的
转载
2023-09-05 22:17:31
145阅读
自己使用的环境版本：Windows10+Ubuntu18.04 LTS +VMware14 Pro+Hadoop2.6.5+Spark-2.3.0+JAVA1.8+scala2.11+MobaXterm（远程连接工具）包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Java环境配置、scala环境配置 Hadoop文件配置
转载
2024-02-03 09:38:03
99阅读
