一、安装Anaconda一、安装Anaconda点击查看安装Anaconda软件教程二、配置Anaconda环境变量点击查看配置教程二、Windows的PySpark环境配置一、查看所有conda虚拟环境conda env list二、创建虚拟环境conda create -n pyspark_env python=3.8三、切换到虚拟环境activate pyspark_env四、安装PySpa
转载
2023-06-20 16:19:02
188阅读
1、官网下载安装包或者编译包：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz2、解压到安装目录-自定义目录，配置环境变量3、安装java和scala；4、运行安装目录下的spark-shell：这个入口是scala；5、安装idea；6、配置idea开发环境： 下面介绍本地s
转载
2023-09-06 10:12:42
117阅读
一、Spark开发环境准备工作由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境 二、了解Spark的部署模式（一）Standalone模式Standalone模式被称为集群单机模式。该模式下，
本教程是虚拟机搭建Spark环境和用idea编写脚本 一、前提准备需要已经安装了idea或着eclipse（教程以idea为例） 二、环境搭建1、下载Spark安装包（我下载的 spark-3.0.1-bin-hadoop2.7.tgz）下载地址Scala 2.12.8 | The Scala Programming Language (scala-lang.org)2、上传到
转载
2023-08-03 15:46:24
153阅读
准备好相关环境主要是在集群电脑上安装好java JDK,设置好电脑主机名称，配置Ip地址，利用ssh进行电脑间的连接，并测试好网络连接可靠。搭建hadoop系统(sprak本身不依赖hadoop,这里我想把hadoop用起来)，同时可以预装python、pycharm这些可能用到的编程语言和开发环境。hadoop系统如何搭建可参考我之前的博文。安装spark至官网下载相应版本的spark安装文件
转载
2023-07-20 18:21:21
8阅读
Spark On Yarn完全分布式搭建 Spark On Yarn的搭建分为三个阶段，第一个是Zookeeper集群的搭建，第二是Hadoop集群的搭建，第三是Spark集群的搭建。所以以下将按照这三个步骤来给大家进行展示Spark On Yarn完全分布式搭建。
一、准备
1、软件及版本 1.&n
转载
2024-06-18 13:22:42
97阅读
1 两种解决方案1基于文件系统的单点恢复，主要用于开发或者测试环境，spark提供目录保存spark application和worker的注册信息，并将它们的恢复状态写入该目录中。一旦master发生故障，就可以通过重新启动master进程(sbin/start-master.sh)，恢复已运行的spark application和worker的注册信息。2基于zookeeper的standby
转载
2023-10-20 21:32:17
97阅读
一、背景说明 单机执行pyspark（python on spark）非常简单，只要在脚本所在服务器上部署个python环境或Anaconda这种集成运行环境，再通过python3命令执行就完了。 而想将python提交到spark集群中运行，则有两种方法，一种是在每个spark结点上部署python环境，在spark低版本与python集成没那么完善的时候，集群结点数又不多的情况下，的确可以
转载
2023-08-26 15:53:29
449阅读
一、Spark开发环境准备工作由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境软件 版本 Linux系统 CentOS7.9版本
转载
2024-07-23 11:19:55
790阅读
搭建 Spark 是一个非常有趣的过程，它能够帮助我处理大数据和进行分布式计算。在这篇博文中，我将详细记录搭建 Spark 的过程，包括环境准备、分步指南、配置详解、验证测试、优化技巧和扩展应用。
## 环境准备
### 软硬件要求
在搭建 Spark 之前，我首先确保我的硬件和软件环境满足以下要求：
- **硬件要求**：
- 内存：至少 8GB RAM（推荐 16GB 以上）
1、上传解压，配置环境变量 配置bin目录2、修改配置文件 conf mv spark-env.sh.template spark-env.sh 增加配置 export SPARK_MASTER_IP=masterexport SPARK_MASTER_PORT=7077 export SPARK_ ...
转载
2021-08-31 17:13:00
128阅读
2评论
# 从头开始搭建一个Spark集群
Spark是一个流行的分布式计算框架，可以用于处理大规模数据集。在开始搭建Spark集群之前，我们需要确保已经安装好Kubernetes集群，因为Spark在Kubernetes上运行是最常见的方式之一。
## 步骤概览
首先，让我们来看一下搭建一个Spark集群所需要的步骤：
| 步骤 | 描述 |
|------|-
原创
2024-04-23 17:08:29
85阅读
# Spark搭建及基本使用指南
Apache Spark是一个开源的分布式数据处理框架，广泛用于大数据分析和机器学习任务。它以其高效的计算能力和灵活性而受到开发者的青睐。本文将介绍如何在本地搭建Spark环境，并给出简单的使用示例。
## 1. 环境准备
在搭建Spark之前，你需要准备以下环境：
- **Java JDK**：Spark是建立在Java之上的，因此需要安装Java开发工
目录spark概述spark集群搭建1.Spark安装2.环境变量配置3.Spark集群配置4.启动Spark集群存在问题及解决方案请参考以下文章 spark概述Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析。Spark的特点是速度快、易用性高、支持多种编程语言和数据源。Spark的核心是基于内存的计算模型，可以在内存中快速地处理大规模数据。Spa
转载
2023-11-21 11:10:36
561阅读
Spark环境搭建JunLeon——go big or go home目录Spark环境搭建目录Spark环境搭建一、环境准备1、软件准备2、Hadoop集群搭建3、Anaconda环境搭建二、Spark Local模式搭建1、Spark下载、上传和解压2、配置环境变量3、配置Spark配置文件4、测试5、补充：spark-shell、spark-submit三、Spark Standone模式搭
转载
2023-10-27 14:21:20
66阅读
Spark环境搭建总结:1.模式简介2.两种onYarn模式区别(SparkOnYarn模式和之前的Spark集群没有半毛钱关系)2.1.Driver`运行的位置`不一样2.2.运行结果如果在控制台输出2.3.提交命令参数不一样2.4.通信成本不一样3.端口准备工作Apache的还是CDH的?Local本地模式-★★★Standalone独立集群模式-★模式介绍集群规划操作Standalone-
转载
2023-08-14 13:27:55
221阅读
最近好不容易搞到了三台测试机，可以用来搭建spark集群搞模型。本宝宝开心得不行，赶紧行动，把spark集群搭起来，模型跑起来。1.搭建hadoop集群hadoop的hdfs文件系统是整个生态圈的基础，因为数据量大了以后，数据一般就都放hdfs上头了。因为四台测试机之前已经搭建好了hadoop集群环境，而且经过本宝宝测试，hadoop集群也是可用的，所以就省了搭hadoop集群的功夫。2.配置集群
转载
2023-11-01 18:23:30
97阅读
目录一、集群规划二、配置Spark路径三、修改配置文件1.spark-env.sh2.修改slaves文件四、启动集群1.先起动Hadoop的HDFS和Yarn2.启动Spark五、Web查看集群启动情况六、测试例子七、集群配置介绍必读引言：本文是基于Hadoop完全分布式搭建的Spark On Yarn分布式集群，之前我已经总结过Hadoop完全分布式搭建的详细过程，请参考我的文章：Linux下
转载
2023-08-26 12:57:26
195阅读
目录一、 运行架构二、 核心组件2.1 Driver2.2 Executor2.3 Master & Worker2.4 ApplicationMaster三、 核心概念3.1 Executor与Core3.2 并行度（Parallelism）3.3 有向无环图（DAG）四、 提交流程2.1 Yarn Client模式2.2 Yarn Cluster模式2.3 Sta
转载
2024-05-16 11:01:39
32阅读
# 搭建Spark集群的新手指南
Apache Spark 是一个强大的分布式计算框架，可以处理大规模的数据集。对于初入行的开发者来说，搭建一个Spark集群是一个重要的技能。在本文中，我将带领你了解如何搭建一个简单的Spark集群，从而让你能够进行大规模数据处理。
## 流程概述
在本指南中，我们将按照以下步骤搭建Spark集群：
| 步骤 | 说明
原创
2024-09-09 06:29:31
98阅读
