下载spark1.0.0的 spark-1.0.0-bin-hadoop1版本 解压到目录在conf/spark-evn.sh下添加44export446export HADOOP_CONF_DIR=/usr/
原创
2023-07-11 00:01:11
20阅读
因为我本地之前有安装过zookeeper和hadoop，所以这里就不讲这两个的安装了，如需安装，自行百度。官网下载地址 http://spark.apache.org/downloads.html 这个官网很奇怪，有时候那个下拉选择版本的框，显示不出来。所以我翻墙下载了，翻墙了之后，可以正常显示了。 Spark我使用的是这个版本的 spark-3.0.1-bin-hadoop3.2.tgz，这里不
转载
2023-09-07 15:29:13
0阅读
目录：2、Spark安装入门2.1、Spark安装部署2.1.1、Spark下载：2.1.2、安装前准备：2.1.3、配置环境变量：2.1.4、配置Spark环境：2.1.5、启动Spark集群2.2、Spark中的Scale的shell2.3、Spark核心概念简介2.4、独立应用2.4.1、初始化SparkContext2.4.2、构建独立应用2、Spark安装入门2.1、Spark安装部署2
转载
2023-08-09 11:29:55
184阅读
包含sparksql的完整使用案例，请务必耐心看完 专题：大数据单机学习环境搭建和使用1.Spark安装2.Spark配置2.1配置环境变量2.2spark客户端3.Spark使用3.1环境准备3.2脚本说明3.3服务开启3.4脚本执行 大数据单机学习环境搭建(9)Spark单节点安装与pyspark使用1.Spark安装apache官网下载spark个人下载的资源分享# 解压安装，我的位置都在/
使用 安装包：scala-2.10.3.tgzspark-0.9.0-incubating-bin-hadoop2.tgzhadoop-2.3.0-cdh5.0.0.tar.gzjdk1.7.0_45下载地址：http://mirror.bit.edu.cn/apache/spark/spark-0.9.0-incubating/spark-0.9.0-incubating-bin-hadoop2
原创
2015-09-08 14:21:53
524阅读
下载scala-2.10.6包解压到指定目录http://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz#SCALA VARIABLES START
export SCALA_HOME=/usr/local/scala-2.10.6
export PATH=$PATH:$SCALA_HOME/bin
转载
精选
2016-01-13 19:53:33
637阅读
wget -c http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz
原创
2021-08-04 10:37:46
220阅读
转载
2019-07-30 10:47:00
89阅读
2评论
安装Spark 1、解压 2、修改配置文件 修改 .bashrc 追加内容 #SPARKexport SPARK_HOME=/opt/spark-2.1.1-bin-hadoop2.7export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH spark-e
原创
2022-05-17 20:49:14
123阅读
# Spark安装指南
## 概述
本文将为你详细介绍如何安装和配置Apache Spark，帮助你快速入门。
## 整体流程
下表概括了安装和配置Spark的整体流程：
| 步骤 | 描述 |
|------|------|
| 步骤一：安装Java | 安装Java JDK，确保Java环境正确配置 |
| 步骤二：下载Spark | 下载Spark安装包 |
| 步骤三：解压Spark
spark单机安装部署1.安装scala1.下载：wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz 2.解压：tar -zxvf scala-2.11.12.tgz -C /usr/local 3.重命名：mv scala-2.10.5/ scala 4.配置到环境变量：export SCALA_HOME=/u
之前在windows下搭建了一个spark的开发环境，但是后来发现如果想要搞spark streaming的例子的话在Linux下使用更方便，于是在centos7下面搭建一下spark开发环境，记录以做备忘之用。1 .首先去spark官网下载相关软件，我这里用的是spark2.1.0版本http://spark.apache.org/downloads.html，对应的hadoop版本是2.7.0
经过了小一天的时间最终把Spark安装好了 我的机器配置是windows7。8G。内存，双核的 安装的软件列表为： Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64) vmware Hadoop: 2.6.0 Spark: 1.4.0 jd
转载
2017-05-22 20:57:00
60阅读
2评论
SPARK_MASTER_HOST=sparkmaster.smartmap.comSPARK_MASTER_PORT=7077SPARK_WORKER_CORES=1SPARK_WORKER_MEMORY=1024MSPARK_MASTER_WEBUI_PORT=8080SPARK_CONF_DIR=/app/spark/spark-2.3.0-bin-hadoop2.7/conf JAVA_...
转载
2018-07-05 22:58:00
27阅读
2评论
环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3折腾了几天，终于把Spark 集群安装成功了
转载
2022-09-05 15:04:30
122阅读
Spark是一个基于内存计算的大数据处理框架，具有快速、易用、通用等特点。在Kubernetes（K8S）上安装Spark可以更好地管理集群资源，提高计算效率。下面我将为您详细介绍如何在K8S上安装Spark。
**整体流程：**
| 步骤 | 操作 |
| ---- | ------------- |
| 1 | 安装K8S集群 |
| 2 | 下载配置Sp
1、spark概述1、什么是spark基于内存的计算引擎，它的计算速度非常快。但是spark仅仅只涉及到数据的计算，没有涉及到数据的存储。2、为什么学习spark比mapreduce计算速度快很多。3、spark特点1、速度快比mapreduce在内存中快100x，在磁盘中快10x1、由于mapreduce每次job的中间结果数据都会落地到磁盘中，而spark每次中间结果数据可以不落地（可以保存在
一、Spark安装官网地址：http://spark.apache.org/文档地址：http://spark.apache.org/docs/latest/下载地址：http://spark.apache.org/downloads.htm下载Spark安装包下载地址：https://archive.apache.org/dist/spark/安装步骤：1、下载软件解压缩，移动到指定位置cd /
转载
2023-06-25 15:16:38
198阅读
第八章 Spark安装及配置一、Spark简介官方文档：http://spark.apache.org/ Lightning-fast cluster computing：快如闪电的集群计算。Apache Spark™ is a unified analytics engine for large-scale data processing：大规模快速通用的计算引擎。 1、速度
Spark的安装及介绍
*以下内容由《Spark快速大数据分析》整理所得。读书笔记的第一部分是记录如何安装Spark？同时，简单介绍下Spark。一、Spark安装二、Spark介绍 一、Spark安装如果是在个人电脑上学习Spark，建议先建个虚拟机，教程可参考1. 安装虚拟机，Hadoop和Hive。在下载Spark
转载
2023-06-05 11:05:42
162阅读
