网上教程已经很多了。为什么还要写这样一篇博客呢？ 网上教程过于分散，自己在搭建过程中遇到了一些细节问题，从头到尾解决下来花了不少时间，本文重点是涉及配置hexo安装环境和git环境，希望做一个总结，方便日后查看，也许能够帮到更多人呢~说明：Hexo是静态博客生成框架，这个博客要托管在开源代码托管网站Github的git pages上，git是Github的分布式源代码管理工具，这里用来推送hexo
说道大数据和机器学习，就少不了Spark.本文主要介绍在Linux下搭建单机环境的
原创
2022-08-26 13:09:43
243阅读
Ubuntu下开发环境配置1. 概述Ubuntu 系统包含两类环境变量：系统环境变量和用户环境变量。系统环境变量对系统所有用户都有效，用户环境变量仅对当前的用户有效。1） 用户环境变量通常被存储在下面的文件中： ~/.profile ~/.bash_profile 或者 ~./bash_login ~/.bashrc2） 系统环境变量一般保存在下面的文件中： /etc/en
Spark环境搭建总结:1.模式简介2.两种onYarn模式区别(SparkOnYarn模式和之前的Spark集群没有半毛钱关系)2.1.Driver`运行的位置`不一样2.2.运行结果如果在控制台输出2.3.提交命令参数不一样2.4.通信成本不一样3.端口准备工作Apache的还是CDH的?Local本地模式-★★★Standalone独立集群模式-★模式介绍集群规划操作Standalone-
转载
2023-08-14 13:27:55
108阅读
首先确保你的Hadoop环境已安装下载spark安装包到主机，到这个站点http://archive.apache.org/dist/spark/下载想要的版本，下面安装使用的是spark2.4.0版本，安装其他版本基本类似，注意点在后面会提到# 解压，-C代表解压到那个目录
sudo tar -zxvf spark-2.4.0-bin-without-hadoop.tgz -C /usr/loc
目前，博文搜索有时候看不到博文发表时间，如果以后能像百度学术那样有搜索的时间范围选项不知道会不会更好一点。虽说百度也收录了文，可以搜到。前提，官网说明要先安装配置好java8或者java11。 此处，博主安装在已经配置好Hadoop伪分布的虚拟机Linux上，Hadoop2.7.3，Java1.8.x。参考网文，首先安装Scala： Linux命令行，mkdir /usr/scala 不知道为什么
转载
2023-07-24 07:45:40
75阅读
开始搭建的jdk这些自不必说，本文只是简单的介绍安装scala/spark 1.下载scala安装包 去官网下载tgz包，解压在/opt/scala/下，设置环境变量： export SCALA_HOME=/opt/scala/scala-2.10.3
export PATH=$SCALA_HOME/bin:$PATH
export SCALA_HOME=/opt/scala/scala-
1、官网下载安装包或者编译包：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz2、解压到安装目录-自定义目录，配置环境变量3、安装java和scala；4、运行安装目录下的spark-shell：这个入口是scala；5、安装idea；6、配置idea开发环境： 下面介绍本地s
转载
2023-09-06 10:12:42
81阅读
1.wget http://www.apache.org/dyn/closer.cgi/spark/spark-1.2.0/spark-1.2.0-bin-hadoop2.4.tgz
转载
2016-05-27 11:14:00
130阅读
2评论
一、Spark下载进入官网下载需要的版本：官网下载地址太慢，建议在Apache国内镜像下载地址2貌似速度快一些hadoop、hbase等Apache旗下的大多都可以我这里下载的版本时： spark-2.4.7-bin-hadoop2.6.tgz1、下载后解压 cd /home/tools/spark2tar -zxvf spark-2.4.7-bin-hadoop2.6.tgz 2、启动spar
转载
2021-02-04 15:38:00
162阅读
2评论
# Spark环境搭建与使用
## 1. 简介
Spark是一个用于大规模数据处理的开源分布式计算系统。它提供了高效的数据处理、机器学习和图计算等功能，并且支持多种编程语言，如Scala、Java和Python等。本文将介绍如何搭建Spark环境，并使用Spark进行数据处理的基本操作。
## 2. 环境搭建
### 2.1 下载与安装Spark
首先，我们需要从Spark官网（
##
原创
2023-07-15 09:11:14
98阅读
1. 安装依赖包安装编译依赖包，这个摘自下面的XDA 链接的内容，略有改动。sudo apt-get install git bc bison build-essential curl flex g++-multilib gcc-multilib gnupg gperf imagemagick lib32ncurses5-dev lib32readline-dev lib32z1-dev libl
文章目录前言1.配置文件解读2.网络3.搭建tftp服务器4.搭建nfs服务器 前言对已经配置的开发环境做一个记录，不然有些装的东西老是忘记1.配置文件解读配置文件主要来自etc目录下和home目录下的隐藏文件，以下对常见配置文件进行解读：/etc/rc.local 此脚本在每个多用户运行级别结束时执行，开机自启，我们可以将网络配置放在这里/etc/init.d 开机启动有关的文件及可执行程序/
spark执行例子 spark-submit --class "spark.xyd.test.WordCount" --master local[4]
原创
2023-06-14 17:36:27
5阅读
1. Ubuntu中vmwa tool没有安装好，没办法进行文件复制。可以安装xftp来进行文件传输。(1) 更新apt： sudo apt-get update。 (2) 安装ssh： sudo apt-get install openssh-server。 (3) 输入ssh localhost登陆本机，需要输入账户密码。 (4) 在windows上安装xftp (5) 利用ifconfig查
转载
2023-09-01 08:15:20
83阅读
Windows平台环境搭建JDK1.8-8u201Scala2.11.8spark2.2.0hadoop2.7.2sbt0.13.13.1 上面的几个软件之间相互有版本依赖关系的因此尽量要配套使用，链接：https://pan.baidu.com/s/1QEx-Q1jaRsO6-9tijw1Hdw 提取码：mnml 1. 首先安装 JDK1.JDK下载地址：点开链接你应该看到如
原创
2022-03-14 17:23:56
1217阅读
Windows平台环境搭建 JDK 1.8-8u201 Scala 2.11.8 spark 2.2.0 hadoop 2.7.2 sbt 0.13.13.1 上面的几个软件之间相互有版本依赖关系的因此尽量要配套使用，链接：https://pan.baidu.com/s/1QEx-Q1jaRsO6-9tijw1Hdw 提取码：mnml...
原创
2021-05-28 22:01:03
958阅读
前言：在学校实验室台式机或服务器上配置个私有云，可以在宿舍用笔记本或者手机直接访问，存个电影什么的资源就可以回去看，顺利的话一两个小时就能搞定。一、安装Apache21. 在终端窗口输入一下命令：sudo apt-get update
sudo apt-get install apache2完成之后在浏览器地址栏输入localhost或本机ip地址（局域网ip地址可使用ifconfig查看），弹出
文章目录一、环境准备二、Spark环境搭建1. Spark部署方式2. 安装spark1) 下载Spark关于版本的选择2）安装Spark上传安装包解压并创建软链接Spark的目录结构配置环境变量配置Hadoop信息修改日志级别3）测试安装注意进入scala交互界面运行代码4）配置pyspark安装python安装pyspark开发包5) 配置Spark伪Standalone模式切换至配置文件目
转载
2023-08-01 14:12:40
296阅读
大家好，我是一条~5小时推开Spark的大门，第二小时，带大家搭建开发环境。主要分两步，Spark的安装Scala环境的搭建话不多说，动起来！Spark的安装Spark是基于Scala语言编写的，需要运行在JVM上，运行环境Java7以上，本文使用Java8，Centos7。用Python也是可以的，但本教程不详细讲。1.下载Spark我使用的是腾讯云的服务器，没有的同学用虚拟机也是可以的，Win
