一、创建虚拟机安装CentOS及环境部署1.1、安装CentOS1、安装VMware Workstation 12 Pro虚拟机。 2、创建虚拟机：打开VMware Workstation 12 Pro 版本12.5.6，新建虚拟机，选择【自定义】点击【下一步】，直接【下一步】，选择【稍后安装操作系统】点击【下一步】，默认即可点击【下一步】，输入虚拟机名称为CentOS201点击【下一步】，默认点
一、虚拟机安装1、使用课程提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark2upgrade01，选择操作系统为Linux，选择版本为Red Hat，分配4096MB内存，后面的选项全部用默认，在Virtual Disk File location an
1.查看主机名查看master 虚拟机名查看slave1主机名查看slave2主机名2.在master上配置主机映射vim /etc/hosts在slave1和slave2上配置主机映射 3.关闭所有节点的防火墙 禁用防火墙 查看防火墙状态 4。关闭三个节点的安全机制命令：vim /etc/sysconfig/selinux（其余子节点一样的操作） 
1. 准备安装包Win10 64位系统Vmware 10Centos 6.4jdk-7u80-linux-x64.rpmHadoop-2.7.1.tar.gzscala-2.11.6.tgzspark-2.0.1-bin-hadoop2.7.tgz 2. 安装vmware workstations，新建虚拟机master，一路enter 3. 安装
本文介绍的是在虚拟机中搭建的一个spark集群，该集群有三台虚拟机组成，一个主节点，两个从节点。主要涉及到的主要环节分为：VMware® Workstation 14 Pro安装、centos7安装、主机之间免密登录、java安装、hadoop安装、scala安装、spark安装。这里面主要介绍主机之间免密登录、java安装、hadoop安装、scala安装、spark安装。一.VMware® W
文章目录前言：一 spark应用运行流程图示二 spark应用运行流程源码分析1 提交参数的封装2 反射创建对象3 向yarn发送指令启动AM4 yarn会在某个NM启动AM5 AM启动Driver线程，执行用户类的main方法6 AM向RM注册并申请资源7 RM向AM返回可用资源，AM根据本地化级别分配资源8 AM根据资源访问NM，并启动Executor9 Executor向Driver发送消
上一篇文章介绍了搭建Azure虚拟机最基础的准备工作——网络的搭建
现在我们就可以正式搭建azure 虚拟机了
打开azure 主页后选择左侧的虚拟机选项——然后选择创建虚拟机
选择合适订阅，资源组可以选择新建，也可以选择现有的（前提是之前新建过的）
虚拟机名称：顾名思义就是虚拟机的名字
区域：简单来说就是把虚拟机要放到哪个云机房
可用性选项：我这里是测试环境就选择无需基础架构冗余了，具
原创
2021-07-02 09:45:54
3063阅读
平台架构：拟使用三台虚拟机搭建hadoop平台，为了节省时间，首先在一台虚拟机上进行操作，另外两台克隆配置好的虚拟机而成。 Hadoop平台的搭建：1，安装虚拟机在此处需要选择自己下载的光盘镜像的位置，选择后选择稍后安装操作系统，然后进行下一步  
一、虚拟机安装1、使用课程提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark2upgrade01，选择操作系统为Linux，选择版本为Red Hat，分配4096MB内存，后面的选项全部用默认，在Virtual Disk File location an
转载
2023-07-11 20:57:01
136阅读
一 Spark 简介1 什么是 Spark1.1 Spark 是一种快速 / 通用 / 可扩展的大数据分析 / 计算引擎 ,大数据处理框架 .1.2 Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此
！！！该系列使用三台虚拟机搭建一个完整的spark集群，集群环境如下：virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版（连接虚拟机）jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6、kafka_2.9.2-0.8.1、spark1.3.1-bin-hadoop2.6第一篇：准备三台虚拟机环境，配置静态IP，
转载
2023-07-21 21:00:16
226阅读
Hadoop环境搭建（一）虚拟机快速创建和环境准备搭建所使用的环境和软件：创建虚拟机(VM)完成虚拟机创建配置后给VM安装操作系统如果时间不对，设置时区和时间同步将一台虚拟机ip修改为静态ip,和修改主机名字用Xshell连接关闭防火墙配置自己的用户具有root权限安装JDK安装hadoop 搭建所使用的环境和软件：VMware15CentOS 7 64位XshellXftphadoop-2.7
一、下载spark的压缩包 解压 tar -zxvf 压缩名给解压缩后的文件名重新命名为sparkmv spark-2.3.2-bin-hadoop spark二、修改配置文件 进入spark/conf目录 把spark-env.sh.template文件复制一份并创建文件spark-env.shcp spark-env.sh.template spark-env.shspark-env.sh配置
转载
2023-06-06 20:53:33
94阅读
## 什么是Spark虚拟机
Spark虚拟机（Spark VM）是一种用于运行Apache Spark的虚拟化环境。它提供了一个轻量级的方式来部署和管理Spark集群，使用户能够快速地搭建和运行Spark应用程序。
Spark虚拟机通常采用容器化技术，如Docker，来隔离Spark应用程序和其依赖的环境，以确保应用程序的稳定性和可靠性。通过使用Spark虚拟机，用户可以快速地搭建开发、测试
进入系统，设置开机以root用户启动：进入root模式：
su root
修改配置文件：
vi /etc/gdm/custom.conf
在[daemon]下写入：
AutomaticLoginEnable=True
AutomaticLogin=root准备工作：修改主机名vim /etc/sysconfig/network
在文件中加入：
NETWORKING=yes
HOSTNAME=
转载
2023-08-23 12:17:56
0阅读
基于 Mac 平台 VMware 虚拟机的 Spark 安装系列博文，主要分为如下几个篇章 : 1. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（1）- 安装 CentOS 2. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（2）- 安装 Hadoop 3. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（3）- 安装 MySQL 4. 基
1.背景目前大数据使用的是Amazon EMR集群，该集群可根据计算需求变化灵活扩展或收缩集群，就会存在一个问题：当spark任务提交之后，EMR集群会根据计算的需求进行扩展，新扩展的机器上python环境各不相同，并且每次扩展的机器ip不相同（不是同一台机器），对某些第三方包，例如：pandas 还会依赖numpy，并且对版本还有一定要求，必须大于15.4；此时python依赖的冲突就会导致sp
首先需要在三个节点中分别创建spark目录master节点、worker1节点、worker2节点同时执行：下面以master节点为例，部分操作worker1与worker2不需要执行，不需要worker1，worker2执行的将给出注释，请仔细看清。spark@master:~/.ssh$ cd ..
spark@master:~$ mkdir spark注意所创建的spark目录属于spark
Spark集群部署（三台虚拟机）总结1 实验环境说明1.1 软硬件环境1.2 集群网络环境2 虚拟机环境配置2.1 Vmware下载安装以及在VMware虚拟机安装Ubuntu18.042.2 网络配置（设置静态IP地址）2.2.1 在VMware中配置网络环境2.2.2 通过Terminal命令行来设置IP地址3 Hadoop2.6.5+Spark2.2.0分布式集群搭建过程3.1 分布式环境
1.先确保你的虚拟机可以连通外网，ping www.baidu.com,ping不通就检查你的网络设置2. sudo apt install openssh-server3, sudo service ssh start4.ps -aux | grep ssh5. ssh-keygen 生成公钥和密钥 cd ~/root/.ssh 下面有id_rsa(这
转载
2023-07-09 13:37:13
85阅读
