平台架构：拟使用三台虚拟机搭建hadoop平台，为了节省时间，首先在一台虚拟机上进行操作，另外两台克隆配置好的虚拟机而成。 Hadoop平台的搭建：1，安装虚拟机在此处需要选择自己下载的光盘镜像的位置，选择后选择稍后安装操作系统，然后进行下一步  
一、虚拟机安装1、使用课程提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark2upgrade01，选择操作系统为Linux，选择版本为Red Hat，分配4096MB内存，后面的选项全部用默认，在Virtual Disk File location an
转载
2023-07-11 20:57:01
136阅读
进入系统，设置开机以root用户启动：进入root模式：
su root
修改配置文件：
vi /etc/gdm/custom.conf
在[daemon]下写入：
AutomaticLoginEnable=True
AutomaticLogin=root准备工作：修改主机名vim /etc/sysconfig/network
在文件中加入：
NETWORKING=yes
HOSTNAME=
转载
2023-08-23 12:17:56
0阅读
基于 Mac 平台 VMware 虚拟机的 Spark 安装系列博文，主要分为如下几个篇章 : 1. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（1）- 安装 CentOS 2. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（2）- 安装 Hadoop 3. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（3）- 安装 MySQL 4. 基
1.背景目前大数据使用的是Amazon EMR集群，该集群可根据计算需求变化灵活扩展或收缩集群，就会存在一个问题：当spark任务提交之后，EMR集群会根据计算的需求进行扩展，新扩展的机器上python环境各不相同，并且每次扩展的机器ip不相同（不是同一台机器），对某些第三方包，例如：pandas 还会依赖numpy，并且对版本还有一定要求，必须大于15.4；此时python依赖的冲突就会导致sp
一 Spark 简介1 什么是 Spark1.1 Spark 是一种快速 / 通用 / 可扩展的大数据分析 / 计算引擎 ,大数据处理框架 .1.2 Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此
！！！该系列使用三台虚拟机搭建一个完整的spark集群，集群环境如下：virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版（连接虚拟机）jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6、kafka_2.9.2-0.8.1、spark1.3.1-bin-hadoop2.6第一篇：准备三台虚拟机环境，配置静态IP，
转载
2023-07-21 21:00:16
226阅读
一、创建虚拟机安装CentOS及环境部署1.1、安装CentOS1、安装VMware Workstation 12 Pro虚拟机。 2、创建虚拟机：打开VMware Workstation 12 Pro 版本12.5.6，新建虚拟机，选择【自定义】点击【下一步】，直接【下一步】，选择【稍后安装操作系统】点击【下一步】，默认即可点击【下一步】，输入虚拟机名称为CentOS201点击【下一步】，默认点
一、下载spark的压缩包 解压 tar -zxvf 压缩名给解压缩后的文件名重新命名为sparkmv spark-2.3.2-bin-hadoop spark二、修改配置文件 进入spark/conf目录 把spark-env.sh.template文件复制一份并创建文件spark-env.shcp spark-env.sh.template spark-env.shspark-env.sh配置
转载
2023-06-06 20:53:33
94阅读
## 什么是Spark虚拟机
Spark虚拟机（Spark VM）是一种用于运行Apache Spark的虚拟化环境。它提供了一个轻量级的方式来部署和管理Spark集群，使用户能够快速地搭建和运行Spark应用程序。
Spark虚拟机通常采用容器化技术，如Docker，来隔离Spark应用程序和其依赖的环境，以确保应用程序的稳定性和可靠性。通过使用Spark虚拟机，用户可以快速地搭建开发、测试
1.查看主机名查看master 虚拟机名查看slave1主机名查看slave2主机名2.在master上配置主机映射vim /etc/hosts在slave1和slave2上配置主机映射 3.关闭所有节点的防火墙 禁用防火墙 查看防火墙状态 4。关闭三个节点的安全机制命令：vim /etc/sysconfig/selinux（其余子节点一样的操作） 
1.所需软件：hadoop-2.6.0.tar.gz
jdk-8u25-linux-i586.gz
scala-2.11.0.tgz
spark-1.4.0-bin-hadoop2.6.tgzCentOS-6.5-x86_64-bin-DVD1.iso或ubuntu-14.04-desktop-i386.iso或者Fedoravmwareworkstation注：目前Spark2.0已经出来，可以
Spark集群部署（三台虚拟机）总结1 实验环境说明1.1 软硬件环境1.2 集群网络环境2 虚拟机环境配置2.1 Vmware下载安装以及在VMware虚拟机安装Ubuntu18.042.2 网络配置（设置静态IP地址）2.2.1 在VMware中配置网络环境2.2.2 通过Terminal命令行来设置IP地址3 Hadoop2.6.5+Spark2.2.0分布式集群搭建过程3.1 分布式环境
一、虚拟机安装1、使用课程提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark2upgrade01，选择操作系统为Linux，选择版本为Red Hat，分配4096MB内存，后面的选项全部用默认，在Virtual Disk File location an
一．安装JA VA 1.创建JAVA目录：mkdir /usr/lib/java 2.将下载好的jdk移到(mv 源文件 /usr/lib/java） 3.cd /usr/lib/java 4.解压tar -xvf jdk名称 5.修改环境变量：进入3的目录下vim ~/.bashrc export JAVA_HOME=/usr/lib/java/jdk1.7.0_60export JR
一、 20.04 Ubuntu安装清华源ISO源https://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/20.04/ 下载链接https://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/20.04/ubuntu-20.04.5-desktop-amd64.iso下载Mobaxtermhttps://mo
计划２个月内能精通spark开发，今天起开始努力！１、环境准备 虚拟机采用visualbox,https://www.virtualbox.org 在上面搭建ubuntu server 集群，下载ubuntu server 光盘镜像，http://www.ubuntu.com/download/server 在visualbox上安装 ubuntu ser
这部分当初踩了很多坑，花了快一天的时间才成功配置，希望写出来能够帮到大家。
这个方法亲测没有问题，如果出现报错也建议大家积极百度寻找答案。
新建虚拟机环境避坑点：选择 raspberry-pi-desktop 下载系统镜像，文件名是2021-01-11-raspios-buster-i386.iso，此版本raspberry是基于debian 10开发的，是目前VM所支持的最高版
转载
2023-08-12 15:56:14
145阅读
# Docker 模拟虚拟机
在软件开发和运维领域，虚拟化技术被广泛应用于创建和管理多个独立的虚拟环境。传统的虚拟机技术可以创建完整的操作系统实例，但是由于资源消耗较大，启动和停止时间较长。而 Docker 是一种轻量级的虚拟化技术，它通过容器化的方式实现应用程序的隔离，提供了快速启动和高效利用资源的优势。
## Docker 简介
Docker 是一个开源的容器化平台，通过使用容器化技术，
在计算机虚拟化领域中，对设备进行模拟是虚拟化实现的基础。设备的模拟主要包括一下三个方面：设备状态的记录；设备的运行逻辑的模拟，包括不同状态之间的转换关系，状态转换时对其他设备的影响（没有的话当然最好）；设备跟外界的交互接口，主要是各种总线接口或者I/O地址接口。说白了其实就是复杂一点的状态机。实现设备模拟可有两种方式，即纯软件模拟和硬件辅助的方式。纯软件模拟的方式即借助第三方软件的运行，对设备的状
