自从spark正式亮相后，其官网上就公开声称其计算速度比hadoop要快10到100倍。我看了后总觉得其存在很大的炒作成份，不太相信。正好单位目前在做一个大数据的项目，于是就借机实实在在的对二者的计算速度进行了比较。正如一句北京土话：是骡子是马，拉出来遛遛。实验过程记录如下。
转载
2023-07-14 19:26:13
69阅读
大数据平台搭建（hadoop+spark） 一.基本信息 1. 服务器基本信息 2. 软件基本信息 3.环境变量汇总 4. 基本环境配置（master、slave相同操作） 4.1 配置jdk 4.2 配置java环境变量 添加如下信息 4.3 刷新配置文件： 4.4 配置hosts 4.5 配置免
转载
2018-03-22 11:54:00
186阅读
一、Spark开发环境准备工作由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境 二、了解Spark的部署模式（一）Standalone模式Standalone模式被称为集群单机模式。该模式下，
整体介绍：本次是安装hadoop的伪分布式环境，在虚拟机上搭建4台机器，master、slave1、slave2、slave3。master作为namenode，slavex作为datanode1、准备工具 virtualbox centos7 xshell5
转载
2023-09-01 11:07:11
94阅读
因玩票需要，使用三台搭建spark(192.168.1.10,192.168.1.11,192.168.1.12)，又因spark构建在hadoop之上，那么就需要先搭建hadoop。历经一个两个下午，终于搭建完成，特记录如下。准备工作1. jdk已经安装。2. 文件下载 http://pan.baidu.com/s/1o6mydYi 包含scala，hadoop，spark3. ssh无
原创
2020-11-29 17:13:36
1565阅读
因玩票需要，使用三台搭建spark(192.168.1.10,192.168.1.11,192.168.1.12)，又因spark构建在hadoop之上，那么就需要先搭建hadoop。历经一个两个下午，终于搭建完成，特记录如下。
原创
2021-07-29 16:26:28
157阅读
实验目标 搭建一个Hadoop系统，包含分布式文件系统HDFS、分布式计算框架MapReduce。 实验原理 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上运行或重新运行。此外，Hadoop还提供了分布式文件系统，用以存储所有计算节点的数据，这为整个集群带来了非常高的带宽。MapReduce
转载
2023-07-31 17:27:00
122阅读
安装过程： 一、安装Linux操作系统 二、在Ubuntu下创建hadoop用户组和用户 三、在Ubuntu下安装JDK 四、修改机器名 五、安装ssh服务 六、建立ssh无密码登录本机 七、安装hadoop 八、在单机上运行hadoop一、安装Linux操作系统 我们是在windows中安装linux系统的，选择的是ubuntu11.10,介于有些朋友是第一次安装双系统，下面我就介绍一种简单
准备好相关环境主要是在集群电脑上安装好java JDK,设置好电脑主机名称，配置Ip地址，利用ssh进行电脑间的连接，并测试好网络连接可靠。搭建hadoop系统(sprak本身不依赖hadoop,这里我想把hadoop用起来)，同时可以预装python、pycharm这些可能用到的编程语言和开发环境。hadoop系统如何搭建可参考我之前的博文。安装spark至官网下载相应版本的spark安装文件
转载
2023-07-20 18:21:21
8阅读
一、Hadoop的简单介绍狭义上来说，hadoop就是单独指代hadoop这个软件，HDFS ：分布式文件系统MapReduce : 分布式计算系统Yarn：分布式样集群资源管理广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件二、Hadoop重新编译由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库本地库可以用来做压缩，以及支持C程序等等
转载
2023-09-21 22:47:55
100阅读
大数据研发（一）Hadoop平台搭建 搭建Hadoop平台：一般会有这样几个步骤下载安装包，解压安装包进行安装（平台参数文件配置）。当然，在安装Hadoop前需要安装可依赖的JDK。在篇我不会暗部就搬地讲安装过程，只会零星带过因为安装步骤实在是太多了，但是解析操作、安装背后东西的却很少。 在安装之前，我相对建议大家对集群的ip地
转载
2023-10-03 11:44:30
138阅读
搭建Hadoop平台1. 安装了centos7的虚拟机
2. 在centos7上安装JDK
1. 解压缩
2. 配置环境变量(/etc/profile:->PATH)
3. 关闭防火墙
4. 配置主机的hosts文件，将本机的ip和主机名添加到文件中 192.168.56.101 master
5. 安装Hadoop
1. 获取安装文件 had
转载
2023-07-06 18:32:28
0阅读
关于大数据，一看就懂，一懂就懵。一、概述 本文介绍如何搭建hadoop分布式集群环境，前面文章已经介绍了如何搭建hadoop单机环境和伪分布式环境，如需要，请参看：大数据Hadoop学习之搭建hadoop平台（2.1）。hadoop独立环境和伪分布式环境都无法发挥hadoop的价值，若想利用hadoop进行一些有价值的工作，必须搭建hadoop分布式集群环境。 下文以三台虚拟机为基础搭建集群环
转载
2023-07-18 17:27:14
79阅读
当被问到为什么Spark比Hadoop快时候，得到的答案往往是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。 事实上，不光Spark是内存计算，Hadoop其实也是内存计算。Spark和Hadoop的根本差异是多个任务之间的数据通信问题：Spark多个任务之间数据通信是基于内存，而Hadoop是基于磁盘。1、Spark vs MapReduce ≠ 内
转载
2023-09-20 17:23:39
48阅读
文章目录前言一、集群环境的下载及其配置1.下载hadoop2.配置 hadoop 环境变量配置hadoop 核心环境配置 core-site.xml配置 hdfs-site.xml配置 mapred-site.xml配置 yarn-site.xml配置 workers禁用防火墙二、克隆虚拟机及其相应设置1. 克隆虚拟机2.配置 ssh 免密登陆三、hadoop的启动格式化 HDFS（只需在第一次启
转载
2023-11-20 00:19:25
209阅读
**Spark平台搭建**
作为一位经验丰富的开发者，搭建Spark平台是一项基本的技能。让我们来帮助一位刚入行的小白实现这个目标。首先，让我们简单介绍一下整个流程：
| 步骤 | 操作 |
|:----:|:-------------------------------:|
| 1 | 下载Spark软件包
原创
2024-04-23 17:08:11
103阅读
# Hadoop 平台搭建教程
## 引言
Hadoop 是一个开源的分布式数据处理平台，可以处理大规模数据集。它的主要特点是可靠性、高效性和可扩展性。本教程将指导你如何搭建 Hadoop 平台。作为一名经验丰富的开发者，我将为你提供详细的步骤和相应的代码示例。让我们开始吧！
## 整体流程
下表展示了搭建 Hadoop 平台的整体流程。我们将按照这些步骤进行操作。
| 步骤 | 操作 |
原创
2023-09-10 05:49:53
49阅读
1、环境说明部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2023-08-12 20:14:57
72阅读
云计算入门——搭建hadoop平台云计算这个词在之前就听说过，最早听说这个词的时候第一感觉是好高端，第二感觉是估计很枯燥需要很高深的算法。因此最早对他是没什么兴趣的。最近读了许多关于IT方面的书，才发现云计算根本不是我想象的那样，云
转载
2023-07-21 13:56:32
51阅读
一、Hadoop集群环境搭建配置1、前言Hadoop的搭建分为三种形式：单机模式、伪分布模式、完全分布模式，只要掌握了完全分布模式，也就是集群模式的搭建，剩下的两种模式自然而然就会用了，一般前两种模式一般用在开发或测试环境下，Hadoop最大的优势就是分布式集群计算，所以在生产环境下都是搭建的最后一种模式：完全分布模式。2、硬件选择须知：分布式环境中一个服务器就是一个节点节点越多带来的是集群性能的
转载
2023-09-14 14:48:39
620阅读
