1.现在的虚拟机集合192.168.137.2 node1192.168.137.3 node2192.168.137.4 node3192.168.137.5 node42.配置ssh免密码登录在no
原创
2022-12-02 00:43:25
115阅读
说明：转载我同事关于hadoop的文章，给大家分享下~地址：http://gao-xianglong.iteye.com/blog/2189773《Hadoop2.5.2集群安装》 1、环境介绍操作系统：CentOS X64物理机器：192.168.1.224(Master)、192.168.1.226(Slave1)、192.168.1.226(Slave2)JDK版本：J
转载
精选
2015-03-07 11:17:25
788阅读
今天看了下hadoop官网，2.5.2版本已经发布
原创
2022-10-28 06:42:13
82阅读
一、Hadoop的运行模式单机模式（standalone）
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapRedu
原创
2021-07-06 17:14:57
230阅读
一、Hadoop的运行模式单机模式（standalone） 单
原创
2022-03-16 17:38:12
54阅读
最近在搞hadoop，所以编译hadoop-eclipse插件是少不了的 ！先说下我的编译环境：hadoop: hadoop-2.5.2OS：CentOS6.5 64位（VMWare虚拟机）eclipse: eclipse-jee-luna-SR1-linux-gtk-x86_64.tar.gz
1、下载源码
https://github.com/winghc/hadoop2x-eclipse-
原创
2016-05-31 01:10:19
1231阅读
最近在搞hadoop，所以编译hadoop-eclipse插件是少不了的 ！先说下我的编译环境：hadoop: hadoop-2.5.2OS：CentOS6.5 位（VMWare虚拟机）eclipse: eclipse-jee-luna-SR1-linux-gtk-x86_.tar.gz1、下载源码https://github.com/winghc/hadoop2x
原创
2022-04-18 11:49:26
98阅读
Hadoop也可以运行在一个伪分布模式，每个Hadoop守护进程运行在一个单独的Java程序的一个节点。伪分布模式需要在单机模式基础上进行配置。在/software/hadoop/etc/hadoop/ 目录下
core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml等文件。
下面对以上文件进行配置。一、etc/hadoop/core-s
原创
2021-07-06 17:14:56
172阅读
Hadoop安装步骤一、准备工作二、具体步骤（一）解压（二）更改权限（三）Hadoop配置hadoop-env.shcore-site.xmlhdfs-site.xml（四）yarn配置1.配置mapred-site.xml2.配置yarn-site.xml3.启动yarn（五）环境变量配置（六）启动\关闭 服务（七）服务启动时输入密码优化（八）HDFS测试 前言：下文中的IP地址、文件路
转载
2023-08-03 21:02:09
134阅读
总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。 1、环境，3台CentOS6.5，64位，Hadoop2.7.3需要64位Linux，操作系统十几分钟就可以安装完成， Master 192.168.0.182 Slave1 192.168.0.183 Slave2 192.168.0.184 2
## 安装Hadoop Spark的步骤
安装Hadoop Spark可以帮助你进行大数据处理和分析。下面是整个安装过程的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1. | 下载并安装Hadoop |
| 2. | 配置Hadoop环境变量 |
| 3. | 下载并安装Spark
原创
2023-08-16 16:17:20
45阅读
Spark其实是Hadoop生态圈的一部分，需要用到Hadoop的HDFS、YARN等组件。为了方便我们的使用，Spark官方已经为我们将Hadoop与scala组件集成到spark里的安装包，解压开箱即可使用，给我们提供了很大的方便。如果我们只是本地学习的spark，又不想搭建复杂的hadoop集群，就可以使用该安装包。spark-3.2.0-bin-hadoop3.2-scala2.13.tg
转载
2023-07-18 22:36:13
746阅读
Hadoop系列——Hadoop集群安装day2-1Hadoop系列——Hadoop集群安装day2-1集群角色规划准备工作1.克隆centos准备三台机器2.更改三台主机名3.更改主机映射3.1获取ip地址3.2添加映射4.关闭防火墙5.同步机器时间6.安装Java7.免密登录8.上传并解压压缩包9.配置文件9.1配置JDK路径9.2设置用户以执行对应角色的shell命令完整配置10.编辑ha
转载
2023-07-21 13:50:48
179阅读
最近学习了下hadoop的安装。下面详细说明下步骤一、环境我的是在Linux环境下进行安装的。对于想在windows系统上学习的同学，可以采用虚拟机方式或通过cygwin模拟linux环境方式进行学习。现在有三台服务器，分配如下：10.0.1.100 NameNode10.0.1.201 DataNode110.0.1.202 DataNode2NameNode(主服务器)可以看作是分布式文件系统
转载
精选
2015-01-22 10:09:40
390阅读
Hadoop也可以运行在一个伪分布模式，每个Hadooetc/hadoop/core-s
原创
2022-03-16 17:38:22
67阅读
之前就听说过这玩意，花点时间安装了一下，现在分享给大家。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学
转载
2024-05-30 00:17:37
49阅读
Hadoop运行环境搭建重来3遍是正常的，这篇针对的是怎么也无法修改为目标ip地址的情况。1.安装VMware，文章末尾有链接，没什么需要注意的，也可以跟着视频安装2.CentOS ，文章末尾有链接，从这里开始跟着视频，涉及到输入密码的统一设置为一个密码000000。3.VMware的配置1.打开虚拟网络编辑器： 2.按照绿色标记的顺序，点击。 3.更改子网，打开NAT设置 4.更改网
转载
2023-07-24 10:44:21
78阅读
Hadoop的安装与配置在Linux上安装与配置Hadoop Hadoop的下载地址为http://hadoop.apache.org/releases.html 在安装之前，需要先安装两个程序： 1）JDK。Hadoop是用Java编写的程序，Hadoop的编译及MapReduce的运行都需要使用JDK。
转载
2023-07-12 10:57:21
51阅读
1.Spark and Hadoop在 Spark 出现之前，我们并没有对 MapReduce 的执行速度不满，我们觉得大数据嘛、分布式计算嘛，这样的速度也还可以啦。至于编程复杂度也是一样，一方面 Hive、Mahout 这些工具将常用的 MapReduce 编程封装起来了；另一方面，MapReduce 已经将分布式编程极大地简化了，当时人们并没有太多不满。真实的情况是，人们在 Spark 出现之
转载
2024-03-05 21:18:05
39阅读
Spark安装详解Spark的详情Spark的安装详解Spark Local的安装Spark Standalone模式Spark On YARN模式Spark HA模式Spark的详情Spark的简绍Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。为什么使用SparkSpark在存储器内运行程序的运算速度能做到比Had
原创
精选
2021-08-03 10:06:50
1215阅读
