最近搭建了hadoop2.5的集群，在这里分享一下希望能帮助到初学者，也为自己做下笔记。（一年前安装过hadoop0.23的集群，现在都不记得了）
[b]一、环境：[/b]
1、JDK1.7
2、Hadoop2.5.2
3、VMware8.5
4、CentOs6.4 32为
下载地址：[url]http://pan.baidu.com/s/1q
转载
2024-01-04 09:21:20
60阅读
文章目录一、安装准备工作二、安装1、修改主机名和hosts2.关闭防火墙3、安装包解压4.配置环境变量5、修改Hadoop配置6、同步slave1节点和slave2节点三、启动准备四、启动访问 一、安装准备工作1、虚拟机准备（centos7）master : 192.168.220.134
slave1 : 192.168.220.135
slave2 : 192.168.220.1362、安装
转载
2023-08-10 11:54:50
83阅读
按以下步骤配置Hadoop-2.xx 集群。
一安装单台虚拟机安装VMware安装ubuntu安装jdk安装hadoop修改hadoop配置文件参数建立公共文件夹二集群配置-网络和机器名克隆虚拟机修改网络修改主机名修改hosts三集群配置-安装和配置SSH 无密码登录安装ssh 服务三台机器都做配置ssh四集群配置-格式化HDFS 文件系统修改slaves格式化hdfs五集群测试启动hdfs启
转载
2023-12-10 10:41:12
43阅读
Hadoop介绍： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。安装三台虚拟设备 在里面我建议大家选择性能稳定的合适的linux版本进行安装，一般要进行初级学习的话，暂时三台虚拟机就够学习使用了。网络ip设置 首先，选择虚拟机为net模式，看准当前网关和虚拟机能分配的网段。
转载
2023-08-21 10:35:01
80阅读
hadoop vmwarecentos安装hadoop教程，以及个人的简单笔记http://note.youdao.com/share/?id=9d81cf075c81d06972e38c3b0588451b&type=note
原创
2015-09-25 17:14:25
906阅读
文章目录一、Vmware二、创建虚拟机1.安装centos72.配置静态IP、修改主机名3.将刚刚的c0虚拟机克隆三台出来4.在四台机子上设置hosts，一下以c0为例5.配置 SSH 免密码登录登录6.关闭防火墙7.安装 NTP三、安装程序1.创建安装目录2.下载本文中用到的程序3.设置环境变量4.安装 Oracle JDK 1.8.0 一、VmwareVMware虚拟机下载安装：最新超详细V
转载
2024-01-02 11:00:45
196阅读
一、hadoop的安装hadoop安装的三种形式：单机模式伪分布式基于yarn的完全分布式模式安装前的准备： 一个纯净版的centos7 虚拟机，配置好静态ip，主机名，主机映射配置静态ip：vi /etc/sysconfig/network-scripts/ifcfg-ens33 配置完成后重新启动network：systemctl restart network 修改主机名：vi /etc/h
转载
2023-10-15 14:32:35
57阅读
目录一、新建虚拟机：二、连接XSHell三、修改主机名称和网络名称四、关闭防火墙五、关闭selinux六、jdk的安装与卸载七、hadoop的安装八、克隆九、配置slave1和slave2十、ssh免密登录十一、格式化节点十二、启动hadoop集群一、新建虚拟机：参考教程：静态IP设置：masterip：192.168.100.10网关：192.168.100.2子网掩码：255.255.255.
转载
2023-10-09 13:40:13
212阅读
单位有一套曙光集群，80多个节点，安装的SUSE10.2，系统比较老，官网有些补丁要授权，安全漏洞多，决定来次整体系统升级，全部换成CentOS6.3。1.一台台的换？会死人，就算安装minimal，也需要20来分钟一台，装还要得配IP，HOSTNAME之类。2.使用kickstart做了个光盘镜像，百度一下很多结果，不做介绍了，试验了一下，相较1，可节约约5分钟。但还是和一台台装，而且要刻盘。3
转载
2024-01-15 22:28:12
4阅读
hadoop集群安装安装环境服务部署规划服务器IPnode01node02node03HDFSNameNodeHDFSSecondaryNameNodeHDFSDataNodeDataNodeDataNodeYARNResourceManagerYARNNodeManagerNodeManagerNodeManager历史日志服务器JobHistoryServer下载安装包，并解压下载目前hado
转载
2021-03-08 18:55:47
314阅读
2评论
workers文件里面记录的是集群主机名。hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有点所设定的机器上执行。
原创
2024-05-16 15:27:32
36阅读
1.Haoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop（HDFS hadoop分布式文件系统）和Map Reduce（谷歌Reduce）为核心的Hadoop为用户提供系统底层细节透明的分布式基础架构。 Hadoop集群，可以分为两大角色。Master And &
原创
2014-10-29 17:39:43
729阅读
Step8:NameNode format（格式化操作）首次启动HDFS时，必须对其进行格式化操作。format本质上是初始化工作，进行HDFS清理和准备工作命令：hdfs namenode -formatHadoop集群启动关闭-手动逐个进程启停每台机器上每次手动启动关闭一个角色进程HDFS集群hdfs --daemon start namenode|datanode|secondarynamenodehdfs --daemon stop namenode|datano
原创
2022-03-15 15:25:59
196阅读
Step8:NameNode format（格式化操作）首次启动HDFS时，必须对其进行格式化操作。format本质上是初始化工作，进行HDFS清理和准备工作命令：hdfs namenode -formatHadoop集群启动关闭-手动逐个进程启停每台机器上每次手动启动关闭一个角色进程HDFS集群hdfs --daemon start namenode|datanode|secondarynamenodehdfs --daemon stop namenode|datano
原创
2021-05-20 10:28:26
176阅读
Hadoop之安装hdfs集群Hadoop之虚拟机创建与安装(1)Hadoop之集群创建与配置(2)Hadoop之linux服务器的基础软件环境配置(3)安装hadoop上传hadoop安装包到hdp-01解压hadoop-3.0.3.tar.gz删除doc文件夹--非必要修改配置文件远程拷贝hadoop安装目录到其他机器配置环境变量启动HDFS初始化namenode的元数据目录启动nameno
转载
2023-09-14 13:57:21
162阅读
粗略算算，从上周五到这周二，折腾Hadoop已经三天了。这三天我是过得诚惶诚恐，作为一个学徒，老大虽然没有说啥，但是我恨不得立马完成这些基本的部署工作，感觉拖了好久好久。简单的总结一下，第一天折腾Hadoop单机和伪分布式的安装，第二天在折腾Hive的安装，以失败告终，第三天折腾HBase的集群安装，在主节点上安装成功。分布式实时日志系统（四） 环境搭建之centos 6.4下hbase 1.0.
转载
2023-07-13 14:20:59
78阅读
莫思身外无穷事，且尽生前有限杯。 ——杜甫《绝句漫兴九首》系列文章目录Hadoop集群搭建之Linux系统安装Hadoop集群搭建之Hadoop组件安装 文章目录系列文章目录前言一、CentOS下载安装二、VMware下载安装三、利用虚拟机搭建Linux系统总结 前言记录Hadoop集群搭建的具体过程，分享我遇到的坑，如有错误，请各位小伙伴指正，持续更新中。一、CentOS下载安装在官网下载镜像，
转载
2023-09-14 13:57:49
40阅读
大家好，今天讲解的是Hadoop安装步骤，内容下：一、前期准备 1、必须要有三台Linux（小编使用的是ubuntu14.04server版，大家也可以使用别的Linux，但三台电脑必须是统一的Linux版本，ubuntu14.04server下载地址[http://releases.ubuntu.com/?_ga=1.129027977.446445887.1487857185]）。 2、小
转载
2023-07-12 15:52:17
97阅读
通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.h
转载
精选
2014-07-05 17:35:02
357阅读
集群规划
node01
node02
node03
角色
主节点
从节点
从节点
NameNode
√
DataNode
√
√
√
ResourceManager
√
NodeManager
√
√
√
SecondaryNameNode
√
Historyserver
√
上传安装包到node01
解压到指定目录
tar -zxv
原创
2024-05-06 14:36:59
44阅读
