今天看了下hadoop官网，2.5.2版本已经发布
原创
2022-10-28 06:42:13
82阅读
1.现在的虚拟机集合192.168.137.2 node1192.168.137.3 node2192.168.137.4 node3192.168.137.5 node42.配置ssh免密码登录在no
原创
2022-12-02 00:43:25
115阅读
说明：转载我同事关于hadoop的文章，给大家分享下~地址：http://gao-xianglong.iteye.com/blog/2189773《Hadoop2.5.2集群安装》 1、环境介绍操作系统：CentOS X64物理机器：192.168.1.224(Master)、192.168.1.226(Slave1)、192.168.1.226(Slave2)JDK版本：J
转载
精选
2015-03-07 11:17:25
788阅读
一、Hadoop的运行模式单机模式（standalone）
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapRedu
原创
2021-07-06 17:14:57
230阅读
一、Hadoop的运行模式单机模式（standalone） 单
原创
2022-03-16 17:38:12
51阅读
Hadoop也可以运行在一个伪分布模式，每个Hadoop守护进程运行在一个单独的Java程序的一个节点。伪分布模式需要在单机模式基础上进行配置。在/software/hadoop/etc/hadoop/ 目录下
core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml等文件。
下面对以上文件进行配置。一、etc/hadoop/core-s
原创
2021-07-06 17:14:56
172阅读
Hadoop也可以运行在一个伪分布模式，每个Hadooetc/hadoop/core-s
原创
2022-03-16 17:38:22
67阅读
一、基础环境准备系统：(VMWare) CentOS-6.5-x86_64-bin-DVD1.isohadoop版本：hadoop-2.5.2jdk版本：jdk-7u72-linux-x64.tar.gz1.集群机器三台测试集群，一个master(liuyazhuang-01),两个slave(liuyazhuang-02,liuyazhuang-03)/etc/hosts
原创
2016-05-30 10:41:27
107阅读
一.概述1.1 hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图所示，便是hadoop1.0的架构图；1.2 hadoop2.0对had...
原创
精选
2023-04-25 01:00:56
539阅读
一.概述1.1 hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图所示，便是hadoop1.0的架构图下载地址 ；1.2 hadoop
原创
2016-05-07 10:40:25
527阅读
一、基础环境准备系统：(VMW
原创
2022-04-22 16:41:29
50阅读
在学习过程中，配置完HA进行验证：手动kill主namennode进程，但是备用namenode始终是standby状态，一直找不到原因，很是郁闷，还以为是hadoop版本跟老师将的不一样，进而需要不同的配置导致的。今天，终于找到问题原因了。记录如下，希望对遇到此问题的朋友有所帮助。解决办法：在备用namenode上查看 hadoop-grid-zkfc-server102.log日志，发现异常如
转载
2019-03-11 14:43:04
2888阅读
在上一篇《Hadoop之——Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)前期准备》一文中，我们讲解了基于HA搭建Hadoop集群环境的基础准备，并配置了SSH无密码登录，同时向大家简要的讲解了Hadoop的相关知识。那么现在我们就可以正式进行基于HA搭建Hadoop集群环境了。一、Hadoop（HA）集群的规划集群规划主机名IP
原创
2016-10-03 18:09:03
152阅读
在上一篇《Hadoop之——Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)前期准备》一文中，我们讲解了基于HA搭建Hadoop集群环境的基础准备，并配置了SSH无密码登录，同时向大家简要的讲解了Hadoop的相关知识。那么现在我们就可以正式进行基于HA搭建Hadoop集群环境了。一、Hadoop（HA）集群的规划集群规划主机名IP
原创
2022-04-22 17:11:14
141阅读
今天是十一长假的第三天，节前，很多朋友发来私信说，网上基于HA的Hadoop集群，动不动就是7、8台服务器，甚至是10几台服务器，自己的电脑Hold不住这么多虚拟机啊！有什么办法可以将服务器缩减为3台吗？今天，我就为大家带来一篇如何在3台CentOS 虚拟机上搭建基于HA的hadoop集群，首先让我们先来准备下服务器的基础环境和了解下Hadoop相关的名词，这篇文章中的内容是要求我们必须掌握的，那
原创
2016-10-03 13:13:28
94阅读
今天是十一长假的第三天，节前，很多朋友发来私信说，网上基于HA的Hadoop集群，动不动就是7、8台服务器，甚至是10几台服务器，自己的电脑Hold不住这么多虚拟机啊！有什么办法可以将服务器缩减为3台吗？今天，我就为大家带来一篇如何在3台CentOS 虚拟机上搭建基于HA的hadoop集群，首先让我们先来准备下服务器的基础环境和了解下Hadoop相关的名词，这篇文章中的内容是要求我们必须掌握的，那
原创
2022-04-22 17:11:16
483阅读
HA： High Available（高可用集群）本次安装的hadoop2.5.2是64bit的，如果需要请在我之前的博文中规划节点数：（仅考虑HDFS 的HA）HDFS的节点分配：两个NN 且分布在两台主机三个DN节点三个JN节点两个ZKFC节点（必须和NN放在一台主机上）三个ZookeeperMapreduce的节点：一个ResourceManager（替代1.x时的JobTracker）三个
原创
2016-06-04 22:20:19
1614阅读
最近在搞hadoop，所以编译hadoop-eclipse插件是少不了的 ！先说下我的编译环境：hadoop: hadoop-2.5.2OS：CentOS6.5 64位（VMWare虚拟机）eclipse: eclipse-jee-luna-SR1-linux-gtk-x86_64.tar.gz
1、下载源码
https://github.com/winghc/hadoop2x-eclipse-
原创
2016-05-31 01:10:19
1231阅读
最近在搞hadoop，所以编译hadoop-eclipse插件是少不了的 ！先说下我的编译环境：hadoop: hadoop-2.5.2OS：CentOS6.5 位（VMWare虚拟机）eclipse: eclipse-jee-luna-SR1-linux-gtk-x86_.tar.gz1、下载源码https://github.com/winghc/hadoop2x
原创
2022-04-18 11:49:26
98阅读
Eclipse同maven进口hadoop源代码1) 安装和配置maven环境变量M2_HOME: D:\profession\hadoop\apache-maven-3.3.3PATH: %M2_HOME%\bin;2) 验证：mvn –version3) 下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip
4) 将protoc-2.5.0
转载
2015-08-23 16:28:00
30阅读
2评论
