1. 一定要选择稳定版,这样会不容易被一些可能是bug的问题搞的头昏脑涨。
教训1:第一次安装部署用了最新的0.18,首次配置用ip对文件系统的default进行设置,系统正常启动。但是运行程序出现reduce卡死,而且容易挂掉。看了一些帖子,说是用ip就会出现这样的问题。最后放弃ip,配置机器名hostname,出现slave无法连接master的情况。最后退回0.17.2.1的稳定版,一切正常。[当时一怒之下我是把0.16版后的所有版本全部下载下来了。小样,我就不信没有一个版本搞不定,还有hbase的所有历史版本 n_n ]
对于上面这个问题,折腾了我将近2个星期(估计是我比较笨吧),也发邮件问了hadoop用户列表的人。最后才收到一个apache的steve同学的回复,提醒我通过nslookup看看我的机器ip能不能正确映射,貌似是一个正确的方法。但是我在master上配置dns时,又出现了奇怪的错误,我的配置应该没有任何问题(在其他同事的机器上配置可以正常运行),但是就是没有办法解析到我定义的zone... ...再次崩溃... ...
教训2: ssh的配置。ssh的配置在官方教程里基本没有提,如果直接按照quick start的指引去做,没有看一些其他的资料的话,问题多多。主要的问题就是master启动后无法通过ssh启动slaves的机器。出现密码输入提示后,正确输入密码仍然无法启动slaves。
2. hadoop容易出现单点错误,因为一旦master崩溃,整个集群就会瘫痪。当前的hadoop提供了一个secondarynamenode的节点,据一些邮件讨论中介绍的情况,这个节点和运行中的master还是没有实现热切换,这里使得我们在进行产品应用的时候需要特别注意。
3. slaves上的配置只需要维护一份hadoop-site.xml即可,其他的文件如masters,slaves是不需要维护的。
4. 每个slave和master之间,必须要在hosts文件中通过机器名互相能找到,master需要保存所有slaves的hostname和ip映射,slave中的hosts则只要保存master和自己的ip映射即可。
5. 在进行大规模集群部署管理时,最好通过一些自动化/半自动化的工具,如samrtfrog,capistrano等,这样就不用一台一台机器去修改了。希望下次可以写一篇smartfrog的用法小结。
6. ibm开发的mapreduce插件(eclipse)还是挺好用的,可以尝试应用。
7. hadoop中提供的示例,可能wordcount是最容易成功执行和修改的了。cluster架设起来后,应该第一时间通过这个程序对系统进行一些初步的验证。
centos安装hadoop时ip hadoop安装问题
转载本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
Hadoop安装出现Javahome hadoop安装问题
Hadoop安装与维护Table of Contents1. 系统环境... 21.1. 软件版本... 21.2. 网络配置... 22.&nbs
Hadoop安装出现Javahome hadoop oracle zookeeper -
java工厂模式坏处
一、工厂模式主要是为创建对象提供过渡接口,以便将创建对象的具体过程屏蔽隔离起来,达到提高灵活性的目的。设计模式的原则:针对借口编程工厂模式的作用: A.应用程序的设计中把对象的的创建集中在一个地方创建或者统一由某类来管理(spring)  
java工厂模式坏处 java 设计模式 简单工厂模式 工厂方法模式