使用的是CDH3u4的hadoop,和单独的hadoop差不多,但是参考网上的教程的时候遇到的问题还是很多的,所以就记录下来。
1.添加工程
在Eclipse中Import导入已有的工程目录:\src\contrib\eclipse-plugin\
2.添加build-contrib.xml
直接把\src\contrib\build-contrib.xml拖到工程中就可以了,注意选择复制的添加方式。
3.修改build-contrib.xml
这里是重头戏。
找到<property name="hadoop.root" location="${root}/../../../"/>修改location为hadoop的实际解压目录,在其下添加
property name="eclipse.home" location="你的Eclipse安装目录"/>
<property name="version" value="Hadoop安装版本"/>
例如
<property name="eclipse.home" location="D:/Eclipse"/>
<property name="version" value="0.20.2-cdh3u4"/>
具体位置需要改为你的,注意location里的斜杠方向。CDH3版本号多了个后缀,要么直接加上cdh3u4,要么不加但是把所有用到的有version的jar包都去掉cdh3u4,显然前一种方法比较方便。
4.修改build.xml
找到<import file="../build-contrib.xml"/>,改为<import file="build-contrib.xml"/>
添加hadoop-core的jar包,这个问题足足困扰了两天。
找到<path id="classpath">,在下面添加 <pathelement location="${hadoop.root}/hadoop-core-0.20.2-cdh3u4.jar"/>
这个文件的位置变了,直接用复制过来的。
5.复制一些文件
hadoop-core-0.20.2-cdh3u4.jar 到 \build\hadoop-core-0.20.2-cdh3u4.jar;\lib\commons-cli-1.2.jar到\build\ivy\lib\Hadoop\common\commons-cli-1.2.jar,如果上述目录没有则新建一下。
6.编译
在build.xml上右击run,选择Ant Run就可以了。
7.继续修改jar文件
在eclipse里面添加了文件之后,添加远程HDFS后双击时会出现一个错误提示(不影响正常使用)
An internal error occurred during: "Map/Reduce location status updater".
org/codehaus/jackson/map/JsonMappingException
An internal error occurred during: "Map/Reduce location status updater".
org/codehaus/jackson/JsonProcessingException
其中第二个是在部分改正了第一个问题后才会出现的,原因都一样,编译出来的jar包里面没有包含jackson-core-asl-1.5.2.jar和jackson-mapper-asl-1.5.2.jar包,打开这两个包,然后把里面的org文件夹都复制到hadoop-core-0.20.2-cdh3u4.jar中的class文件夹中,就能解决。
然后打开DFS Location后又会有错误
An internal error occurred during: "Connecting to DFS Hadoop0".
org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap
解决方法也一样,把guava-r09-jarjar.jar中的org文件夹也添加到hadoop-core-0.20.2-cdh3u4.jar中去。
此外网上说需要修改源代码,但是我实际比较了下,在cdh3u4里面已经改过了,另外也有要求对编译生成的jar包添加部分lib实现登陆功能,但也是对以前版本的,我这个版本并不需要。具体可以根据运行插件时的错误来添加相应的包,跟上面一样。
大家也可以去https://code.google.com/p/hadoop-eclipse-plugin/downloads/list下载别人编译好的文件,我也是通过和这里面的代码进行比较后才发现不需要添加lib的
这次整个过程的主要的问题是对ant的使用缺乏了解,以为和Eclipse的一些classpath是通用的,所以明明在eclipse里面添加了对应的jar包,但是仍然提示无法找到,浪费了好几天时间……
ant是基于xml的,所以改配置还是比较方便,只要知道classpath是用了哪几个参数就可以了。
截图就没高兴截,个人感觉光看这些叙述应该够了。
部分参考的内容:
在eclipse中配置hadoop插件
hadoop cdh3u3 eclipse插件编译
hadoop-eclipse-plugin-for-cdh3-u3
http://blog.thisisfeifan.com/2012/04/hadoop-eclipse-plugin-for-cdh3-u3.html