我们打算在linux(centos)上安装eclipse,并配置好mapreduce程序开发环境。
第一步:下载并安装eclipse(前提是已经安装好JDK)
在linux系统中打开浏览器,输入网址:http://archive.eclipse.org/eclipse/downloads/我们选择3.7.2版本。
下载下来后,文件存在于:
[liuqingjie@master Downloads]$ ll
total 178052
-rw-rw-r--. 1 liuqingjie liuqingjie 182321299 May 13 05:16 eclipse-SDK-3.7.2-linux-gtk.tar.gz
复制到主目录并解压
[liuqingjie@master Downloads]$ cp eclipse-SDK-3.7.2-linux-gtk.tar.gz /home/liuqingjie/
[liuqingjie@master ~]$ tar -zxvf eclipse-SDK-3.7.2-linux-gtk.tar.gz
启动eclipse (前提是进入图形界面 ):
[liuqingjie@master ~]$ cd eclipse
[liuqingjie@master eclipse]$ ./eclipse
第二步:配置mapreduce程序开发环境
1.将hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin目录下)复制到eclipse/plugins目录下,并重启eclipse。
2.配置Hadoop安装目录(目的:在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入)
window->preference
2.打开mapreduce视图
window->open perspective->other,选择Map/Reduce,图标是蓝色的大象:
3.添加一个mapreduce环境
在eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”,如图所示:
在弹出的对话框中填写如下内容:
Location name(随便取个名字)
Map/Reduce Master(Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写)
DFS Master(Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写)
4.使用eclipse对hdfs操作
经过上一步骤,左侧“Project Explorer”中应该会出现配置好的HDFS,点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。
注意:每一次操作完在eclipse中不能马上显示变化,必须得刷新一下。
5.创建mapreduce工程
1)File -> New -> Project 选择“Map/Reduce Project”,然后输入项目名称,创建项目。
2)编写mapreduce程序
3)配置运行参数
Run Configrations,选择mapreduce程序,在Arguments中配置运行参数:hdfs输入和输出目录配置以及eclipse运行堆内存配置。
4)运行
控制台会输出相关的运行信息。注意:运行之前确保hdfs系统中没有输出目录。