我们打算在linux(centos)上安装eclipse,并配置好mapreduce程序开发环境。

第一步:下载并安装eclipse(前提是已经安装好JDK)

在linux系统中打开浏览器,输入网址:http://archive.eclipse.org/eclipse/downloads/我们选择3.7.2版本。

linux上安装eclipse并配置mapreduce程序开发环境_配置

linux上安装eclipse并配置mapreduce程序开发环境_ 安装eclipse_02


下载下来后,文件存在于:

[liuqingjie@master Downloads]$ ll

total 178052

-rw-rw-r--. 1 liuqingjie liuqingjie 182321299 May 13 05:16 eclipse-SDK-3.7.2-linux-gtk.tar.gz

复制到主目录并解压

[liuqingjie@master Downloads]$ cp eclipse-SDK-3.7.2-linux-gtk.tar.gz /home/liuqingjie/

[liuqingjie@master ~]$ tar -zxvf eclipse-SDK-3.7.2-linux-gtk.tar.gz

启动eclipse (前提是进入图形界面 ):

[liuqingjie@master ~]$ cd eclipse

[liuqingjie@master eclipse]$ ./eclipse 


第二步:配置mapreduce程序开发环境

 1.将hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin目录下)复制到eclipse/plugins目录下,并重启eclipse。

2.配置Hadoop安装目录(目的:在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入)

window->preference

linux上安装eclipse并配置mapreduce程序开发环境_linux_03

2.打开mapreduce视图

window->open perspective->other,选择Map/Reduce,图标是蓝色的大象:linux上安装eclipse并配置mapreduce程序开发环境_ 安装eclipse_04

3.添加一个mapreduce环境

在eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”,如图所示:

linux上安装eclipse并配置mapreduce程序开发环境_ 安装eclipse_05

在弹出的对话框中填写如下内容:

Location name(随便取个名字)
Map/Reduce Master(Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写)
DFS Master(Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写)

linux上安装eclipse并配置mapreduce程序开发环境_配置_06

4.使用eclipse对hdfs操作

经过上一步骤,左侧“Project Explorer”中应该会出现配置好的HDFS,点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。

注意:每一次操作完在eclipse中不能马上显示变化,必须得刷新一下。

linux上安装eclipse并配置mapreduce程序开发环境_配置_07 

5.创建mapreduce工程

1)File -> New -> Project 选择“Map/Reduce Project”,然后输入项目名称,创建项目。

2)编写mapreduce程序

3)配置运行参数

Run Configrations,选择mapreduce程序,在Arguments中配置运行参数:hdfs输入和输出目录配置以及eclipse运行堆内存配置。

linux上安装eclipse并配置mapreduce程序开发环境_配置_08

4)运行

控制台会输出相关的运行信息。注意:运行之前确保hdfs系统中没有输出目录。