1.jdk环境配置

1.1 下载一个1.8版本的jdk(如果系统自带1.8版本的话 可以忽略这一条)

我提供一个官网的版本 也是我确定可以用的版本:https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html




idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接oracle


因为我所学的Hadoop只能在jdk 1.8环境下跑,进行远程连接如果jdk版本过高的话是无法成功的,所以要求ide的jdk版本与Hadoop一致 选择1.8

可以通过终端指令查看本机上的jdk版本


在terminal输入 ls /Library/Java/JavaVirtualMachines/


idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接hadoop 插件_02

因为Mac系统是可以多jdk的 所以只需要下载 不需要删除原先的jdk


2.intelllij idea配置指定jdk


idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接hadoop 插件_03

File-Product Structure

2.1 添加指定SDK


idea 连接hadoop 插件 idea怎么连接hadoop_ide_04


idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接oracle_05


2.2 project 下的project SDK,是否为项目需要的jdk 并且language level不能比jdk版本高


idea 连接hadoop 插件 idea怎么连接hadoop_ide_06


3.新建项目

以下步骤参考链接:https://github.com/Philogag/blogs/blob/master/IDEA%20Hadoop%20开发环境构建.md

3.1回到最开始的界面 create a project


idea 连接hadoop 插件 idea怎么连接hadoop_hadoop_07


idea 连接hadoop 插件 idea怎么连接hadoop_ide_08

(步骤4可做可不做 最好修改 另外 需要记住location 稍后会用到)

location可以自己写 找得到即可 但是最好这样子写 例如name:aaa location: ~/xxxxxxx/aaa

4.构建远程连接的环境

(先解压hadoop-2.7.1.tar.gz 可以跳过4.1直接到4.2)

4.1 复制粘贴


idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接oracle_09


将已经解压好的hadoop-2.7.1文件夹打开 里面的文件复制一下 然后到刚才新创建的maven项目中 可以点击桌面任意空白处,出现如下情况的时候,快捷键 command+alt(键盘上的⬆️+g) 然后输入刚才创建项目时候的location 打开新创建的文件夹


idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接oracle_10


4.2 导入依赖包

打开intellij idea file下面的project structure 在2.里面做过


idea 连接hadoop 插件 idea怎么连接hadoop_Hadoop_11


idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接oracle_12


idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接hadoop 插件_13


如果跳过了4.1的复制粘贴的话,这一步是到解压后的hadoop-2.7.1的目录下 hadoop-2.7.1 --> share --> hadoop 将hadoop目录下的所有文件夹依次导入 点击apply

4.3 额外导入 ./common/lib文件夹 跳过了4.1的可以在 hadoop-2.7.1 --> share --> hadoop --> common 下将整个lib文件夹导入


idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接hadoop 插件_14


4.4 进行代码的开发(src目录下才能new 一个 java class)


(远程连接需要将Hadoop启动:打开虚拟机 输入 start-all.sh 输入jps后应有五个进程)


idea 连接hadoop 插件 idea怎么连接hadoop_hadoop_15


5.编译配置

File --> project structure


idea 连接hadoop 插件 idea怎么连接hadoop_Hadoop_16


6.检验及一些说明

intellij idea输出的结果:


idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接hadoop 插件_17


Hadoop的根目录下的内容:


idea 连接hadoop 插件 idea怎么连接hadoop_hadoop_18


两者一致 连接成功

代码如下:


public


如果出现红字 双击会自动导入 或者输入的时候手动选择org.apache.hadoop的


idea 连接hadoop 插件 idea怎么连接hadoop_idea 连接hadoop 插件_19


这个代码是用来输出Hadoop的根目录下面的文件与文件夹的


在Linux系统上输入指令 
hadoop fs -ls / 
如果没有内容的话 idea会返回compile over 
有内容的话idea会返回 compile over + hadoop根目录下的内容