写这篇文章前,不得不先吐吐槽。
由于很长时间没碰hadoop,加之之前都是在Linux下玩的,今天手贱,想在Windows下玩玩儿(主要开发机器太烂,起虚拟机都让我呵呵了),结果走了不上弯路。
绕弯子的地方在这里我就不一一坑大家了,发现很多选手转的文章就是只知其一,不知其二,转完文章很不负责的丢在博客上就不管了,在此强烈谴责一下。废话不多说,现在开始把注意事项罗列一下:
一 关于项目下载
这里分两部分,1是直接引用hadoop的jar包,在项目里,用到了啥调啥;2是下载tar.gz格式的项目源码。目前稳定版本2.7.x,但是官方推荐2.5.x,各位用的时候可能东西都变了,但是大体思路就是这个样子的。
二 关于项目生成
我这里是用maven构建的,在这里不说明这是个啥或者怎么用了,这个东东真的毛毛草草很多零碎的东西,但是真心不错。好了,跑题了。
在src中找到hadoop-maven-plugins文件夹,切记,是文件夹,不是XXX工具插件!!!
1)直接该路径下敲cmd,然后构建就可以了。
2)然后敲mvn eclipse:eclipse -DskipTests 命令,敲完下载完毕直接就可以引用了。
当然,需要什么项目,构建什么项目,这里根据官方文档和实际需求来整就可以了。
三 关于hadoop结构
图 hadoop结构
四 关于protocol buffer
当按照官方的windows说明文档继续进行的时候,我们的maven估计会报错:
Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.5.2:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version
这是说明我们环境中缺少protocol buffer,由于该项目是google的,作为一个大陆仔,后背起了一身冷汗,一下省略一万字……
忙活一大顿,心中万千草泥马滚滚而过……烟尘散去,找到了这个网址:https://github.com/google/protobuf/releases
在这里把需要的版本下载下来。由于现在官方推荐的是2.5,这里可以按照推荐下载就可以了,毕竟可以少跑一些冤枉路。