python hadoop 开发环境搭建 hadoop可以用python

先期准备：

java环境已安装

着手开始：

1、下载hadoop稳定版：http://hadoop.apache.org/->左边点Releases->点mirror site->http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->stable/->hadoop-2.9.0.tar.gz 点击即可下载。

2、解压并配置hadoop环境，新建HADOOP_HOME和修改PATH。

3、进入解压后目录的etc/hadoop/中，修改配置4个文件：

core-site.xml
fs.defaultFS
hdfs://localhost:9000
hdfs-site.xml
dfs.replication
1
dfs.namenode.name.dir
file:/hadoop/data/dfs/namenode
dfs.datanode.data.dir
file:/hadoop/data/dfs/datanode
dfs.http.address0.0.0.0:50070
mapred-site.xml
mapreduce.framework.name
yarn
yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
4、格式化nodename再启动hadoop：
启动windows命令行窗口，进入hadoop-2.9.0\bin目录，执行下面2条命令，先格式化namenode再启动hadoop。
bin/hadoop namenode -format
sbin/start-all.cmd

检查验证

使用jps命令查看

9568 ResourceManager

10676 Jps

9576 NodeManager

10316 NameNode

通过jps命令可以看到4个进程都拉起来了，到这里hadoop的安装启动已经完事了。接着我们可以用浏览器到localhost:8088看mapreduce任务，到localhost:50070->Utilites->Browse the file system看hdfs文件。如果重启hadoop无需再格式化namenode，只要stop-all.cmd再start-all.cmd就可以了。

管理界面：http://localhost:8088

mapreduceJob界面：http://localhost:50030(2.0+新端口是8088)

HDFS 文件系统界面：http://localhost:50070(3.0+新端口是9870)

运行例子(wordcount)

hdfs上新建文件夹：

hadoop fs -mkdir /hdfs_in

查看hdfs上的文件夹是否建立成功：

hadoop fs -ls /

上传txt文件：

hadoop fs -put ./* /hdfs_in
运行hadoop内置示例wordcount任务
hadoop jar E:\toolsoftware\hadoop-2.8.3\share\hadoop\mapreduce\hadoop-mapreduce-examples-*.jar wordcount /hdfs_in /hdfs_out
使用python运行wordcount任务(不加file参数也行)
hadoop jar E:\toolsoftware\hadoop-2.8.3\share\hadoop\tools\lib\hadoop-streaming-2.8.3.jar -D stream.non.zero.exit.is.failure=flase -file E:/toolsoftware/hadoop/test/code/mapper.py -mapper "C:\Python36\python3.exe E:\toolsoftware\hadoop\test\code\mapper.py" -file E:/toolsoftware/hadoop/test/code/reducer.py -reducer "C:\Python36\python3.exe E:\toolsoftware\hadoop\test\code\reducer.py" -input /hdfs_in -output /hdfs_out

若运行失败，需要先删除输出文件夹

hadoop fs -rmr /hdfs_out

问题汇总

问题1：datanode启动不起来。

在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令(hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。