Hadoop的Python语言封装
Hadoop使用Java语言实现，编写具体的应用业务除了借助Hadoop的Java API外，还可以使用开发者所熟悉的Python或C++等其他语言编码。在Hadoop安装路径的/src/examples/目录中，给出了Python实现的分布式应用示例。除了将Python代码通过Jython运行时转换为jar包部署，还可借助Hadoop Streaming工具，利用可执行程序或脚本代码实现Map-Reduce中的Mapper或Reducer过程，借助标准输入输出交互数据而不需编写Java实现类。
如何以Pythonic的方式完成Hadoop经典的WordCount词频统计工作，来自德国的开发者Michael G.Noll在博客中撰文讲解了实现方法：在Python编码中，通过STDIN标准输入和STDOUT标准输在Map和Reduce代码之间传输数据。Python的sys.stdin方法读取输入数据，并通过sys.stdout打印输出数据，而数据的交互处理过程交由Hadoop Streaming来处理。以同样的方式，可借助Perl、Ruby或其他动态语言完成Map-Reduce处理过程。
在Hadoop API的Python封装方面，著名音乐站点Last.fm发布了基于Python的Dumbo(小飞象)项目，Dumbo能够帮助Python开发者更方便的编写Hadoop应用，并且Dumbo为MapReduce应用提供了灵活易用的Python API。Last.fm的开发者，同时也是Dumbo项目发起人Klaas Bosteels 认为，对于定制Hadoop应用，使用Python语言代替Java会让工作变得更有效率。
在基于Dumbo框架的应用实现中，不需模仿Michael G.Noll给出的代码将mapper和reducer存放于不同的文件中，而只需在程序中定义mapper和reducer函数，并通过语句dumbo.run(mapper,reducer)来启动执行过程。在作者给出的Dumbo示例中，能够将Hadoop原先60行Java源代码实现的WordCount示例，简化为Python实现的7行源代码来完成。此外，Dumbo还提供了一些易用的功能，包括向dumbo.run()执行操作传递第三方参数。并在Dumbo项目文档中，给出了从Apache访问日志文件中进行IP统计的完整示例，以及四个简短的应用示例。
另外一个相似的项目Happy，则为Jython开发者使用Hadoop框架提供了便利，Happy框架封装了Hadoop的复杂调用过程，让Map-Reduce开发变得更为容易。Happy中的Map-Reduce作业过程在子类happy.HappyJob中定义，当用户创建类实例后，设置作业任务的输入输出参数，然后调用run()方法即可启动分治规约处理，此时，Happy框架将序列化用户的作业实例，并将任务及相应依赖库拷贝到Hadoop集群执行。目前，Happy框架已被数据集成站点freebase.com采纳，用于进行站点的数据挖掘与分析工作。
环境：Vmware 8.0 和ubuntu11.04
Hadoop 实战之Streaming(五)---通过脚本使用Streaming
第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：
sudo rm -rf /tmp/*
rm -rf /home/tanglg1987/hadoop-0.20.2/logs
hadoop namenode -format
hadoop datanode -format
start-all.sh
hadoop fs -mkdir input
hadoop dfsadmin -safemode leave第二步：给start.sh增加执行权限并启动hadoop伪分布式集群，代码如下:
chmod 777 /home/tanglg1987/start.sh
./start.sh
运行过程如下：
第三步：上传本地文件到hdfs
hadoop fs -put /home/tanglg1987/apat63_99.txt input
第四步：新建一个AttributeMax.py的Python文件
#!/usr/bin/env python
import sys
index = int(sys.argv[1])
max = 0
for line in sys.stdin:
fields = line.strip().split(",")
if fields[index].isdigit():
val = int(fields[index])
if (val > max):
max = val
else:
print max第五步：新建一个test.py的Python文件
解决Linux下运行Python脚本显示“: 没有那个文件或目录”的问题
我猜不少人都遇到过类似的问题：
在Windows下写好了一个python脚本，运行没问题
但放到Linux系统下就必须在命令行前加上一个python解释器才能运行
脚本开头的注释行已经指明了解释器的路径，也用chmod给了执行权限，但就是不能直接运行脚本。
比如这个脚本：
#!/usr/bin/env python
#-*- coding=utf-8 -*-
def main():
print('This is just a test!\r\n')
if __name__ == '__main__':
main()按理说没错的，但为什么不能直接运行呢？
后来发现问题出在换行表示上……
Windows下，文本的换行是\r\n一同实现的，而*nix下则只用\n
所以我的第一行代码在Linux下就被识别为了：
#!/usr/bin/env python\r
很显然，系统不知道这个"python\r"是个什么东西……
知道了这个，解决方案就很显而易见了，写了一个自动替换换行标志的脚本：
#!/usr/bin/env python
#-*- coding=utf-8 -*-
import sys, os
def replace_linesep(file_name):
if type(file_name) != str:
raise ValueError
new_lines = []
#以读模式打开文件
try:
fobj_original = open(file_name, 'r')
except IOError:
print('Cannot read file %s!' % file_name)
return False
#逐行读取原始脚本
print('Reading file %s' % file_name)
line = fobj_original.readline()
while line:
if line[-2:] == '\r\n':
new_lines.append(line[:-2] + '\n')
else:
new_lines.append(line)
line = fobj_original.readline()
fobj_original.close()
#以写模式打开文件
try:
fobj_new = open(file_name, 'w')
except IOError:
print('Cannot write file %s!' % file_name)
return False
#逐行写入新脚本
print('Writing file %s' % file_name)
for new_line in new_lines:
fobj_new.write(new_line)
fobj_new.close()
return True
def main():
args = sys.argv
if len(args) < 2:
print('Please enter the file names as parameters follow this script.')
os._exit(0)
else:
file_names = args[1:]
for file_name in file_names:
if replace_linesep(file_name):
print('Replace for %s successfully！' % file_name)
else:
print('Replace for %s failed！' % file_name)
os._exit(1)
if __name__ == '__main__':
main()第六步：新建一个replace.sh的shell文件
/home/tanglg1987/test/streaming/test.py *.py运行过程如下：
第七步：编写一个名为：list-4-5.sh的shell脚本
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-0.20.2-streaming.jar -input input/apat63_99.txt -output output -file/home/tanglg1987/test/streaming/AttributeMax.py-mapper 'AttributeMax.py 8' D mapred.reduce.tasks=1第八步：给list-4-5.sh增加执行权限并启动脚本，代码如下：
chmod 777 /home/tanglg1987/list-4-5.sh
./list-4-5.sh第九步：运行过程如下：
第十步：查看结果集，运行结果如下：
