import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapred.JobConf;
原创
2013-05-22 08:39:21
1126阅读
0 引子： 目的： 将文件内容在进行map-reduce处理后，将结果写到不同的文件中(可以给不同文件重命名，取代默认生成的文件名) 1 代码： 使用老API得到如上目的(新的好像不知道怎么写...) package outputformat;import java.io.IOException;import java.net.URI;...
原创
2023-04-21 00:47:40
78阅读
1、MultipleOutputFormat可以将相似的记录输出到相同的数据集。在写每条记录之前，MultipleOutputFormat将调用generateFileNameForKeyValue方法来确定需要写入的文件名。通常，我们都是继承MultipleTextOutputFormat类，来重新实现generateFileNameForKeyValue方法以返回每个输出键/值对的文件名。ge
直到目前，我们看到的所有MapReduce作业都输出一组文件。但是，在一些场合下，经常要求我们输出多组文件或者把一个数据集分为多个数据集更为方便；比如将一个log里面属于不同业务线的日志分开来输出，并且交给相关的业务线。用过旧API的人应该知道，旧API中有org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.map
转载
2023-12-17 15:38:22
544阅读
