首先说一下MR的执行过程,再按照执行顺序阅读源码。
1.map阶段:
1.1读取文件内容,把每一行解析成一个<k1,v1>键值对。默认的key是每一行文本的偏移量,value是每一行的内容。
1.2自定义map函数,对<k1,v1>进行处理,转换成<k2,v2>输出。其中<k2,v2>的数量与<k1,v1>的数量没有关系。
1.3对输出的<k2,v2>进行分区。
1.4对不同分区的数据,按照key进行排序,分组。
1.5(可选)对数据进行规约。
2.reduce阶段:
2.1(shuffle)对所有的map tasks的输出,按照不同的分区,通过http协议copy到不同的reduce节点。
2.2对map tasks的输出进行排序,合并。自定义reduce函数,把<k2,v2s>转换成<k3,v3>输出。
2.3把reduce的输出保存到文件中。
1.1通过job.setInputFormatClass()方法指定输入格式,默认的是TextInputFormat类。根据继承关系,找到父类InputFormat,它是一个抽象类。
这里可以看到InputFormat为MR作业描述了输入规范,MR框架依赖InputFormat做3件事情:1)验证输入规范;2)把输入文件逻辑分割成InputSplit,每一个InputSplit分配给一个独立的map task;3)把RecordReader提供给Mapper处理,其中RecordReader的实现类用来从来InputSplit中收集记录。
InputFormat中主要有两个方法:getSplits()和createRecordReader()。
其中getSplits()方法做的就是上面说的第二件事情,将所有的输入文件逻辑划分成InputSplit。一个inputSplit对应一个map进程。注意逻辑分割要与物理分割区分开来,这里的逻辑分割用一个三元组表示(path,start,offset)。根据继承关系,在InputFormat的子类FileInputFormat中找到该方法的具体实现。
<span style="font-size:14px;">/**
* Generate the list of files and make them into FileSplits.
* @param job the job context
* @throws IOException
*/
public List<InputSplit> getSplits(JobContext job) throws IOException {
Stopwatch sw = new Stopwatch().start();
long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
long maxSize = getMaxSplitSize(job);
// generate splits
List<InputSplit> splits = new ArrayList<InputSplit>();
List<FileStatus> files = listStatus(job);
for (FileStatus file: files) {
Path path = file.getPath();
long length = file.getLen();
if (length != 0) {
BlockLocation[] blkLocations;
if (file instanceof LocatedFileStatus) {
blkLocations = ((LocatedFileStatus) file).getBlockLocations();
} else {
FileSystem fs = path.getFileSystem(job.getConfiguration());
blkLocations = fs.getFileBlockLocations(file, 0, length);
}
if (isSplitable(job, path)) {
long blockSize = file.getBlockSize();
long splitSize = computeSplitSize(blockSize, minSize, maxSize);
long bytesRemaining = length;
while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
splits.add(makeSplit(path, length-bytesRemaining, splitSize,
blkLocations[blkIndex].getHosts(),
blkLocations[blkIndex].getCachedHosts()));
bytesRemaining -= splitSize;
}
if (bytesRemaining != 0) {
int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,
blkLocations[blkIndex].getHosts(),
blkLocations[blkIndex].getCachedHosts()));
}
} else { // not splitable
splits.add(makeSplit(path, 0, length, blkLocations[0].getHosts(),
blkLocations[0].getCachedHosts()));
}
} else {
//Create empty hosts array for zero length files
splits.add(makeSplit(path, 0, length, new String[0]));
}
}
// Save the number of input files for metrics/loadgen
job.getConfiguration().setLong(NUM_INPUT_FILES, files.size());
sw.stop();
if (LOG.isDebugEnabled()) {
LOG.debug("Total # of splits generated by getSplits: " + splits.size()
+ ", TimeTaken: " + sw.elapsedMillis());
}
return splits;
}</span>
方法一开始获得minSize和maxSize,这两个参数都可以在配置文件中设置,其中minSize在mapred-default.xml中的默认值是0,但是程序规定minSize不能小于1,而maxSize需要自己在mapred-site.xml中自己配置。该方法返回一个InputSplit集合,所以着重关注splits.add()方法。这里的InputSplit是FileSplit,FileSplit封装了之前逻辑分割的三元组信息和存储block块的节点列表。遍历输入文件,如果文件内容为空,仍然会创建一个FileSplit,不过是一个长度为0,空节点数组的FileSplit。判断文件是否可分,有些压缩文件不可分,这里文件是否可分的判断是在TextInputFormat中实现的。如果文件不可分,则只会产生一个FileSplit。如果文件可分,则获得blockSize,默认是128M,通过max(minSize,min(maxSize,blokcSize))计算splitSize,所以默认splitSize也是128M。接下来就是按照splitSize遍历文件,对应创建一个个FileSplit。这里也提一下,hadoop为什么不适合小文件。因为一个文件会产生至少一个inputSplit,而一个inputSplit会产生一个map任务进程,如果有很多的小文件,就会产生很多的map任务进程。