按数值排序
示例：按气温字段对天气数据集排序
问题：不能将气温视为Text对象并以字典顺序排序
正统做法：用顺序文件存储数据，其IntWritable键代表气温，其Text值就是数据行
常用简单做法：首先，增加偏移量以消除所有负数；其次，在数字面前加0，使所有数字的长度相等；最后，用字典法排序。
streaming的做法：-D mapred.text.key.comparator.options="-k1n -k2nr" 第一个year字段按数值顺序排序，第二个temp字段按数值顺序方向排序
Partitioner
Mapreduce默认的partitioner是HashPartitioner。除了这个mapreduce还提供了3种partitioner。如下图所示：
patition类结构
1. Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类。
2. HashPartitioner是mapreduce的默认partitioner。计算方法是
which reducer=(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks，得到当前的目的reducer。
3. BinaryPatitioner继承于Partitioner< BinaryComparable ,V>，是Partitioner的偏特化子类。该类提供leftOffset和rightOffset，在计算which reducer时仅对键值K的[rightOffset，leftOffset]这个区间取hash。
Which reducer=(hash & Integer.MAX_VALUE) % numReduceTasks
4. KeyFieldBasedPartitioner也是基于hash的个partitioner。和BinaryPatitioner不同，它提供了多个区间用于计算hash。当区间数为0时KeyFieldBasedPartitioner退化成HashPartitioner。
$HADOOP_HOME/bin/hadoop streaming \
-D stream.map.output.field.separator=. \
-D stream.num.map.output.key.fields=4 \
-D map.output.key.field.separator=. \ #map输出分隔符设为“.”
-D num.key.fields.for.partition=2 \ #将key分隔出来的前两个部分而不是整个key用于Partitioner做partition
-input /user/test/input -output /user/test/output \
-mapper “mymapper.sh” -reducer “ myreducer.sh” \
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \ #使用KeyFieldBasedPartitioner
-file /home/work/mymapper.sh \
-file /home/work/myreducer.sh \
-jobconf mapred.job.name=”key-partition-demo”
5. TotalOrderPartitioner这个类可以实现输出的全排序。不同于以上3个partitioner，这个类并不是基于hash的。在下一节里详细的介绍totalorderpartitioner。
全排序
最简单的方法：所有数据丢给一个reduce，使其内部排序。
这样的方法跟单机没什么区别，完全没有利用分布式计算的优势；数据量稍大时，一个reduce的处理效率极低。
分布式方案：
首先，创建一系列排序好的文件；其次，串联这些文件；最后生成一个全局排序的文件。
主要思路是使用一个partitioner来描述全局排序的输出。
由此我们可以归纳出这样一个用hadoop对大量数据排序的步骤：
1） 对待排序数据进行抽样；
2） 对抽样数据进行排序，产生标尺；
3） Map对输入的每条数据计算其处于哪两个标尺之间；将数据发给对应区间ID的reduce
4） Reduce将获得数据直接输出。
这里使用对一组url进行排序来作为例子：
Java实现：
1）InputSampler
输入采样类，可以对输入目录下的数据进行采样。InputSampler类实现了Sampler接口，目的是创建一个顺序文件来存储定义分区的键。提供了3种采样方法。
采样类结构图
采样方式对比表:
类名称 | 采样方式 | 构造方法 | 效率 | 特点 |
SplitSampler<K,V> | 对前n个记录进行采样 | 采样总数，划分数 | 最高 |
|
RandomSampler<K,V> | 遍历所有数据，随机采样 | 采样频率，采样总数，划分数 | 最低 |
|
IntervalSampler<K,V> | 固定间隔采样 | 采样频率，划分数 | 中 | 对有序的数据十分适用 |
InputSampler.Sampler<IntWritable, Text> sampler = new InputSampler.RandomSampler<IntWritable, Text>(
0.1, 10000, 10);
RandomSampler的三个参数分别是采样率、最大样本数、最大分区。
2）TotalOrderPartitioner
TotalOrderPartitioner.setPartitionFile(conf, partitionFile);
InputSampler.writePartitionFile(conf, sampler);
InputSampler写的分区文件放在输入目录。
TotalOrderPartitioner指定partition文件。partition文件要求Key （这些key就是所谓的划分）的数量和当前reducer的数量相同并且是从小到大排列。
writePartitionFile这个方法根据采样类提供的样本，首先进行排序，然后选定（随机的方法）和reducer数目-1的样本写入到partition file。这样经过采样的数据生成的划分，在每个划分区间里的key value pair 就近似相同了，这样就能完成均衡负载的作用。
DistributedCache.addCacheFile(partitionUri, conf);
partition文件载入分布式缓存。
