一、 MapReduce优化方法
1)合并小文件；
采用CombineTextInputformat切片规则
2)自定义分区，减少数据倾斜；
定义类，实现Partitioner接口，重写getPartition方法
3)减少溢写的次数；
mapreduce.task.io.sort.mb Shuffle的环形缓冲区大小，默认100m，可以提高到200m
mapreduce.map.sort.spill. percent环形缓冲区溢出的阈值，默认80%，可以提高的90%
4)增加每次Merge合并次数；
mapreduce. task.io. sort.factor默认10，可以提高到20
5)在不影响业务结果的前提条件下
可以提前采用Combinerj ob. setCombinerClass (xxxReducer .class) ;
6)为了减少磁盘IO,可以采用Snappy或者LZO压缩
conf.setBoolean( "mapreduce.map.output.compress", true);
conf.setClass( "mapreduce.map.output.compress.codec",
SnappyCodec.class,CompressionCodec.class);
7) mapreduce.map.memory.mb 默认MapTask内存上限1024MB。
可以根据128m数据对应1G内存原则提高该内存。
8) mapreduce.map.cpu.vcores 默认MapTask的CPU核数1。
计算密集型任务可以增加CPU核数
9)异常重试
mapreduce.map.maxattempts每个Map Task最大重试次数，一旦重试次数超过该值，则认为Map Task运行失败，默认值: 4。根据机器术性能适当提高。
1) mapreduce. reduce shu fe.parallelcopies每个Reduce去Map中拉取数据的并行数，默认值是5。可以提高到10。
2) mapreduce .reduce. shu fle inputbuffer percentBuffer大小占Reduce可用内存的比例，默认值0.7。可以提高到0.8
3) mapreduce. reduce. shufle merge percent Buffer中的数据达到多少比开始写入磁盘，默认值0.66。 可以提高到0.754) mapreduce reduce m em ory.mb默认R educeTask内存上限1024MB,根据128m数据对应1G内存原则，适当提高内存到4-6G
5) mapreduce .reduce. cpu .vcores默认ReduceTask的CPU核数1个。可以提高到2-4个
6) mapreduce. reduce.m axttempts每个Reduce Task最大重试次数，一旦重试次数超过该值，则认为Map Task运行失败，默认值: 4.
7) mapreducejob reduce slowstart completedmaps当MapTask完成的比例达到该值后才会为ReduceTask申请资源。默认是0.05。
8) mapreduce. task. t imeout如果- -个Task在-定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该Task处于Block状态, 可能是卡住了，也许永远会卡住，为了防止因为用户程序永远Block住不退出，则强制设置了一个该超时时间(单位亳秒)，默认是600000(10分钟)。如果你的程序对每条输入数据的处理时间过长，建议将该参数调大。
9)如果可以不用Reduce，尽可能不用。
二、 数据倾斜问题
数据倾斜问题
1.数据倾斜现象
数据频率倾斜 —— 某一个区域的数据量要远远大于其他区域。
数据大小倾斜 —— 部分记录的大小远远大于平均值。
2.减少数据倾斜的方法
方法1:抽样和范围分区
可以通过对原始数据进行抽样得到的结果集来预设分区边界值。
方法2:自定义分区
基于输出键的背景知识进行自定义分区。例如，如果Map输出键的单词来源于一本
书。且其中某几个专业词汇较多。那么就可以自定义分区将这这些专业词汇发送给固
定的一部分Reduce实例。 而将其他的都发送给剩余的Reduce实例。
方法3: Combiner
使用Combiner可以大量地减小数据倾斜。在可能的情况下，Combine的目的就是
聚合并精简数据。
方法4:
采用Map Join，尽量避免Reduce Join。
三、Hadoop小文件优化方法
1 Hadoop小文件弊端
HDFS上每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用NameNode的内存空间，另一方面就是元数据文件过多，使得寻址索引速度变慢。
小文件过多，在进行MR计算时，会生成过多切片，需要启动过多的MapTask。每个MapTask处理的数据量小，导致MapTask的处理时间比启动时间还小，白白消耗资源。
2 Hadoop小文件解决方案
1）Hadoop Archive（HAR归档）
是一个高效的将小文件放入HDFS块中的文件存档工具，能够将多个小文件打包成一个HAR文件，从而达到减少NameNode的内存使用。
2）CombineTextInputFormat
CombineTextInputFormat用于将多个小文件在切片过程中生成一个单独的切片或者少量的切片。
