mapreduce原来 mapreduce mapjoin

目录

• 0- 引言
• 1- Reduce Join（会出现数据倾斜）
• 2- Map Join

0- 引言

• 在hadoop的mapreduce中，数据通过map拉取并打标签，之后通过shuffle过程到reduce端关联得到结果的join称为reduce-join。
• 只在map端关联得到结果的join称为map-join。

1- Reduce Join（会出现数据倾斜）

通过将关联条件作为Map输出的key，将两表满足Join条件的数据并携带数据所来源的文件信息，发往同一个ReduceTask，在Reduce中进行数据的串联

举个例子：

需求：将商品信息表中数据根据商品pid合并到订单数据表中

订单数据：

商品信息：

合并后的结果：

中间的mapreduce过程简化如下图所示：

为什么reduce-join慢？ 总结为一句话就是经历了mapreduce的shuffle过程，shuffle过程的详细讲解我会单独写一篇文章详细介绍。

2- Map Join

Map Join适用于一张表十分小、一张表很大的场景。

在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。

采用DistributedCache

• （1）在Mapper的setup阶段，将文件读取到缓存集合中。
• （2）在驱动函数中加载缓存。

在hivesql中实现mapjoin：

1. 开启set hive.auto.convert.join = true参数
2. hive0.7版本之前要在sql中加上/* + mapjoin(小表) */，0.7版本之后默认开启mapjoin。

在odps中实现mapjoin：

• MAPJION会把小表全部读入内存中，把小表拷贝多份分发到大表数据所在实例上的内存里，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map是进行了join操作，省去了reduce运行的效率会高很多。
• 使用的条件就是当一个大表和一个或多个小表做join时。SQL会将用户指定的小表全部加载到执行join操作的程序的内存中，从而加快join的执行速度。需要注意，在Maxcompute使用mapjoin时：
  left outer join的左表必须是大表；
  right outer join的右表必须是大表；
  inner join左表或右表均可以作为大表；
  full outer join不能使用mapjoin；
  mapjoin支持小表为子查询；
• 使用mapjoin时需要引用小表或是子查询时，需要引用别名；
  在mapjoin中，可以使用不等值连接或者使用or连接多个条件；
  目前MaxCompute 在mapjoin中最多支持指定8张小表，否则报语法错误；
  如果使用mapjoin，则所有小表占用的内存总和不得超过512MB。请注意由于MaxCompute 是压缩存储，因此小表在被加载到内存后，数据大小会急剧膨胀。此处的512MB限制是加载到内存后的空间大小；
• 多个表join时，最左边的两个表不能同时是mapjoin的表。
• 那么为什么说left outer join的左表必须是大表呢，
  因为左表是大表的时候，会拿小表的全部数据和大表所在的实例服务器中的数据匹配一遍，刚好小表就在内存里。如果是左表是小表，那么需要把大表所有的数据拉过来跟小表匹配一遍，试想一下性能会如何。

来看下写法：

select /* + mapjoin(b) */  a.* from train_user_lt a left outer join map_join_test b on a.user_id = b.user_id;
//就是在sql语句前加一个标记说这是mapjoin，把小表别名写在括号里

java实现map-join主要代码如下：

//添加缓存数据
job.addCacheFile(new URI("/mapreduce/join/pd"));
job.setNumReduceTasks(0);
public class DistributedCacheMapper extends Mapper<LongWritable, Text,OrderWrapper, NullWritable>{

   Map<String,String> map=new HashedMap<>();
   private BufferedReader bufferedReader;
   private String[] splits;
   @Override
   protected void setup(Context context)
         throws IOException, InterruptedException {
      //获取缓存的文件
      URI[] cacheFiles = context.getCacheFiles();
      String path = cacheFiles[0].getPath().toString();
      FileSystem fileSystem = FileSystem.get(context.getConfiguration());
      FSDataInputStream hdfsInStream = fileSystem.open(new Path(path));
      bufferedReader = new BufferedReader(new InputStreamReader(hdfsInStream, "UTF-8"));
      String line;
      while(StringUtils.isNotEmpty(line = bufferedReader.readLine())) {
         // 2 切割
         String[] fields = line.split("\t");
         // 3 缓存数据到集合
         map.put(fields[0], fields[1]);
      }
      //关闭流
      bufferedReader.close();
   }
   
   @Override
   protected void map(LongWritable key, Text value,
         Context context)
         throws IOException, InterruptedException {
      FileSplit fileSplit = (FileSplit) context.getInputSplit();
      String fileName = fileSplit.getPath().getName();
      if(!"pd".equals(fileName)){
         String line = value.toString();
         if(StringUtils.isNotEmpty(line)){
            String[] splits = line.split("\t");
            OrderWrapper wrapper=new OrderWrapper();
            wrapper.setId(splits[0]);
            wrapper.setPid(splits[1]);
            wrapper.setAmount(Integer.valueOf(splits[2]));
            wrapper.setPname(map.get(splits[1]));
            wrapper.setFlag("");
            context.write(wrapper, NullWritable.get());
         }
      }
   }
}
public static void main(String[] args) throws Exception {
   System.setProperty("HADOOP_USER_NAME", "root");
   Configuration configuration=new Configuration();
   Job job = Job.getInstance(configuration);
   job.setMapperClass(DistributedCacheMapper.class);
   job.setMapOutputKeyClass(OrderWrapper.class);
   job.setMapOutputValueClass(NullWritable.class);
   
   //添加缓存数据
   job.addCacheFile(new URI("/mapreduce/join/pd"));
   //Map端Join的逻辑不需要Reduce阶段，设置reduceTask数量为0
   job.setNumReduceTasks(0);
   
   FileInputFormat.setInputPaths(job, new Path("/mapreduce/join/order"));
   FileOutputFormat.setOutputPath(job, new Path("/mapreduce/join/output"));
   boolean waitForCompletion = job.waitForCompletion(true);
    System.exit(waitForCompletion==true?0:1);
}