一、谨慎使用API

大数据场景下，必然是有大量的数据，因此大数据场景下并不怕数据量大，不行可多开几个节点，用以存储。但是大数据场景下，害怕的是数据倾斜，如果使用不当API，很容易造成数据倾斜问题。

容易数据倾斜情况

  • group by 不和聚集函数搭配使用的时候
  • count(distinct)，在数据量大的情况下，容易数据倾斜，因为 count(distinct)是按 group by 字段分组，按 distinct 字段排序
  • 小表关联超大表 join

产生数据倾斜的原因

  • key 分布不均匀
  • 业务数据本身的特性
  • C：建表考虑不周全
  • D：某些 HQL 语句本身就存在数据倾斜

二、自定义UDAF函数优化

使用自定义UDAF，不怕数据倾斜问题，hadoop在map端汇总合并优化，避免数据倾斜问题。

三、设置合理的map reduce 的Task数量

map阶段的优化

通过调整最大分割和最小分割

## 调整最小分割单元的大小(默认值是1B)
mapred.min.split.size:
## 调整最大分割单元的大小(默认值是256MB)
mapred.max.split.size:

# 无效设置
mapred.map.tasks

注:
- 通过调整max的大小可以起到调整map数量的作用,增加max的大小可以减少map的数量,减小map的数量可以增加map的数量
- 代码块中无效设置是因为map的数量不是通过命令设置的,map的数量是由切片的数量决定的,由逻辑块InputSplit决定的.

通过一下设置来减少map的数量,在文件大小过小的时候减少资源浪费

set mapred.max.split.size=100000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

解释:
100000000表示100M
最后一句表示执行前对小文件进行合并
前面三个参数确定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，
小于128m,大于100m的，按照100m来分隔，把那些小于100m的进行合并.

通过查询表中数据,存入一个设置为10个reduce任务的表中,再用此表查询,此时这个表就会由10个数据切片,再去用新表查询就会有10个map启动.

set mapred.reduce.tasks=10;
      create table a_1 as 
      select * from a 
      distribute by rand(123);

Reduce阶段的优化

通过hive自己确定reduce数,需要的设置

##每个reduce任务处理的数据量，默认为1000^3=1G
hive.exec.reducers.bytes.per.reducer
##每个任务最大的reduce数，默认为999
hive.exec.reducers.max

通过调整每个reduce能够处理的文件大小来控制reduce值

官方默认是1G
hive> set hive.exec.reducers.bytes.per.reducer=500000000;(500M)

通过命令直接设置reduce的个数

set mapred.reduce.tasks=8;

map和reduce的个数并不是越多越好

  1. 如果在文件非常小的情况下,还要设置很多的map和reduce就会造成资源的浪费.可能会造成一个map或者reduce没有运行完,其他的也需要占着进程等待.
  2. 当然也不是越少越好,会导致一个文件很大,运行需要很长时间.

小文件合并优化方式

通过配置文件设置

## 是否合并Map输出文件：
hive.merge.mapfiles=true（默认值为true）
##是否合并Reduce端输出文件：
hive.merge.mapredfiles=false（默认值为false）
## 合并文件的大小：
hive.merge.size.per.task=256*1000*1000（默认值为256000000）

hive调优还有哪些方法

表连接优化

  • 将大表放后头
    Hive假定查询中最后的一个表是大表。它会将其它表缓存起来，然后扫描最后那个表。因此通常需要将小表放前面，或者标记哪张表是大表：/*streamtable(table_name) */
  • 使用相同的连接键
    当对3个或者更多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job。
  • 尽量尽早地过滤数据
    减少每个阶段的数据量，对于分区表要加分区，同时只选择需要使用到的字段.
  • 尽量原子化操作
    尽量避免一个SQL包含复杂逻辑，可以使用中间表来完成复杂的逻辑

用insert into替换union all

原因:因为如果union all的部分数量大于2 或者union部分数据量过大,运行时将会很慢,可以选择多个insert into语句去进行.

order by & sort by

  • order by : 对查询结果进行全局排序消耗时间长,需要set hive.mapred.mode=nostrict
  • sort by : 局部排序，并非全局有序，提高效率。

limit 语句快速出结果

一般情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。
有一个配置属性可以开启，避免这种情况—对数据源进行抽样

hive.limit.optimize.enable=true --- 开启对数据源进行采样的功能
hive.limit.row.max.size --- 设置最小的采样容量
hive.limit.optimize.limit.file --- 设置最大的采样样本数

开启并行执行

set hive.exec.parallel=true,可以开启并发执行。
set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度，默认为8。

关闭严格模式

set hive.marped.mode=strict --防止用户执行那些可能意想不到的不好的影响的查询