主要功能

hive配置参数

作用

默认值

应用场景

并发

hive.exec.parallel=true;

多job并发

 

 

 

hive.exec.parallel.thread.numbe=X;

可以并行化的job数

8

 

输入合并小文件

hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

执行Map前进行小文件合并。一个data node节点上多个小文件会进行合并，合并文件数由mapred.max.split.size限制的大小决定。

 

 

 

hive.hadoop.supports.splittable.combineinputformat = true;

是否支持可切分的 CombieInputFormat

FALSE

 

小文件

mapreduce.job.split.metainfo.maxsize=-1

 

 

java.io.IOException:Split metadata size exceeded 10000000，小文件过多

 

mapreduce.jobtracker.split.metainfo.maxsize = －1

 

 

 

 

mapreduce.job.running.map.limit=50000;

 

 

map数超过50000的job设置：

map数

mapred.min.split.size = X;

每个Map最小输入大小

 

 

 

mapred.max.split.size=X;

每个Map最大输入大小

 

 

 

mapred.min.split.size.per.node=100000000;

一个节点上（datanode）split至少的大小，

 

 

 

mapred.min.split.size.per.rack=100000000;

同一个交换机(rack locality)下split至少的大小

 

 

 

mapreduce.input.fileinputformat.split.maxsize = 256000000;

mapred代表的是hadoop旧API，而mapreduce代表的是hadoop新的API。

 

 

 

mapreduce.input.fileinputformat.split.minsize.per.node=256000000;

 

 

 

 

mapreduce.input.fileinputformat.split.minsize.per.rack=256000000;

 

 

 

reduce数

hive.exec.reducers.bytes.per.reducer = X;

每个reducer处理的文件大小，默认是1GB，调整reduce数目

100000000

生成的文件大小，设置每个reducer处理的数据hive.exec.reducers.bytes.per.reducer=5120000000; insert into table xxx select * from xxx distribute by rand();备注： 设置的参数是生成的文件大小，distribute by rand()保证数据的平均大小是512Mb。

 

hive.exec.reducers.max

控制最大的reducer的数量， 如果 input / bytes per reduce >max 则会启动这个参数所指定的reduce个数。 这个并不会影响mapre.reduce.tasks参数的设置。默认的max是999

999

 

 

hive.mapred.reduce.tasks

这个参数如果指定了，hive就不会用它的estimation函数来自动计算reduce的个数，而是用这个参数来启动reducer。默认是-1(reduce的个数设置其实对执行效率有很大的影响：1)、如果reduce太少： 如果数据量很大，会导致这个reduce异常的慢，从而导致这个任务不能结束，也有可能会OOM 2)、如果reduce太多： 产生的小文件太多，合并起来代价太高，namenode的内存占用也会增大。如果我们不指定mapred.reduce.tasks，hive会自动计算需要多少个reducer。计算的公式： reduce个数 = InputFileSize / bytes per reducer 3)、估算reducer的个数，及计算公式：注意最重要的一句话：int reducers = (int)((totalInputFileSize +bytesPerReducer - 1) / bytesPerReducer))

 

生成的文件个数。设置reduce个数 mapred.reduce.tasks=50; insert into table xxx select * from xxx distribute by rand();备注： 设置的参数是生成的文件个数，distribute by rand()保证数据随机分配到50个文件中。

输出合并小文件

hive.merge.mapredfiles = true

正常的map-reduce job后，是否启动merge job来合并reduce端输出的结果，建议开启

 

 

 

hive.merge.mapfiles = true;

正常的map-only job后，是否启动merge job来合并map端输出的结果

 

 

 

hive.merge.size.per.task = X;

合并后文件的大小

 

 

 

hive.merge.smallfiles.avgsize=X;

当输出文件平均大小小于该值，启动新job合并文件

-1

 

输出压缩

mapred.output.compress=true;

压缩输出

 

 

 

hive.exec.compress.output=true;

为最终输出结果启用压缩

 

 

 

mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;

输出所用的压缩codec 常见的压缩格式：DEFLATE org.apache.hadoop.io.compress.DefaultCodec gzip org.apache.hadoop.io.compress.GzipCodec bzip org.apache.hadoop.io.compress.BZip2Codec Snappy org.apache.hadoop.io.compress.SnappyCodec

org.apache.hadoop.io.compress.DefaultCodec

 

 

mapred.output.compression.type=BLOCK;

控制限制使用压缩格式,默认值为RECORD, 即对每一条记录进行压缩, 如果将其改为BLOCK,将针对一组记录进行压缩SqeuenceFile的输出可以使用的压缩类型:NONE,RECORD,BLOCK

RECORD

 

中间过程压缩

hive.exec.compress.intermediate=true;

为map中间输出启用压缩。

 

 

 

mapred.map.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;

一般对于中间输出压缩采用低压缩比，高压缩解压缩速度的压缩算法，如LZO,Snappy

org.apache.hadoop.io.compress.DefaultCodec

 

 

hive.intermediate.compression.type=BLOCK;

 

RECORD

 

动态分区

hive.exec.max.created.files=100000;

动态分区属性,全局可以创建的最大文件个数

100000

 

 

hive.exec.dynamic.partition.mode = nonstrict;

动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。一般需要设置为nonstrict

strict

 

 

hive.exec.dynamic.partition = true;

是否开启动态分区功能，默认false关闭。使用动态分区时候，该参数必须设置成true;

FALSE

 

 

hive.exec.max.dynamic.partitions.pernode

在每个执行MR的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如：源数据中包含了一年的数据，即day字段有365个值，那么该参数就需要设置成大于365，如果使用默认值100，则会报错。

100

 

 

hive.exec.max.dynamic.partitions

在所有执行MR的节点上，最大一共可以创建多少个动态分区。

 

 

 

hive.error.on.empty.partition

当有空分区生成时，是否抛出异常。一般不需要设置。

FALSE

 

groupby负载均衡

hive.groupby.skewindata=true;

负载均衡（一般不建议使用，会有丢数据的风险）数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob 中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到Reduce中（这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中），最后完成最终的聚合操作。

 

 

 

hive.groupby.mapaggr.checkinterval=100000;

group的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置

 

 

查看

hive.stats.dbclass=counter;

存储临时Hive统计信息的方式

 

 

 

dfs.block.size;

查看集群设置的文件块大小，不能修改，值为134217728，即128mb。

 

 

 

io.compression.codecs;

查看集群的支持的压缩算法.org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.SnappyCodec

 

 

数据倾斜优化

hive.auto.convert.join=true

/+mAPJOIN(小表名)/ 小表加载到内存中，表的JOIN操作是在Map端且在内存进行的

FALSE

大表 join 小表

 

hive.optimize.skewjoin=true

join过程出现倾斜则优化

 

 

 

hive.skewjoin.key=1000000

join的键对应的记录条数超过这个值则会进行优化

 

 

作业

mapreduce.job.name

作业名称

 

 

 

mapreduce.job.priority

作业优先级，VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW

NORMAL

 

MR ApplicationMaster设置

yarn.app.mapreduce.am.resource.mb

MR ApplicationMaster占用的内存量

1536

 

 

yarn.app.mapreduce.am.resource.cpu-vcores

MR ApplicationMaster占用的虚拟CPU个数

1

 

 

mapreduce.am.max-attempts

MR ApplicationMaster最大失败尝试次数

2

 

Map Task

mapreduce.map.memory.mb

每个Map Task需要的内存量

1024

MAP YARN 申请内存 4096

 

mapreduce.map.cpu.vcores

每个Map Task需要的虚拟CPU个数

1

 

 

mapreduce.map.maxattempts

Map Task最大失败尝试次数

4

 

Reduce Task

mapreduce.reduce.memory.mb

每个Reduce Task需要的内存量

1024

REDUCE YARN 申请内存

 

mapreduce.reduce.cpu.vcores

每个Reduce Task需要的虚拟CPU个数

1

 

 

mapreduce.reduce.maxattempts

Reduce Task最大失败尝试次数

4

 

 

mapreduce.map.speculative

是否对Map Task启用推测执行机制

FALSE

 

 

mapreduce.reduce.speculative

是否对Reduce Task启用推测执行机制

FALSE

 

 

mapreduce.map.sort.spill.percent

Map阶段溢写文件的阈值（排序缓冲区大小的百分比）

0.8

 

 

mapreduce.reduce.shuffle.parallelcopies

Reduce Task启动的并发拷贝数据的线程数目

5

 

队列

mapreduce.job.queuename

作业提交到的队列

default

 

io

mapreduce.task.io.sort.mb

任务内部排序缓冲区大小

100

 

 

io.sort.mb = X;

map输出缓冲区大小

100

 

 

io.sort.factor = X;

map端或reduce端排序文件时，每次对多合并流数,默认值为10

10

 

yarn

yarn.app.mapreduce.am.command-opts=-Xmx8192m

 

 

beyond virtual memory limits

 

yarn.app.mapreduce.am.resource.mb=9216

 

 

 

JVM

mapreduce.map.java.opts=-Xmx3572M;

一般 JVM 参数可以是 Yarn 申请内存的 80%, 如果 都比较大，可以酌情

 

MAP JVM 内存

 

mapreduce.reduce.java.opts=-Xmx4096M;

 

 

REDUCE JVM 内存

 

yarn.app.mapreduce.am.resource.mb=2000;

 

 

AM YARN 申请内存

 

yarn.app.mapreduce.am.command-opts=-Xmx1524m;

 

 

AM JVM 内存

矢量查询(Vectorized query)

hive.vectorized.execution.enabled = true;

每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。

 

 

 

hive.vectorized.execution.reduce.enabled = true;

 

 

 

TEZ

hive.execution.engine=tez;

Tez 是一个开源的支持DAG作业的计算框架，它来源于MapReduce框架。

 

 

 

set hive.mapjoin.hybridgrace.hashtable=false

Hive2.1.0的版本有一个BUG。使用Tez的时候需要设置

 

 

COST BASED QUERY OPTIMIZATION

set hive.cbo.enable=true;

COST BASED QUERY OPTIMIZATION可以优化hive的每次查询。如果我们想要使用CBO，需要通过HIVE的分析模式来收集表的不同统计数据，我们可以通过下面的命令来进行:analyze table tweets compute statistics for columns;

 

 

 

set hive.compute.query.using.stats=true;

 

 

 

 

set hive.stats.fetch.column.stats=true;

 

 

 

 

set hive.stats.fetch.partition.stats=true;

 

 

 

资料：
https://zh.hortonworks.com/blog/5-ways-make-hive-queries-run-faster/ Hive官网：https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration Hadoop官网：http://hadoop.apache.org/docs/current/ set -v; 查看hive的所有默认配置。