目录1. SQL语句优化1. union all2. distinct2. 数据格式优化 3. 小文件过多优化4. 并行执行优化5. 数据倾斜优化6. Limit 限制调整优化7. JOIN优化8. 谓词下推优化最后1. SQL语句优化1. union allinsert into table stu partition(tp)
select s_age,max(s_birth) st
常用调优测试语句 ：
①显示当前hive环境的参数值： set 参数名; 如： hive> set mapred.map.tasks;mapred.map.tasks; ②设置hive当前环境的参数值，但仅对本次连接有效 set 参数名 = 值; 如： hive> set mapred.map.tasks;mapred.map.tasks=2;
SET start_day=case when '${start_day}'='null' then '$[time(yyyy-MM-dd,-3d)]' else '${start_day}' end; --3天前的
SET end_day=case when '${end_day}'='null' then '$[time(yyyy-MM-dd,-1d)]' else '${end_day
前言Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用on YARN部署方式来说明。 Executor参数spark.executor.cores该参数表示每个
