Apache Hive作为处理大数据量的大数据领域数据建设核心工具，数据量往往不是影响Hive执行效率的核心因素，数据倾斜、job数分配的不合理、磁盘或网络I/O过高、MapReduce配置的不合理等等才是影响Hive性能的关键。 Hive在执行任务时，通常会将Hive SQL转化为MapReduce job进行处理。因此对Hive的调优，除了对Hive语句本身的优化，也要考虑Hive配置项以
转载
2023-07-20 21:55:58
84阅读
目录SQL语句优化count优化count distinct 用sum...group by替换/count ... group by将两个join的表提前filterjoin 过滤掉ID为空的数据（与上面类似）join操作时，小表关联大表配置优化hive-site.xml配置动态分区： map阶段优化减少map数增大map数量reduce阶段优化map和reduce优化。 M
转载
2023-07-12 19:18:50
90阅读
问题导读1.怎样优化亿级数据表的查询？ 2.怎样优化复杂的SQL查询? 3.怎样优化使用函数的复杂SQL的查询？HiveSQL经典优化案例一：1.1 将要执行的查询(执行了 1个多小时才出结果)： SELECT dt as DATA_DATE,STRATEGY,AB_GROUP,SOURCE,
count(distinct case when lower(event) not
日常积累-HiveSQL的压缩方法+SQL整体优化（Map Reduce）子目录：配置parquet压缩设置压缩+自动分区（Parquet和ORC）SQL整体优化（多任务并行、减少任务数量）正文：Map Reduce： 一个Hive查询会生成多个Map Reduce Job，每个Map Reduce Job有Map，Reduce，Spill，Shuffle，Sort等多个阶段配置parquet压缩
转载
2023-09-08 12:40:30
103阅读
map和reduce 个数的设定 （Hive优化）经典
一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文
转载
精选
2014-11-28 16:21:14
652阅读
好), 这是由参数hive.auto.convert.join=true 和hive.smalltable.filesize=25000000L）参数控制（默认是25M），如果表文件大小在25M左右，可以
原创
2023-04-21 01:02:40
73阅读
一、Hive优化目标在有限的资源下，提高执行效率二、Hive执行HQL——> Job——> Map/Reduce三、执行计划查看执行计划explain [extended] hql四、Hive表优化1、分区静态分区动态分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstric...
原创
2022-04-22 15:53:21
756阅读
一、Hive优化目标在有限的资源下，提高执行效率二、Hive执行HQL——> Job——> Map/Reduce三、执行计划查看执行计划explain [extended] hql四、Hive表优化1、分区静态分区动态分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstric...
原创
2018-06-08 23:45:15
689阅读
前段时间，博主线上项目的几个后端接口执行耗时达到了三、四秒钟以上，查看接口代码，发现 sql 语句执行过慢，于是开始分析 sql 执行 这里把比较经典的优化案例分享给大家。本文所讲述 MySql 8.0+代码演示地址：https://github.com/wayn111/newbee-mall-pro
博主github地址：https://github.com/wayn111 欢迎大家关
转载
2023-08-29 18:24:33
235阅读
前言「1024，1GB，一级棒！程序仔们节日快乐！」 指尖流动的 1024 行代码，到底是什么？是10行的迷茫？是101行的叛逆？是202行的理性思考？是307行对渴望的冲动？还是404行对未知的追寻？你心中，一定会有答案！祝各位秃头小宝贝节日快乐~言归正传，前几天我们陆陆续续聊过了 Hadoop原理实战、 Hive 的底层原理实践，今天就来聊一聊大家最关心的 Hive 优化实践。实际搞过离线
1.列裁剪Hive在读数据的时候，可以只读取查询中所需要用到的列，而忽略其他列，这样做节省了读取开销，中间表存储开销和数据整合开销参数设置： hive.optimize.cp=true（默认值为真，该参数已被移除） 2.分区剪裁可以在查询的过程中减少不必要的分区在对分区表进行查询时，优化器会检查谓词条件中是否存在对分
转载
2023-10-25 15:39:06
544阅读
hive tez sql 优化
原创
2015-05-06 14:57:30
4534阅读
Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是：减少数据量（例如分区、列剪裁）避免数据倾斜（例如加参数、Key打散）避免全表扫描（例如on添加加上分区等）减少job数（例如相同的on条件的join放在一起作为一个任务）本文首发在公众号【五分钟学大数据】HQL语句优化1.使用分区剪裁、列剪裁在分区剪裁中，当使用外关
原创
精选
2021-12-28 09:16:50
964阅读
点赞
hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL
原创
2021-12-14 13:32:40
133阅读
Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优
转载
2021-12-14 16:32:07
10000+阅读
Hive SQL优化思路
转载
2022-10-24 16:36:56
53阅读
后台回复【加群】，申请加入优质大数据学习社群Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是：减少数据量（例如分区、列剪裁）避免数据倾斜（例如加参数、Key打散）避免全表扫描（例如on添加加上分区等）减少job数（例如相同的on条件的join放在一起作为一个任务）HQL语句优化1. 使用分区剪裁、列剪裁在分区剪裁中
转载
2022-03-30 15:19:11
9380阅读
Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是：减少数据量（例如分区、列剪裁）避免数据倾斜（例如加参数...
转载
2022-04-22 23:21:44
365阅读
后台回复【加群】，申请加入优质大数据学习社群Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是：减少数据量（例如分区、列剪裁）避免数据倾斜（例如加参数、Key打散）避免全表扫描（例如on添加加上分区等）减少job数（例如相同的on条件的join放在一起作为一个任务）HQL语句优化1. 使用分区剪裁、列剪裁在分区剪裁中
转载
2022-03-30 15:18:52
10000+阅读
# 在线优化Hive SQL
Hive是一种基于Hadoop的数据仓库工具，用于处理大规模数据集。然而，由于Hive的查询语句是通过转换成MapReduce任务来实现的，查询速度通常较慢。为了提高Hive SQL的性能，我们可以采取在线优化的方法。
## 什么是在线优化？
在线优化是在查询执行期间对Hive SQL进行优化的过程。它可以通过动态调整查询计划、重新组织数据和使用适当的查询技术来
