巧克力黒的博客_Hive

【Hive】MapJoin限制场景之一（MapJoin Followed by Union）

举例说明MapJoin限制场景之一, MapJoin Followd by Union

hive

mapJoin

原创 2022-11-10 20:57:31 452 阅读

【Hive】只有一个Task执行，且时间很长的场景（非数据倾斜）

Hive表的Statistics信息错误，导致执行计划解析错误，任务执行异常

hive

执行计划

explain

原创 2021-12-10 10:10:47 1567 阅读

【Hive】Spark引擎Group By带分区字段，执行计划reduce个数计算异常

GROUP BY算子，带有分区字段dt，导致执行计划中有一个reduce task 0: jdbc:hive2://172.0.0.1:10015/> SET hive.execution.engine=spark;No rows affected (0.011 seconds)0: jdbc:hive2://172.0.0.1:10015/> explain SELECT

hive

explain

原创 2021-06-21 22:31:29 2051 阅读

【Hive】从执行计划DAG中执行慢的Task，找到对应SQL逻辑片段

一个稍微复杂的Hive SQL，在执行过程中发现某个Task非常慢，怎么去定位这个Task是属于哪段SQL逻辑呢

hive on spark

hive on tez

stage

sql

原创 2021-05-29 21:52:43 1689 阅读

【HQL】HQL每天购课总额前三的用户

rank窗口函数，聚合数据分组排序

窗口函数

rank

原创 2020-07-22 20:25:18 655 阅读

【HQL】HQL实现用户访问记录表，即访问A又访问B的用户数

用户访问表（visit_table）user_id(用户ID)Url（访问地址）1A1B2C2A1ASQL查询，访问过A并且访问过B的用户数量实现1：with user_visit as( select 1 as user_id, 'A' as url union all select 1 as user_id, 'A' as url union all select 1 as

HQL

collect_set

原创 2020-03-28 14:02:11 1006 阅读

【HQL】HQL实现每日订单量和未填地址订单量以及未填地址订单量N日后的变化

HQL实现每日订单量和未填地址订单量以及未填地址订单量N日后的变化

HQL

lead

窗口函数

原创 2020-03-26 16:13:32 921 阅读

如何校验SQL查询结果是否准确

总结平常工作中几种校验数据的思路

数据校验

sql

原创 2019-07-18 22:05:47 4444 阅读

Hive Hue的导出XLS格式，数据不全

hive hue导出excel格式，数据导出不完整

hive hue xls

原创 2015-06-24 14:06:02 3869 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

巧克力黑

【Hive】MapJoin限制场景之一（MapJoin Followed by Union）

【Hive】只有一个Task执行，且时间很长的场景（非数据倾斜）

【Hive】Spark引擎Group By带分区字段，执行计划reduce个数计算异常

【Hive】从执行计划DAG中执行慢的Task，找到对应SQL逻辑片段

【HQL】HQL每天购课总额前三的用户

【HQL】HQL实现用户访问记录表，即访问A又访问B的用户数

【HQL】HQL实现每日订单量和未填地址订单量以及未填地址订单量N日后的变化

如何校验SQL查询结果是否准确

Hive Hue的导出XLS格式，数据不全