一、Hadoop 框架计算特性1、数据量大不是问题，数据倾斜是个问题2、jobs 数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次 汇总，产生十几个 jobs，耗时很长。原因是 map reduce 作业初始化的时间是比较长的3、sum,count,max,min 等 UDAF，不怕数据倾斜问题，hadoop 在 map 端的汇总合并优化，使 数据倾斜不成问题4、count
转载
2023-08-08 16:17:32
107阅读
上一篇咱们介绍了三个常用的排序函数row_number(),rank()和dense_rank()。这三个函数需要配合开窗函数over()来实现排序功能。但over()的用法远不止于此，本文咱们来介绍如何实现累计求和和滑动求和。1、数据介绍咱们有三列数据，分别是员工的姓名、月份和销售额：接下来，咱们实现两个主要的功能，对每个员工的销售业绩的累积求和以及滑动求和（每个月计算其最近三个月的总销售业绩）
转载
2023-07-14 11:08:55
165阅读
（五）hive数据倾斜以及处理hive常用语句 文章目录（五）hive数据倾斜以及处理1.数据倾斜原因2.HQL中数据倾斜诱发场景3.数据倾斜处理4.hive数据倾斜优化（性能优化）5.实际使用 1.数据倾斜原因A：key 分布不均匀 B：业务数据本身的特性 C：建表考虑不周全 D：某些 HQL 语句本身就存在数据倾斜2.HQL中数据倾斜诱发场景A、group by 不和聚集函数搭
转载
2023-10-08 21:30:20
0阅读
Hive 实用技巧（一）countcount(if(status=1,true,null))中count函数返回一个布尔值类型的数值，如果status=1,返回true,会计数；如果status不等于1返回null，不会计数。count(DISTINCT if(agent_begin_time < start_time
AND unix_timestamp(t4.start_time) -
转载
2023-05-24 11:12:33
941阅读
count sum 完成筛选统计
表名: user_active_day (用户日活表)表内容:user_id(用户id) user_is_new(是否新用户 1:新增用户 0:老用户) location_city(用户所在地区) partition_date(日期分区)需求: 找出20180901至今的xx
转载
2018-10-16 17:26:00
61阅读
hive窗口函数over()over()，指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。 根据尚硅谷大数据Hive教程，总结整理（1）over() group by，给每一条数据都开全量窗口原数据 需求：查询在 2017 年 4 月份购买过的顾客及总人数1）查询在 2017 年 4 月份购买过的所有字段 substring(string A, int start, int
转载
2023-07-21 16:07:40
363阅读
1.开窗函数查询
窗口函数通常是分析人员使用 hive ql 进行一些复杂逻辑计算时使用的特殊函数，其中 over() 通常与聚合函数共同使用，比如 count()、sum()、min()、max()、avg() 等。
over() 具有一定的窗口语义，如：OVER(ROWS ((CURRENT ROW) | (UNBOUND
转载
2023-07-10 18:40:25
254阅读
1. 简单的聚合操作
count计数【 count()--只计算不为空的行 count(1)--会把空行也放进去 count(col)--类似于count()】、
sum求和，返回bigint类型
sum(col)+1:这种写法会报错，需要把1转换成bigint类型，即sum(col)+cast(1 as bigint)
avg求平均值，返回double
distinct
2. 查询操作
orde
转载
2024-01-23 20:35:22
202阅读
hive课下练习-- count(*),count(1),count(字段名)区别
select count(*) from score; -- 最慢的 一般不用它
select count(1) from score; -- 最快的 但是它会统计null值，需要注意。
select count (score.score) from score; -- 稍微慢于count(1),他不会统计null
转载
2023-07-14 23:25:14
144阅读
如何实现Hive Count
#### 前言
欢迎你来到大数据开发的世界！作为一名经验丰富的开发者，我很高兴能够教会你如何实现Hive Count。Hive是基于Hadoop的数据仓库工具，通过使用Hive可以实现对大规模结构化数据的高效处理和分析。而Hive Count是Hive中用于计算数据行数的命令。
在教你如何实现Hive Count之前，我们先来了解一下整个实现的流程。下表展示了实
原创
2024-01-08 11:51:13
42阅读
hive-基本函数_窗口函数_行列转换_UDF_连续登录问题目录hive-基本函数_窗口函数_行列转换_UDF_连续登录问题SQL练习hive语句的执行顺序from-->join-->where-->group by-->聚合函数-->having-->select-->开窗函数-->distinct-->order by-->limit
转载
2024-05-16 13:21:56
32阅读
HiveSQL书写1.count(*)、count(1)、count('字段名') 区别从执行结果来看count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULL 最慢的count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NULL 最快的count(列名)只包括列名那一列，在统计结果的时候，会忽略列值为空（这里的空不是只空字符串或者0，而是表示
转载
2023-07-13 15:50:54
1305阅读
Hive是基于Hadoop的一个数据仓库，可将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其实，Hive的本质是将HiveSQL语句转化成MapReduce任务执行。count(*)、count(1) 、count('字段名') 区别：count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULLcount(1)包括了忽略所有列，用1代表代码行，在统计结果的时
转载
2023-07-20 19:14:50
780阅读
## 实现Hive count distinct结果为0使用GROUPING SETS
作为一名经验丰富的开发者，你将引导一位刚入行的小白开发者，教他如何实现在Hive中使用GROUPING SETS来统计count distinct结果为0的情况。下面是整个实现过程的步骤。
### 步骤概览
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 创建测试表 |
| 步骤2
原创
2024-01-20 08:03:08
85阅读
文章目录大数据阶段的重要课程划分HDFSAPIHDFS创建目录HDFS删除目录HDFS修改文件名获得文件详细信息hadoop环境变量通过IO流操作HDFS字符流和字节流IO流上传IO流下载MapReduce核心思想WordCount单词统计案例map阶段reduce阶段hadoop的序列化Wordcount代码本地运行1. 编写WordCountMap2. 编写WordCountReduce3.
转载
2024-10-22 06:47:26
38阅读
执行count(1)或count(*)统计行数时，默认会从Hive的元数据库中查询 rowsNum 对应值作为结果返回。但是如果是使用加载数据文件load data的方式填充表数据，则hive元数据不会收集此统计信息,那么count时就会为0。 也就是说通过insert的方式写入数据的表会更新hive元数据的rowsNum信息；通过load、pu
转载
2023-06-12 21:14:03
151阅读
目录常规方式失败的优化成功的优化 Hive是Hadoop的子项目，它提供了对数据的结构化管理和类SQL语言的查询功能。SQL的交互方式极大程度地降低了Hadoop生态环境中数据处理的门槛，用户不需要编写程序，通过SQL语句就可以对数据进行分析和处理。目前很多计算需求都可以由Hive来完成，极大程度地降低了开发成本。 &n
转载
2023-07-10 18:38:54
183阅读
一、Hadoop 框架计算特性1、数据量大不是问题，数据倾斜是个问题2、jobs 数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次 汇总，产生十几个 jobs，耗时很长。原因是 map reduce 作业初始化的时间是比较长的3、sum,count,max,min 等 UDAF，不怕数据倾斜问题，hadoop 在 map 端的汇总合并优化，使 数据倾斜不成问题4、count
转载
2023-12-02 19:27:08
293阅读
文章目录背景：解决思路分析：实例表数据准备size(collect_set() over(partition by order by))测试结果：结果分析： 背景：笔者在为公司搭建学生知识点画像时遇到了这种场景，在使用Spark DataFrame开发时，发现count(distinct user_id) over(partition by knowledge_id order by exam_
转载
2024-06-21 16:45:23
186阅读
countcount是一种最简单的聚合函数，一般也是我们第一个开始学习的聚合函数，那么他们之间究竟由什么区别呢？有的人说count（1）和count（*）他们之间有区别，而有的人说他们之间没有区别那么他们之间到底有没有区别呢。从执行结果来说：count（1）和count（*）之间没有区别，因为count（*）count（1）都不会去过滤空值，
但count（列名）就有区别了，因为cou
转载
2023-09-05 16:20:45
380阅读
