说明 【注意】 看清楚上面说的实训是不是和你需要做的实训是同一个实训！！！ 如果是同一个实训，直接复制粘贴代码，然后点击测评即可。 【发文时间】2021-05-26 16:03 【更新时间】2022-04-12 【更新内容】 【新增】Hive综合应用案例——学生成绩查询——第1关：计算每个班的语文总成绩和数学总成绩 【新增】Hive综合应用案例——学生成绩查询——第
转载
2023-07-20 19:51:24
1037阅读
点赞
综合案例接下来我们来看一个综合案例，主要使用外部分区表和视图实现需求：Flume按天把日志数据采集到HDFS中的对应目录中，使用SQL按天统计每天数据的相关指标 分析一下： Flume按天把日志数据保存到HDFS中的对应目录中 针对Flume的source可以使用execsource、channel可以使用基于文件的或者内存的，sink使用hdfssink，在hdfssink的path路径中需要使
转载
2023-07-14 13:11:36
148阅读
1、正确建表，导入数据（三张表，三份数据），并验证是否正确 （1）分析需求 需要创建一个数据库movie，在movie数据库中创建3张表，t_user，t_movie，t_rating t_user:userid bigint,sex string,age int,occupation string,zipcode string t_movie:movieid bigint,moviename s
转载
2023-07-20 19:58:44
1396阅读
点赞
1评论
用hive来进行日志分析有一段时间了，这里简要记录下我使用UDF和存储与导出hsql结果的实现方式，以供参考。（一）UDF 开发与使用案例 1、创建Maven工程，开发UDF（基于hadoop2.2.0+hive-0.12.0)。 1. <dependencies>
2. <dependency>
3. <groupId>org.apache.ha
转载
2024-02-20 16:40:57
86阅读
1：order by， sort by， distribute by， cluster by1.1 order byhive 中的 order by 语句会对查询结果做一次全局排序，即，所有的 mapper 产生的结果都会交给一个 reducer 去处理，无论数据量大小， job 任务只会启动一个 reducer，如果数据量巨大，则会耗费大量的时间。 提示： 如果在严格模式下， order by
转载
2023-12-20 06:21:14
112阅读
Hive是什么 1）Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库；2）一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制；3）Hive 定义了简单的类SQL 查询语言，称为HQL，它允许熟悉SQL 的用户查询数据；4）允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作；5）Hive没有专门的数据格式（分隔
转载
2024-03-10 22:58:29
56阅读
内容目录Hive实战小项目1、数据准备2、业务分析①统计视频观看数Top10②统计视频类别热度Top10③统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数④统计视频观看数Top50所关联视频的所属类别排序⑤统计类别视频观看数Top10⑥统计每个类别视频观看数Top10⑦统计上传视频最多的用户Top10以及他们上传的视频观看次数在前20的视频 Hive实战小项目需求分析：统
转载
2024-02-01 21:08:22
0阅读
1、特点（1）功能强大 高扩展性，弹性，容错 （2）轻量级 无需专门的集群 。一个库，而不是框架（3）完全集成 100%的Kafka 0.10.0版本兼容。易于集成到现有的应用程序 （4）实时性毫秒级延迟 、并非微批处理 、窗口允许乱序数据 、允许迟到数据2、为什么要有Kafka Stream当前已经有非常多的流式处理系统，最知名且应用
转载
2024-06-09 18:51:28
25阅读
x
原创
2022-11-14 05:22:45
664阅读
Hive是大数据离线计算的关键组件，常用于数仓建设。本节ShowMeAI来详细讲解Hive的搭建和配置及使用方法。
原创
2022-03-12 12:25:14
7931阅读
点赞
数据倾斜：操作• Join on a.id=b.id• Group by• Count Distinct count(groupby)• 原因• key分布不均导致的• 人为的建表疏忽• 业务数据特点• 症状• 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。• 查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可
转载
2023-07-13 15:58:51
64阅读
头歌平台Hive综合应用案例答案
在数字化时代，数据实时处理和分析愈发重要。头歌平台作为一个综合性服务平台，通过Hive实现了数据存储与分析，服务了多个业务场景。这篇文章将围绕头歌平台的Hive综合应用进行深入剖析，涵盖演进历程、架构设计、性能优化、故障复盘及扩展应用等方面。
## 业务场景分析
随着用户需求的快速增长，头歌平台面临大量业务数据的采集、存储与分析任务。平台需要能够快速响应用户请
目录一、Hive 执行过程概述1、概述2、Hive 操作符列表3、Hive 编译器的工作职责4、优化器类型二、join1、对于 join 操作2、实现过程3、具体实现过程三、Group By1、对于 group by操作2、实现过程四、Distinct1、对于 distinct的操作2、实现过程3、详细过程解释 正文回到顶部一、Hive 执行过程概述1、概述（1） Hive 将 HQL
转载
2023-09-15 21:37:26
124阅读
hive综合案例实战1、需求描述2、项目表字段2,1 数据结构3、ETL原始数据清洗4、项目建表并加载数据4.1 创建表4.2 导入ETL之后的数据(ODS层 textfile)4.3 向ORC表插入数据(DW层 ORC + snappy)5、业务分析5.1 统计视频观看数Top105.2 统计视频类别热度Top105.3 统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个
转载
2023-10-04 19:59:57
123阅读
1.hive模糊搜索表
show tables like '*name*';
2.查看表结构信息
desc formatted table_name;
desc table_name;
3.查看分区信息
show partitions table_name;
4.根据分区查询数据
select table_cou
转载
2023-07-18 11:39:10
351阅读
Hadoop hive sqoop zookeeper hbase生产环境日志统计应用案例
原创
2015-11-04 19:26:06
1579阅读
一、背景与目标1.1、背景1.、行业内竞争 民航的竞争除了三大航空公司之间的竞争之外，还将加入新崛起的各类小型航空公司、民营航空公司，甚至国外航空巨头。航空产品生产过剩，产品同质化特征愈加明显，于是航空公司从价格、服务间的竞争逐渐转向对客户的竞争。2.、行业外竞争 随着高铁、动车等铁路运输的兴建，航空公司受到巨大冲击。客户营销战略倡导者Jay & Adam Curry从国外数百家公司进行了
转载
2023-08-04 10:57:40
119阅读
1.TS3335D系列精密激光调阻设备，结合AOI检测系统，可对各种合金箔数字电阻进行精密检测、修复和调阻，精度高，速度快。2.TS4210D型多功能激光调阻机用于液位传感器的自动化生产。3.TS4210D型多功能激光调阻机用于压力传感器的自动化生产。4.TS4410F系列激光调阻机，用于线位移传感器的激光修刻。5.TS4410F系列激光调阻机，用于角位移传感器的激光修刻。
原创
2023-11-23 15:34:56
114阅读
摘要：Spark目前支持UDF，UDTF，UDAF三种类型的自定义函数。1. 简介Spark目前支持UDF，UDTF，UDAF三种类型的自定义函数。UDF使用场景：输入一行，返回一个结果，一对一，比如定义一个函数，功能是输入一个IP地址，返回一个对应的省份。UDTF使用场景: 输入一行，返回多行(hive),一对多, 而sparkSQL中没有UDTF， spark中用flatMap即可实现该功能。UDAF: 输入多行,返回一行, aggregate(主要用于聚合功能，比如groupBy，count，
原创
2021-05-28 00:25:38
1341阅读
在当今数据驱动的时代，教育行业也不例外，随着各类大数据平台的蓬勃发展，如何利用这些新兴技术提升教学管理的效率和效果成为了一项重要的挑战。本文将通过“头歌Hive综合应用案例 学生成绩查询”的方式，探讨在这一背景下如何设计一个高效、可靠的成绩查询系统。
## 背景定位
在我们的业务场景中，学校需要一个能够实时、精确查询学生成绩的系统，供教师、学生及其家长使用。传统的成绩查询方式常常受到数据延迟、
