hive综合案例实战1、需求描述2、项目表字段2,1 数据结构3、ETL原始数据清洗4、项目建表并加载数据4.1 创建表4.2 导入ETL之后的数据(ODS层 textfile)4.3 向ORC表插入数据(DW层 ORC + snappy)5、业务分析5.1 统计视频观看数Top105.2 统计视频类别热度Top105.3 统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个
转载
2023-10-04 19:59:57
123阅读
我们通过hive shell去操作hive，本文我们以Java代码的示例去对hive执行加载数据和查询数据来演示JavaAPI如何通过JDBC来操作hive的一、依赖 由于hive的服务端基于1.2.2版本，所以这里采用jdbc1.2.2，否则你可能报一些奇怪的错误（下载依赖需要一点时间）<dependency>
<groupId>
转载
2023-07-05 15:39:16
96阅读
数据倾斜：操作• Join on a.id=b.id• Group by• Count Distinct count(groupby)• 原因• key分布不均导致的• 人为的建表疏忽• 业务数据特点• 症状• 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。• 查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可
转载
2023-07-13 15:58:51
64阅读
综合案例接下来我们来看一个综合案例，主要使用外部分区表和视图实现需求：Flume按天把日志数据采集到HDFS中的对应目录中，使用SQL按天统计每天数据的相关指标 分析一下： Flume按天把日志数据保存到HDFS中的对应目录中 针对Flume的source可以使用execsource、channel可以使用基于文件的或者内存的，sink使用hdfssink，在hdfssink的path路径中需要使
转载
2023-07-14 13:11:36
148阅读
说明 【注意】 看清楚上面说的实训是不是和你需要做的实训是同一个实训！！！ 如果是同一个实训，直接复制粘贴代码，然后点击测评即可。 【发文时间】2021-05-26 16:03 【更新时间】2022-04-12 【更新内容】 【新增】Hive综合应用案例——学生成绩查询——第1关：计算每个班的语文总成绩和数学总成绩 【新增】Hive综合应用案例——学生成绩查询——第
转载
2023-07-20 19:51:24
1037阅读
点赞
目录一、Hive 执行过程概述1、概述2、Hive 操作符列表3、Hive 编译器的工作职责4、优化器类型二、join1、对于 join 操作2、实现过程3、具体实现过程三、Group By1、对于 group by操作2、实现过程四、Distinct1、对于 distinct的操作2、实现过程3、详细过程解释 正文回到顶部一、Hive 执行过程概述1、概述（1） Hive 将 HQL
转载
2023-09-15 21:37:26
124阅读
jdbc远程连接hiveserver22016-04-26 15:59 本站整理 浏览(425) 在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情
转载
2023-12-25 12:53:27
124阅读
1：order by， sort by， distribute by， cluster by1.1 order byhive 中的 order by 语句会对查询结果做一次全局排序，即，所有的 mapper 产生的结果都会交给一个 reducer 去处理，无论数据量大小， job 任务只会启动一个 reducer，如果数据量巨大，则会耗费大量的时间。 提示： 如果在严格模式下， order by
转载
2023-12-20 06:21:14
112阅读
用hive来进行日志分析有一段时间了，这里简要记录下我使用UDF和存储与导出hsql结果的实现方式，以供参考。（一）UDF 开发与使用案例 1、创建Maven工程，开发UDF（基于hadoop2.2.0+hive-0.12.0)。 1. <dependencies>
2. <dependency>
3. <groupId>org.apache.ha
转载
2024-02-20 16:40:57
86阅读
1. 什么是RESTfulAPIRESTful API 是一种互联网软件架构的设计规范，设计指南，设计风格，设计原则（类似于web标准，并不是标准【规范，原则】）2. 产生背景开始开发时，前后端高度融合（耦合） 近些年：前后端分离，前端各种客户端产生。基于这种现状，需要一个统一的机制。为前后端通信服务（API机制） 因此，前后端分离开来前后端基于API 开发，即：面向接口开发 前后端基于接口传递数
转载
2024-02-19 02:30:18
250阅读
内容目录Hive实战小项目1、数据准备2、业务分析①统计视频观看数Top10②统计视频类别热度Top10③统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数④统计视频观看数Top50所关联视频的所属类别排序⑤统计类别视频观看数Top10⑥统计每个类别视频观看数Top10⑦统计上传视频最多的用户Top10以及他们上传的视频观看次数在前20的视频 Hive实战小项目需求分析：统
转载
2024-02-01 21:08:22
0阅读
# 如何实现 Hive OrcDump API
在大数据处理的过程中，会有各种各样的数据格式需要处理。使用 Hive 管理数据是其中之一，而 Orc 数据存储格式则是常用的列式存储格式。当我们需要从 Hive 中导出 ORC 格式的数据时，`orcdump` API 提供了方便的方法。本文将指导你如何实现 Hive 的 OrcDump API，适合刚入行的小白进行参考和学习。
## 流程概述
原创
2024-08-24 03:41:05
29阅读
arcgis中使用标签前言发展结果 前言当我们在arcgis中标注要素的时候，有时候会使用到一些特殊的东西，比如：上下标，下划线等等，没错，今天我就遇到了.所以就去看之前别人的模板，确实让我找到了当时需要的下划线的写法，不过后面要是遇到别的呢，别人没有模板呢，所以研究了一下。发展打开标注的表达式，发现支持三种语言：js、py、vb 然而arcgis之前的人常用的就是vb，可是呢，我对它一点不熟悉
设置查询时显示字段名称
hive> set hive.cli.print.header=true;
设置cli模式下显示当前所在的数据库名称
hive> set hive.cli.print.current.db=true;
设置hive的安全措施为"strict(严格)"模式(如果对分区表查询的WHERE子句中没有加分区过滤的话，将禁止提交这个任务)
hive> set h
转载
2023-06-12 21:13:37
132阅读
第一部分 Hive概述第 1 节 Hive产生背景直接使用MapReduce处理大数据，将面临以下问题:MapReduce 开发难度大，学习成本高(wordCount => Hello World)Hdfs文件没有字段名、没有数据类型，不方便进行数据的有效管理使用MapReduce框架开发，项目周期长，成本高Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表 (
转载
2024-05-02 08:49:00
95阅读
分析查询数据筹备7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,\N,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,198
转载
2024-07-22 17:32:10
37阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、HIVE是什么？二、Hive的安装配置1.版本配置2.hive搭建配置2.1配置hive的环境变量2.2配置hive的配置文件2.3配置hadoop影响hive部分的环境变量3.Hive Shell简单操作4.Hive Api操作4.1启动hiveserver2服务4.2 hive实战使用总结 前言提示：这里可以添加
转载
2023-08-13 14:20:52
227阅读
从Hive llap特性的出现，分析作用、部署、使用细节问题，总结hive llap使用经验和注意事项。
(From the appearance of the Hive llap feature, analyze the function, deployment, and use details, and summarize the experience an
转载
2023-07-05 15:38:58
171阅读
导读：快手基于Hive构建数据仓库，并把Hive的元数据信息存储在MySql中，随着业务发展和数据增长，一方面对于计算引擎提出了更高的要求，同时也给Hive元数据库的服务稳定性带来了巨大的挑战。本文将主要介绍Hive MetaStore服务在快手的挑战与优化，包括：快手SQL on Hadoop智能引擎架构Hive MetaStore在快手的挑战Hive MetaStore在快手的优化快手SQL
转载
2024-03-12 12:43:52
61阅读
文章目录一. 表的基本操作1. 新建数据库2. 删除数据库3. 显示数据库4. 指定使用数据库5. 创建内部表6. 创建外部表7. 导入数据 load 命令8. 创建分区表 partitioned by ()二. 表的查询和连接0. 准备工作 （准备数据，建表，导入数据）准备数据建表 + 导入数据表当前数据1. 查询 select2. join关联查询内连接 t_a join t_b on co
转载
2023-08-29 18:30:12
44阅读
