Hadoophadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。1. 请说下HDFS读写流程这个问题虽然见过无数次，面试官问过无数次，还是有不少面试者不能完整的说出来，所以请务必记住。并且很多问题都是从HDFS读写流程中引申出来的。HDFS写流程：Client客户端发送上传请求，通过RPC与NameNode建立通信，
转载
2023-09-08 12:45:13
94阅读
Hive面试题—理清hive应用思路问题：有一张很大的表：TRLOG该表大概有2T左右。TRLOG：
CREATE TABLE TRLOG
(PLATFORM string,
USER_ID int,
CLICK_TIME string,
CLICK_URL string)
row format delimited fields terminated by '\t'; 数据：PLATFORM
转载
2024-06-05 05:35:38
142阅读
# Hive SQL 面试题及其解析
在大数据时代，Hive 被广泛使用于数据仓库的构建与管理。作为一种基于 Hadoop 的数据处理工具，Hive 允许用户使用 SQL-like 的查询语言（称为 HiveQL）来进行数据分析。因此，Hive SQL 面试题在大数据相关的职位中变得愈加重要。本文将梳理一些常见的 Hive SQL 面试题，并附有代码示例及解析，帮助读者更好地理解其用法和应用场景
原创
2024-10-21 05:34:45
41阅读
总结下Hive的面试点Hive可考察的内容有：基本概念、架构、数据类型、数据组织、DDL操作、函数、数据倾斜、SQL优化、数据仓库。面试数据分析工程师更多会考察DDL操作、函数、数据倾斜、Hive优化、数据仓库这些知识点。来看看具体问题吧。1、基本概念 基本概念一般会以问答题的方式进行考察，比如在面试的时候直接问：说说你对Hive的理解？Hive
转载
2023-07-20 21:17:25
111阅读
最近在深入了解Hive，尚硅谷的这5道题很经典，有引导意义，分步解题也很有用，故记录之，方便回看1.连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量 找出连续 3 天及以上减少碳排放量在 100 以上的用户id dt lowcarbon 1001 2021-12-12 123 1002 2021-12-12 45 1001 2021-12-13 43 1001 2021-12-13 45 100
转载
2024-04-16 18:29:27
467阅读
1.Hive数据倾斜问题倾斜原因： 1)key分布不均匀 2)业务数据本身的特性 3)SQL语句造成数据倾斜解决方案：1）参数调节：①开启 Map 端聚合参数设置 hive.map.aggr=true 当选项设定为true,生成的查询计划会有两个MR Job.相同的 Group By Key 有可能被分发到不同的 Reduce 中，从而达到负载均衡的目的；②开启MapJoin参数设置 Set hi
转载
2023-07-29 14:18:22
109阅读
Hive sql编程面试题第1题表结构：uid,subject_id,score求：找出所有科目成绩都大于某一学科平均成绩的学生数据集如下1001 01 90
1001 02 90
1001 03 90
1002 01 85
1002 02 85
1002 03 70
1003 01 70
1003 02 70
1003 03 851）建表语句create table score(
uid
转载
2023-08-14 10:42:21
235阅读
作业题1、找出全部夺得3连贯的队伍team,year
活塞,1990
公牛,1991
公牛,1992
公牛,1993
火箭,1994
火箭,1995
公牛,1996
公牛,1997
公牛,1998
马刺,1999
湖人,2000
湖人,2001
湖人,2002
马刺,2003
活塞,2004
马刺,2005
热火,2006
马刺,2007
凯尔特人,2008
湖人,2009
湖人,2010
cr
# 手写Hive SQL面试题及解析
在数据处理和分析领域，Hive作为一种流行的数仓工具，采用类似SQL的查询语言，使得非专业的开发者也能够轻松进行数据分析。因此，掌握Hive SQL语法对于大数据相关职位的面试尤为重要。本文将介绍一些常见的Hive SQL面试题，并提供相应的代码示例。
## 1. Hive SQL基础语法
Hive SQL的基本语法类似于SQL，提供了丰富的数据处理功能
（笔者自己做记录）1.Hive内外部表的区别删除表是否影响外部数据2.Hive如何做到权限管理hive下可以修改配置后创建用户管理,但是仅仅是为了防止误操而已,如果要真的为了安全操作建议使用
Kerberos3.Hive的数据倾斜和调优key分布不均匀造成 去null 调节参数hive.map.aggr=truemap端聚合，相当于combinerhive.groupby.skewindata=t
目录1.请谈一下hive的特点?2.Hive底层与数据库存交互原理?3.Hive内部表和外部表的区别?4.Hive导入数据的五种方式是什么?举例说明5.hive与传统关系型数据库的区别6. Hive中创建表有哪几种方式，其区别是什么？7.Hive的窗口函数有哪些8.row_number()，rank()和dense_rank()的区别9.Hive如何实现分区10.Hive的两张表关联，使
转载
2023-09-08 12:30:39
145阅读
第一题需求我们有如下的用户访问数据
userId visitDate visitCount
u01 2017/1/21 5
u02 2017/1/23 6
u03 2017/1/22 8
u04 2017/1/20 3
u01 2017/1/23 6
u01 2017/2/21 8
U02 2017/1/23 6
U01 2017/2/22
转载
2024-07-25 14:49:51
68阅读
第一题
需求
我们有如下的用户访问数据
userId visitDate visitCount
u01 2017/1/21 5
u02 2017/1/23 6
u03 2017/1/22 8
u04 2017/1/20 3
u01 2017/1/23 6
u01 2017/2/21 8
U02
转载
2021-06-12 10:48:22
614阅读
Hivesql10题1.找出所有科目成绩都大于某一学科平均成绩的学生2.统计出每个用户的累积访问次数3.有50W个京东店铺，每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志，访问日志存储的表名为Visit，访客的用户id为user_id，被访问的店铺名称为shop，请统计：4.已知一个表STG.ORDER，有如下字段:Date，Order_id，User_id，amount。请给
转载
2023-11-20 00:54:33
83阅读
Hive面试题整理（一） 1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆） 1）倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。 （1）key分布不均匀; （2）业务 ...
转载
2021-08-22 20:31:00
58阅读
2评论
Hivehive 内部表和外部表的区别 hive 有索引吗 运维如何对hive进行调度 ORC、Parquet等列式存储的优点 数据建模用的哪些模型？ 为什么要对数据仓库分层？ 使用过Hive解析JSON串吗
原创
2021-06-12 00:10:03
978阅读
目录一、窗口函数概述：1.窗口函数的分类2.窗口函数与普通聚合函数的区别：二、窗口函数的基本用法1.基本语法2.设置窗口的方法1）window_name2）partition by 子句3) order by子句4）rows 指定窗口大小3.开窗函数中加order by 和 不加 order by的区别三、窗口函数用法举例1.序号函数：row_number() / rank() / dense_r
转载
2023-09-20 04:37:12
3618阅读
# Hive面试题简介
在大数据领域，Hive 是一个构建在 Hadoop 之上的数据仓库，它提供了一个方便的 SQL 接口用于查询和分析大数据。
Hive 最初是由 Facebook 开发的，用于处理大规模的结构化数据。它被设计成类似于传统数据库的查询语言，使得开发人员可以使用 SQL 语句来查询和处理存储在 Hadoop 中的数据。
在 Hive 的发展过程中，出现了很多与 Hive 相
原创
2023-07-17 19:29:22
111阅读
Hivehive 内部表和外部表的区别 hive 有索引吗 运维如何对hive进行调度 ORC、Parquet等列式存储的优点 数据建模用的哪些模型？ 为什么要对数据仓库分层？ 使用过Hive解析JSON串吗
原创
2021-06-12 00:10:20
965阅读
1、统计影音视频网站的常规指标，各种 TopN 指标统计视频观看数 Top10统计视频类别热度 Top10统计出视频观看数最高的 20 个视频的所属类别以及类别包含 Top20 视频的个数统计视频观看数 Top50 所关联视频的所属类别排序统计每个类别中的视频热度 Top10,以 Music 为例统计每个类别视频观看数 Top10统计上传视频最多的用户 Top10 以及他们上传的视频观看次数在前
转载
2023-09-12 11:13:32
194阅读
