# 大数据处理Hive面试题及答案
在大数据领域，Apache Hive是一个为数据仓库提供数据抽象的工具，让用户能够通过类似SQL的查询语言（HiveQL）来进行数据分析。本文将介绍一些常见的Hive面试题，并结合示例代码和图表，帮助读者更好地理解Hive的使用。
## 1. Hive的基本概念
Hive是一个数据仓库基础框架，旨在处理和分析存储在Hadoop分布式文件系统（HDFS）上的
原创
2024-08-28 07:59:55
122阅读
大数据面试题及答案1 kafka的message包括哪些信息2 怎么查看kafka的offset3 hadoop的shuffle过程4 spark集群运算的模式5 HDFS读写数据的过程6 RDD中reduceBykey与groupByKey哪个性能好，为什么？7 spark2.0的了解8 rdd 怎么
转载
2021-09-08 16:08:28
657阅读
大数据面试题及答案1 kafka的message包括哪些信息2 怎么查看kafka的offset3 hadoop的shu
转载
2022-01-18 10:09:40
174阅读
Hive高频面试题1.Hive的架构及HQL转换为MR流程Hive元数据默认存储在derby数据库，不支持多客户端访问，所以将元数据存储在MySQl，支持多客户端访问。Hive架构HQL编译为MR任务流程介绍HQL转换为MR核心流程2.Hive和数据库比较1）数据存储位置Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中2）数据更新Hive中不建议对数据的改写。而数据库中的数
大数据面试题及答案1 kafka的message包括哪些信息2 怎么查看kafka的offset3 hadoop的shuffle过程4 spark集群运算的模式5 HDFS读写数据的过程6 RDD中reduceBykey与groupByKey哪个性能好，为什么？7 spark2.0的了解8 rdd 怎么分区宽依赖和窄依赖9 sp
转载
2021-12-07 16:49:37
226阅读
大数据面试题及答案1 kafka的message包括哪些信息2 怎么查看kafka的offset3 hadoop的shuffle过程4 spark集群运算的模式5 HDFS读写数据的过程6 RDD中reduceBykey与groupByKey哪个性能好，为什么？7 spark2.0的了解8 rdd 怎么分区宽依赖和窄依赖9 spark streaming 读取kafka数据的两种方式10 kafka的数据存在内存还是磁盘11 怎么解决kafka的数据丢失12 fsimage和edi
原创
2022-02-04 16:25:20
259阅读
最近在深入了解Hive，尚硅谷的这5道题很经典，有引导意义，分步解题也很有用，故记录之，方便回看1.连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量 找出连续 3 天及以上减少碳排放量在 100 以上的用户id dt lowcarbon 1001 2021-12-12 123 1002 2021-12-12 45 1001 2021-12-13 43 1001 2021-12-13 45 100
转载
2024-04-16 18:29:27
467阅读
1、统计影音视频网站的常规指标，各种 TopN 指标统计视频观看数 Top10统计视频类别热度 Top10统计出视频观看数最高的 20 个视频的所属类别以及类别包含 Top20 视频的个数统计视频观看数 Top50 所关联视频的所属类别排序统计每个类别中的视频热度 Top10,以 Music 为例统计每个类别视频观看数 Top10统计上传视频最多的用户 Top10 以及他们上传的视频观看次数在前
转载
2023-09-12 11:13:32
194阅读
hive的作用：hive最初的设计目的是为了给哪些精通sql但是不熟悉Hadoop的分析师，用来分析大规模的结构化的数据文件而设计的。首先最重要的一点：hive的使用和关系型数据库的使用方式类似（类sql语句），那我们为什么不使用关系型数据库而使用hive？1.hive能分析超大数据规模的数据。2.hive用于分析存储在文件中的结构化的数据。而关系型数据库不能。所以hive最初的设计目的是：给哪些
转载
2023-09-07 21:47:33
169阅读
第1部分 申请ID.. 3 第2部分 部署kafka. 4 2.1 部署86节点kafka. 4 2.2 配置86节点zookeeper. 5 2.3 部署87节点kafka. 5 2.4 配置87节点zookeeper. 5 第3部分 启动zookeeper. 5 3.1 启动86节点启动zook
转载
2021-07-22 11:16:27
684阅读
第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大 的几个）及相应的频率
转载
2023-09-14 14:04:53
212阅读
1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆） 1）倾斜原因： map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周
原创
2022-05-16 09:16:48
689阅读
本文是笔者在面试过程中被问到次数最多的一些问题,特此记录8.常用的hive导入数据的方式从本地导入数据到表中load data local '本地路径' into 表名称从hdfs导入数据到表中load data inpath 'hdfs路径' into 表名称表已存在,从别的表中查出数据导入到表中建表的时候从别的表中查出数据导入到表中(表并不存在)9.常用的hive导出数据的方式导出表中数据到本
转载
2023-08-10 11:27:24
104阅读
Map端的主要工作：为来自不同表(文件)的 key/value 对打标签以区别不同来源的记录。然后用连接字段作为 key，其余部分和新加的标志作为 value，最后进行输出。
转载
2023-08-04 08:39:52
40阅读
一、Hive面试题1、hive内部表和外部表的区别未被external修饰的是内部表，被external修饰的为外部表。区别:内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse）， 外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上 的/
转载
2023-09-23 09:07:52
32阅读
目录1. 一个超级大文件，每行一个url，求每一个url出现的次数1.1 如果是小文件1.2 如果是超级大文件2. 两个超级大文件，每行一个url，求两个文件中相同的url2.1 如果是两个小文件2.2 如果是两个超级大文件3. 一个超级大文件，每行一个url，快速查询出给定的url是否在这个大文件中3.1 如果是小文件3.2如果是超级大文件 1. 一个超级大文件，每行一个url，求每一个url
转载
2024-07-26 12:48:09
108阅读
1.Hive的架构 1.用户接口：Client CLI（command-line interface），JDBC/ODBC（JDBC访问hive），WEBUI（浏览器访问hive） 2.元数据：Metastore 元数据包括：表名，表所属的数据库（默认是default），表的拥有者，列分区字段，表的类型（是否是外部表），表的数据所在目录等； 3.hadoop 使用HDFS进行存储，使用MapRed
转载
2023-08-10 11:26:42
155阅读
目录1. Hive 中内部表和外部表的区别以及使用场景内部表：2. Hive 有哪些保存元数据的方式3. Hive 中分区表和分桶表的区别和使用场景4. Hive 查询的时候 on 和 where 的区别5. Hive 中 inner join、left join 和 right join 的区别6. Hive 的执行计划7. Hive 和 MySQL 的区别，为什么大数据选用 Hive8. Hi
转载
2023-08-14 19:04:07
96阅读
### Hive是什么结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。### 为什么使用Hive1.） 直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短M
转载
2024-03-12 07:38:40
57阅读
1、Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件
原创
2022-05-16 09:17:11
512阅读
