1. 什么是HiveHive是facebook开发的，是一个基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并且提供HQL，也就是Hive SQL查询功能，底层数据实际上是存储在HDFS上面的。那么Hive的本质其实是将SQL语句转化为MapReduce任务运行的，可以让不熟悉MR的用户可以简单的通过Hive SQL来访问HDFS上结构化的数据，并且Hive适用于离线的批
转载
2023-07-06 22:09:42
113阅读
1. Hive基础1. Hive基础Hive基本概念引入原因：Hive是什么Hive数据管理四种数据模型Hive内部表和外部表Hive数据类型Hive的优化Map的优化：Reduce 的优化一个Reduce:分区裁剪（partition）笛卡尔积Map joinUnion allMulti-insert & multi-group byAutomatic mergeMulti-Count
转载
2023-07-12 21:16:02
59阅读
-- hive的库、表等数据操作实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容。一、hiveSQL转化为MR过程 一直好奇hiveSQL转化为MR过程，好奇hive是如何做到这些的，所以在网上找了几篇相关博客，根据自己理解重新画了一份执行过程图，做笔记。 二、h
转载
2023-07-12 09:30:10
165阅读
文章目录Hive初识Hive原理效率问题Hive做了什么事情Hive架构将SQL语句给Hive，它会做哪些过程Hive搭建模式local本地：元数据库(derby)与工具都是在本地缺点local(mysql)模式：hive工具与mysql在同一个节点上基于mysql的远程模式Hive中表的类型内部表（受控表）：受Hive控制。删除内部表的时候，HDFS上的数据及元数据都会被删除。外部表：删除外部
hive框架结构及特点现如今，大数据是互联网的趋势，hadoop作为大数据时代中较为核心的技术使用的人也越来越多。但是Hadoop的MapReduce操作的专业性较强，于是为了降低MapReduce的操作难度，更好的管理海量数据，就在此基础上开发了hive。Hive是一个数据仓库应用程序，对存储在HDFS中的数据进行分析和管理；将结构化的数据文件映射成一张数据库表，并提供完整的SQL查询功能，通过
转载
2023-07-14 13:01:59
158阅读
HiveJoinjoin_table:
table_reference JOIN table_factor [join_condition] |
table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference
join_condition | table_reference LEFT SEMI JOIN table_referen
转载
2023-07-14 11:05:58
693阅读
# Hive中的Grouping Sets理解
在数据分析过程中，我们常常需要对数据进行分组和聚合处理。Hive作为一个大数据处理工具，提供了多种聚合功能以便我们对数据进行深入分析。其中，`GROUPING SETS`是一个非常强大的功能，它允许用户在同一查询中多次聚合数据，从而可以简化某些查询。
本文将通过简单易懂的示例与图示来帮助读者理解`GROUPING SETS`的工作原理及其在Hiv
原创
2024-10-08 03:55:40
176阅读
在hive中，有三种窗口函数，rank(),dense_rank() 和row_number() 可以在窗口内实现对数据的排序。
转载
2023-05-27 23:09:07
185阅读
一.原始数据jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017
原创
2022-03-28 18:07:15
522阅读
一.原始数据jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017-01-04,29 jack,2017-01-05,46 jack,2017-04-06,42 - tony,2017-01-07,50 j...
原创
2021-06-21 16:04:37
873阅读
1、遇到一个hive的问题，如下hive sql：select t1.a,t1.b from table t1 join table2 t2 on ( t1.a=t2.a and t1.datecol=20110802)该语句中B表有30亿行记录，t1表只有100行记录，而且t2表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中遇有内存
转载
2022-06-17 09:26:08
399阅读
0.发展 在hive公布源代码之后 公司又公布了presto，这个比较快，是基于内存的。 impala：3s处理1PB数据。 1.Hive 能做什么，与 MapReduce 相比优势在哪里 关于hive这个工具，hive学习成本低，入手快，对于熟悉sql语法的人来说，操作简单，熟悉。 其实，还有一个
转载
2016-11-02 17:08:00
86阅读
2评论
深入理解Hive分区与分桶Hive分区Hive分桶分区又分桶Join底层MapReduce实现Common JoinMap Join高阶聚合函数with cubegrouping setsrollup 分区与分桶Hive分区在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。分区表指的是在
转载
2023-09-20 06:13:13
102阅读
Hive功能 通过将SQL转换成MR、Spark等任务，来计算HDFS中数据的工具。 Hive是基于Hadoop之上的数仓工具。通过HDFS存储真实的数据，通过YARN运行计算任务（MR、Spark等可以依赖YARN）。 那么我们简单分析Hive需要具备的能力： 对SQL编译、抽象 将SQL转换成计
原创
2021-08-22 09:42:31
247阅读
# 理解Presto与Hive的关系
在大数据处理领域，Presto和Hive都是广泛使用的查询引擎。尽管它们都旨在处理大规模的数据分析问题，但它们的架构和使用场景却存在显著的差异。在本文中，我们将探讨Presto和Hive之间的关系，并通过一个实际问题展示如何使用这两者来获取最佳的数据分析结果。
## Presto简介
Presto是一个高性能的分布式SQL查询引擎，支持对多种数据源进行交
Presto 与 Hive 语法学习 文章目录Presto 与 Hive 语法学习1. Presto语法1.1 数据类型布尔值整数浮点固定精度字符串日期和时间结构网络地址UUIDHyperLogLogKHyperLogLog1.2 SQL 语句语法ALTER FUNCTION --改变函数ALTER SCHEMA --改变模式ALTER TABLE --改变表ANALYZE --分析CALL --
转载
2024-01-03 22:24:59
156阅读
前言：既然涉及到计算，那么浮点数定点数的选择和位宽的选择是逃不开的。一般来说，定点数和低位宽的组合是低功耗和低资源消耗的，也就是硬件友好型的。首先简单的说明一下浮点数和定点数的区别。1. 浮点数的表示以float32为例，按照 IEEE 754标准的浮点数格式为： 其中s表示符号位，0为正1为负；M表示尾数；E表示阶码。在float32中，符号位占1位，尾数占23位，阶
转载
2024-06-13 09:46:28
51阅读
目录Kudu、Hudi和Delta Lake的比较存储机制读数据更新数据其他如何选择合适的存储方案 Kudu、Hudi和Delta Lake的比较kudu、hudi和delta lake是目前比较热门的支持行级别数据增删改查的存储方案，本文对三者之间进行了比较。 存储机制 kudukudu的存储机制和hudi的写优化方式有些相似。kudu的最新数据保存在内
转载
2024-06-24 08:16:26
34阅读
郑重声明：漫画人物和故事情节均是原创，未经同意禁止任何形式的转载，侵权将进入法律程序。大佬除外。欢迎大家转发
原创
2021-07-20 11:34:40
156阅读
作者：幻好 概述 通过学习 Apache Hive 基础知识和 HIve SQL 后，能够了解到 Hive 是将 SQL 语句通过底层转换生成 MR 程序进行工作，为了能对 Hive 能有一个更加深入的认识，还需要深入理解 ...
原创
2022-04-18 14:06:13
434阅读
