大体理解为：hive会对写好的sql语句进行拆解，按执行顺序拆分红树结构(AST)交给mapreduce处理；htmlhive对不一样DML/DDL关键字有不一样的反应，比较敏感的有select、from、join、group by、distinct、insert等；sql对查询语句，hive首先会先根据from找到数据源(metastore)，而后从查询内部开始找用到的字段及其类型，看语句要求对
转载
2023-07-12 09:10:05
76阅读
一、概念：1、结构化和非结构化数据结构化数据：固有的键值对非结构数据：没有固定的键值对，没有明确的映射关系所以就可以理解下面这句话：hive是由facebook开源用于解决海量结构化日志的数据统计项目。2、Hive是基于Hadoop文件系统上的数据仓库架构，它为数据仓库的管理提供了许多功能：数据ETL(抽取、转换和加载)、数据存储管理和大型数据集的查询和分析能力。RDBMS(关系型数据库)OLTP
转载
2023-08-24 22:28:57
87阅读
Hive–HQL的转换过程 文章目录**Hive--HQL的转换过程**一：Hive的执行过程概述：操作符列表Hive 编译器的工作职责：优化器的类型：二：具体转化过程1）join2）group by3）distinck 一：Hive的执行过程概述：Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等操作符 Operato
转载
2023-07-14 12:53:13
103阅读
# Python执行HQL指南
作为一名经验丰富的开发者，我很高兴能帮助刚入行的小白学习如何使用Python执行HQL（Hive查询语言）。以下是一份详细的指南，包括流程、代码示例和图表，以帮助您更好地理解整个过程。
## 流程概述
首先，让我们通过一个表格来概述整个流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 安装必要的库 |
| 2 | 配置Hive连接 |
原创
2024-07-26 10:29:54
60阅读
第11章 Hive：SQL on Hadoop11.5 HQL：DDL数据定义HQL中数据定义部分，也就是DDL，主要包括数据库定义和数据表的定义。前面创建的Hive数据表都是普通的数据表，下来演示分区表等特殊表的定义与使用。11.5.1 删除表查找需要删除的表hive> use default;
OK
Time taken: 0.038 seconds
hive> show tabl
转载
2023-08-23 21:14:18
80阅读
DDL操作：增删改数据库表和数据库(hive中ddl操作是可以操作数据库的)DML操作：增删改数据HIVE中特别的字段集合类型：Strutc(first String,last String): 由first 和last 组成一个字段Map(key,value,key,value...)：由key value 组成字段，需要指定哪个是key 哪个是valueArray(value String,v
转载
2024-01-25 22:10:32
51阅读
3.9 表分区3.9.1 表分区概述Hive 分区partition （订单介绍） 必须在表定义时指定对应的partition字段，分区的本质相当于在表的目录下在分目录进行数据的存储。分区好处： 查询时可以通过过滤不需要的分区下的数据，减少查询时的磁盘IO操作。单分区建表语句：create table day_table (id int, content string) partitioned b
转载
2024-01-11 21:54:54
51阅读
在Hive中，HQL（Hive Query Language）是一种类似于SQL的查询语言，用于在Hadoop平台上进行数据分析和查询。在Hive中，我们可以使用循环语句来简化复杂的操作，提高查询效率。本文将介绍如何在Hive中使用for循环，以及如何编写简单的循环示例。
### 什么是Hive中的for循环？
在Hive中，for循环用于重复执行一组语句，直到满足特定条件为止。与其他编程语言
原创
2024-07-02 05:50:53
158阅读
保存select查询结果的几种方式：1、将查询结果保存到一张新的hive表中create table t_tmpasselect * from t_p;2、将查询结果保存到一张已经存在的hive表中insert into table t_tmpselect * from t_p;3、将查询结果保存到指定的文件目录（可以是本地，也可以是hdfs）inse
转载
2022-04-13 11:28:50
204阅读
## 了解Hive HQL中的LIKE语句
在Hive查询语言（HiveQL）中，LIKE是一种用于模糊匹配字符串的操作符。它可以帮助我们在进行数据查询时更加灵活地筛选出符合条件的数据。通过使用通配符，我们可以实现更加精确的匹配操作。
### 什么是LIKE操作符
LIKE操作符用于在查询中指定模式。它与SQL中的通配符一起使用，以便在过滤结果时更加灵活。常见的通配符有两种：
- `%`：
原创
2024-07-14 07:21:36
96阅读
目录编译流程获取AST进行语义解析小结：前一篇文章中我梳理了HQL语句从提交到进入编译流程的一个简单过程，接下来我将数理在编译流程中的工作。编译流程总目标：编译流程由Driver 的compile(hql)函数实现。该函数将HQL 语句编译成执行计划，也称为Query Plan。编译的过程还是比较复杂的。总结起来包括以下几个关键步骤： 1. 对HQL 做变量替换预处理； 2. 构造一个ParseD
转载
2024-05-09 08:46:19
38阅读
HIVE介绍参考 1、Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。 2、Hive 是建立在 Ha
转载
2023-09-01 14:49:08
48阅读
今天想通过执行“hive”命令进入命令行查数据，发现一只卡住不动，如下：查看日志也没发现有什么错误信息，于是退出命令，通过DEBUG模式重新进入命令行：hive -hiveconf hive.root.logger=debug,console发现是hdfs NameNode连接异常，然后巴拉巴拉一顿处理（重启hdfs →_→），解决。每个人情况都会有所不同，根据debug信息做相应处理，应该就OK
转载
2023-05-29 16:13:14
473阅读
Hive介绍Hive概述Hive是基于Hadoop的一个数据仓库工具。可以键结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行。其优点是学习成本低，可以通过类SQL语句快速实现MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以
转载
2023-09-08 12:37:30
214阅读
目录hive简介hive架构图hive cli架构图hive源码结构hive三大核心模块hive执行命令入口接收命令的入口函数调用`cli.CliDriver.run()`方法`executeDriver`调用 `cli.processLine()`或者`cli.processFile()`调用`CliDriver.processCmd()`方法调用processLocalCmd()方法调用Dr
转载
2023-09-04 16:00:54
59阅读
导语时间飞梭而过，眼看这2018新年伊始，转眼间128大促已经落下帷幕，回顾过去的两周，协助大促监控和业务分析捞数竟然暂用了我大量的工作时间，期间不断的在用Hive SQL进行捞数分析，本着对工作认真负责的态度，对使用的语言做到知其然而知其所以然，最近好好的研究了一把Hive SQL的执行原理，以便写出性能更好的Hive SQL语句。什么是Hive SQL？地球人都知道，我就不说了，直接跳过。。。
转载
2023-08-18 23:00:13
62阅读
在这篇博文中，我们将探讨如何将 Java 集成到 Hive HQL 中，以实现对大数据的高效查询和操作。Java 和 Hive 的集成可以通过多种方法实现，下面我们将详细介绍这个过程，分成几个主要部分。
## 环境准备
在开始集成之前，我们需要确保我们的开发环境支持 Java 和 Hive 的相关版本。以下是我们的技术栈兼容性图表和版本兼容性矩阵。
```mermaid
quadrantCh
Hive基础(1)Hive的HQL(2)1. HQL的数据定义，HQL是一种SQL方言，支持绝大部分SQL-92标准。但是和SQL的差异为：不支持行级别的操作，不支持事务等。HQL的语法接近于MySQL。2. Hive的数据库，本质仅仅是个表的目录或者命名空间。一般用数据库将生产表...
转载
2016-04-17 20:50:00
141阅读
2评论
# Hive HQL Delete Update 实现方法
## 简介
在Hive中，我们可以使用Hive SQL（也称为HQL）来执行数据库的删除和更新操作。本文将指导一位刚入行的小白如何实现Hive HQL中的删除和更新操作。我们将按照以下步骤进行说明：
1. 连接到Hive数据库
2. 创建一个新表并插入数据
3. 删除表中的数据
4. 更新表中的数据
## 流程图
以下是整个过程的流
原创
2024-01-04 12:00:01
92阅读
