一、hive简介hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL。二、hive sql与sql的区别其实不同的
转载
2023-07-04 14:57:02
171阅读
Hive SQL的基本模式可以分为三类：select语句：比如select order _id, buyer_id,cate_name from orders_table where day=' 20170101' and cate_name=’ iphone7';，实际中where条件可能更为复杂并且会有and/or等各种组合。Hive SQL是被翻译成MapReduce任务执行的，所以Hive
转载
2023-06-19 10:47:56
236阅读
hive 2.1 hive执行sql有两种方式：执行hive命令，又细分为hive -e，hive -f，hive交互式；执行beeline命令，beeline会连接远程thrift server；下面分别看这些场景下sql是怎样被执行的：1 hive命令启动命令启动hive客户端命令$HIVE_HOME/bin/hive等价于$HIVE_HOME/bin/hive --service
转载
2023-05-25 16:19:08
361阅读
认识 HiveHive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 Hive SQL，使不熟悉 MapRed
本节结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。Hive 底层执行架构我们先来看下 Hive 的底层执行架构图， Hive 的主要组件与 Hadoop 交互的过程：Hive底层执行架构
继上篇DDL中load的数据继续进行脚本操作。hive执行脚本hive -e “sql语句” 会将查询的结果打印在控制台上。 hive -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中，会显示OK和抓取的数据条数 hive -S -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中，不会显示OK和抓取的数据条数 hive -f
转载
2023-06-08 16:12:52
0阅读
这里转换成hive的sql语句：hql，其根本问题是为了解决hive不支持事物处理、数据删除操作，这两点是hive的sql和传统sql差异的主要点； 就比如一段存储过程，现在需要迁移到hive上运行，一般主要过程：声明变量、初始化批次状态表(记录程序运行的位置及数据状态)、业务数据处理(事物处理)、更新批次状态表、删除业务数据(无效数据\已处理数据)； 声明变量：通过java工具(项目开发中的一个
Hive是一个数据仓库基础的应用工具，在Hadoop中用来处理结构化数据，它架构在Hadoop之上，通过SQL来对数据进行操作。Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。Hive 并非为联机事务
转载
2023-05-27 14:58:45
517阅读
## Hive执行SQL的流程
Hive是建立在Hadoop之上的一种数据仓库基础架构，它提供了一种类似于SQL的查询语言HQL（Hive Query Language），用于对存储在Hadoop中的数据进行查询和分析。下面是实现Hive执行SQL的步骤。
```mermaid
flowchart TD
A[连接到Hive服务器] --> B[编写HQL语句]
B --> C[
## hive sql 执行流程
### 整体流程图
```mermaid
graph TD
A[准备工作] --> B[创建表]
B --> C[加载数据]
C --> D[数据处理]
D --> E[数据分析]
```
### 具体步骤与代码示例
#### 1. 准备工作
在执行 Hive SQL 前，需要先安装和配置 Hive，并确保 Hadoop 集群正常运行。你可以在 Hado
原创
2023-09-30 09:34:11
56阅读
作者：李继武1文档编写目的在Hive On Spark的模式下，无论是通过Beeline还是hive CLI访问Hive，使用Spark引擎执行SQL语句时，都会在/tmp目录下生成一个spark_submit.*.properties文件。Hive CLI方式会在当前节点/tmp目录生成，使用Beeline方式则会在HiveServer2所在节点的/tmp目录下生成。 一般情况下sp
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作一、MapReduce实现基本SQL操作的原理1、join的实现原理Map Join的实现原理CommonJoinResolver优化器Reduce Join的实现原理3、Group By的实现原理二、SQL转化为MapReduce的过程 Hive是基于Hadoop的一个数据仓库系统，在各大公
转载
2023-07-12 21:15:50
138阅读
# 实现Hive执行SQL的步骤和代码示例
## 整体流程
下面是实现Hive执行SQL的整体流程表格：
| 步骤 | 描述 |
| ---- | -------------- |
| 1 | 连接到Hive数据库 |
| 2 | 创建表 |
| 3 | 插入数据 |
| 4 | 执行SQL查询 |
## 步骤及
目录0-前言1-查看SQL的执行计划1.1-explain的用法2-explain使用场景2.1-join 语句会过滤 null 的值吗？2.2-group by 分组语句会进行排序吗？2.3-哪条sql执行效率高呢？3-explain dependency的用法3.1-识别看似等价的代码3.2-识别SQL读取数据范围的差别4-explain authorization 的用法5-总结 0-前言
背景Hive 有丰富的内置函数，方便数据处理和数据分析。但是有些时候无法满足需求，这时就需要自定义函数（User-Defined Functions , UDF）来扩展 Hive 函数库，实现用户想要的功能。 UDF 开发编写 UDF 函数需要下面两个步骤：继承 org.apache.hadoop.hive.ql.exec.UDF实现 evaluate 函数，这个函数必须要有返回值，不能设置为vo
转载
2023-07-17 22:39:09
97阅读
一、概念：1、结构化和非结构化数据结构化数据：固有的键值对非结构数据：没有固定的键值对，没有明确的映射关系所以就可以理解下面这句话：hive是由facebook开源用于解决海量结构化日志的数据统计项目。2、Hive是基于Hadoop文件系统上的数据仓库架构，它为数据仓库的管理提供了许多功能：数据ETL(抽取、转换和加载)、数据存储管理和大型数据集的查询和分析能力。RDBMS(关系型数据库)OLTP
转载
2023-08-24 22:28:57
66阅读
目录0 数据准备1 执行计划分析及验证2 小结0 数据准备create table follow
(
user_id int,
follower_id int
)row format delimited
fields terminated by '\t';
insert into follow values (1,2);
insert into follow values
Hive sql 优化方案梳理总结目录Hive sql 优化方案梳理总结说明简单最合理对应表的HDFS文件大小和数量问题数据倾斜问题where在on前面后面的问题数仓逻辑层面的优化group by代替COUNT(DISTINCT)尽量不要使用in这种函数case when函数when越多算的越慢 说明此篇文章我们将对Hivesql的优化方案进行梳理和总结，欢迎大家一起讨论，可以补充和完善
今天思考on，where，having的执行顺序，联想到了整个sql语句的执行顺序。sql语句的执行顺序为(1) from (2) on (3) join (4) where (5) group by, count, sum, avg(6) having (7) select (8) distinct (9) order by (10)limit从这个顺序中我们可以看出所有的查询语句都是从from
转载
2023-07-12 19:19:43
492阅读
Hive SQL 编译成MapReduce过程 编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段：词法、语法解析: Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree； Antlr是一种语言识别的工具，可以用来构造领域语言。使
