认识 HiveHive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 Hive SQL，使不熟悉 MapRed
转载
2023-10-27 14:41:14
158阅读
一、hive简介hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL。二、hive sql与sql的区别其实不同的
转载
2023-07-04 14:57:02
191阅读
背景Hive 有丰富的内置函数，方便数据处理和数据分析。但是有些时候无法满足需求，这时就需要自定义函数（User-Defined Functions , UDF）来扩展 Hive 函数库，实现用户想要的功能。 UDF 开发编写 UDF 函数需要下面两个步骤：继承 org.apache.hadoop.hive.ql.exec.UDF实现 evaluate 函数，这个函数必须要有返回值，不能设置为vo
转载
2023-07-17 22:39:09
111阅读
今天思考on，where，having的执行顺序，联想到了整个sql语句的执行顺序。sql语句的执行顺序为(1) from (2) on (3) join (4) where (5) group by, count, sum, avg(6) having (7) select (8) distinct (9) order by (10)limit从这个顺序中我们可以看出所有的查询语句都是从from
转载
2023-07-12 19:19:43
540阅读
Hive sql是Hive 用户使用Hive的主要工具。Hive SQL是类似于ANSI SQL标准的SQL语言，但是两者有不完全相同。Hive SQL和Mysql的SQL方言最为接近，但是两者之间也存在着显著的差异，比如Hive不支持行级数据的插入、更新和删除，也不支持事务操作。 注: HIVE 2.*版本之后开始支持事务功能，以及对单条数据的插入更新等操作Hive的相关概念Hive数据库
转载
2023-08-23 21:10:24
75阅读
Hive SQL的基本模式可以分为三类：select语句：比如select order _id, buyer_id,cate_name from orders_table where day=' 20170101' and cate_name=’ iphone7';，实际中where条件可能更为复杂并且会有and/or等各种组合。Hive SQL是被翻译成MapReduce任务执行的，所以Hive
转载
2023-06-19 10:47:56
250阅读
hive 2.1 hive执行sql有两种方式：执行hive命令，又细分为hive -e，hive -f，hive交互式；执行beeline命令，beeline会连接远程thrift server；下面分别看这些场景下sql是怎样被执行的：1 hive命令启动命令启动hive客户端命令$HIVE_HOME/bin/hive等价于$HIVE_HOME/bin/hive --service
转载
2023-05-25 16:19:08
416阅读
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Hive是一个翻译器：SQL ---> Hive引擎 ---> MapReduce程序Hive工作原理 用户提交查询等任务给Driver。编译器获得该用户的任务Plan。编译器Compiler根据
转载
2023-07-12 21:11:45
436阅读
# 如何在Hive中执行SQL脚本
Hive是一个用于大数据处理的数据仓库工具，它提供了一种方便的方式来处理数据，并支持SQL查询。对于刚入行的小白们来说，如何使用Hive执行SQL脚本可能会显得有些复杂。我将在本文中详细介绍整个流程，包括每一步所需的代码，并进行逐步解释。
## 整体流程
下面是执行Hive SQL脚本的基本步骤：
| 步骤 | 描述
## Hive执行SQL的流程
Hive是建立在Hadoop之上的一种数据仓库基础架构，它提供了一种类似于SQL的查询语言HQL（Hive Query Language），用于对存储在Hadoop中的数据进行查询和分析。下面是实现Hive执行SQL的步骤。
```mermaid
flowchart TD
A[连接到Hive服务器] --> B[编写HQL语句]
B --> C[
原创
2023-11-11 07:34:04
63阅读
## hive sql 执行流程
### 整体流程图
```mermaid
graph TD
A[准备工作] --> B[创建表]
B --> C[加载数据]
C --> D[数据处理]
D --> E[数据分析]
```
### 具体步骤与代码示例
#### 1. 准备工作
在执行 Hive SQL 前，需要先安装和配置 Hive，并确保 Hadoop 集群正常运行。你可以在 Hado
原创
2023-09-30 09:34:11
68阅读
# 实现Hive执行SQL的步骤和代码示例
## 整体流程
下面是实现Hive执行SQL的整体流程表格：
| 步骤 | 描述 |
| ---- | -------------- |
| 1 | 连接到Hive数据库 |
| 2 | 创建表 |
| 3 | 插入数据 |
| 4 | 执行SQL查询 |
## 步骤及
原创
2024-06-06 03:46:30
42阅读
这里转换成hive的sql语句：hql，其根本问题是为了解决hive不支持事物处理、数据删除操作，这两点是hive的sql和传统sql差异的主要点； 就比如一段存储过程，现在需要迁移到hive上运行，一般主要过程：声明变量、初始化批次状态表(记录程序运行的位置及数据状态)、业务数据处理(事物处理)、更新批次状态表、删除业务数据(无效数据\已处理数据)； 声明变量：通过java工具(项目开发中的一个
转载
2024-06-22 06:02:54
40阅读
Hive是一个数据仓库基础的应用工具，在Hadoop中用来处理结构化数据，它架构在Hadoop之上，通过SQL来对数据进行操作。Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。Hive 并非为联机事务
转载
2023-05-27 14:58:45
527阅读
继上篇DDL中load的数据继续进行脚本操作。hive执行脚本hive -e “sql语句” 会将查询的结果打印在控制台上。 hive -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中，会显示OK和抓取的数据条数 hive -S -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中，不会显示OK和抓取的数据条数 hive -f
转载
2023-06-08 16:12:52
0阅读
作者：李继武1文档编写目的在Hive On Spark的模式下，无论是通过Beeline还是hive CLI访问Hive，使用Spark引擎执行SQL语句时，都会在/tmp目录下生成一个spark_submit.*.properties文件。Hive CLI方式会在当前节点/tmp目录生成，使用Beeline方式则会在HiveServer2所在节点的/tmp目录下生成。 一般情况下sp
转载
2024-06-11 01:31:33
53阅读
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作一、MapReduce实现基本SQL操作的原理1、join的实现原理Map Join的实现原理CommonJoinResolver优化器Reduce Join的实现原理3、Group By的实现原理二、SQL转化为MapReduce的过程 Hive是基于Hadoop的一个数据仓库系统，在各大公
转载
2023-07-12 21:15:50
155阅读
# Hive 执行 SQL 的流程
## 概述
Hive是一个用于数据仓库的数据处理工具，它提供了类似于SQL的查询语言，称为HiveQL。Hive运行在Hadoop平台上，通过将SQL语句转化为MapReduce任务来执行分布式数据处理。本文将向你介绍Hive执行SQL的流程以及每个步骤需要做什么。
## Hive 执行 SQL 的流程
下面的表格将展示Hive执行SQL的流程：
``
原创
2024-02-09 05:36:05
229阅读
目录1. hive介绍2. hive的基本架构2.1 用户接口：Client2.2 元数据：Metastore2.3 驱动器：Driver3. hive中sql关键字的执行顺序4. 部分关键字的执行原理4.1 聚合函数4.2 分组（group by ）4.3 连接（ join ）4.4 笛卡尔积4.5 联合（union & union all）4.6 排序4.6.1 全局排序（Order
转载
2024-07-01 11:01:54
167阅读
一、概念：1、结构化和非结构化数据结构化数据：固有的键值对非结构数据：没有固定的键值对，没有明确的映射关系所以就可以理解下面这句话：hive是由facebook开源用于解决海量结构化日志的数据统计项目。2、Hive是基于Hadoop文件系统上的数据仓库架构，它为数据仓库的管理提供了许多功能：数据ETL(抽取、转换和加载)、数据存储管理和大型数据集的查询和分析能力。RDBMS(关系型数据库)OLTP
转载
2023-08-24 22:28:57
81阅读
