一、HiveQL是什么？
1.HiveQL概述
Hive是一种数据仓库分析系统，前面我们也说到过，它主要是将SQL的查询过程通过MapReduce来完成
HiveQL本质上就是一种SQL。Hive通过HiveSQL去查询分析需要的内容，使不熟悉MapReduce的用户也可以很方便的利用SQL来查询、汇总并分析数据。
2.HiveQL及Hive的特点
(
转载
2023-08-04 10:30:22
132阅读
1.RPC简介 Remote Procedure Call 远程过程调用协议 RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传
原创
2021-07-15 14:36:04
487阅读
刚刚接触HDFS,感觉HDFS的数据可靠性非常高，记录一下..一HDFS的基本原理HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）。名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问。集群中的数据节点一般是一个节点运行一个数据节点进程，负责处理文件系统客户端的读/写请求，在名称节点的
原创
2016-11-13 22:13:31
926阅读
shuffle读过程源码分析 上一篇中，我们分析了shuffle在map阶段的写过程。简单回顾一下，主要是将ShuffleMapTask计算的结果数据在内存中按照分区和key进行排序，过程中由于内存限制会溢写出多个磁盘文件，最后会对所有的文件和内存中剩余的数据进行归并排序并溢写到一个文件中，同时会记 ...
转载
2021-05-03 23:11:45
1096阅读
2评论
Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口 用户提交查询任务给Driver编译器获得该用户的任务编译器（Compiler）根据用户任务去MetaStore中获取需要的Hive的元数据信息编译器（Compi
转载
2023-07-03 15:23:15
80阅读
一、hive在执行sql时会以mapreduce的方式对数据进行接入和处理，其主要包含以下几个阶段：1.hive首先根据sql语句中的表从hdfs文件中获取数据，对数据文件进行split操作，使其可以一行一行将所需数据读入内存；2.map函数将内存中的数据按照key值进行映射，形成一行一行的key-value值，比如用户表中的性别字段，内存中map处理后的记录如下：3.在实际应用中会有多台机器参与
转载
2023-06-14 15:12:14
330阅读
hive SQL语句执行过程背景了解： hive数仓数据存储于Hadoop大数据框架的HDFS文件系统中，以文件的方式存储，hive是建立在Hadoop之上的数仓工具，hive将文件数据映射成结构性数据-表。了解hive SQL语句： hive SQL语句是在hive上执行的类SQL语句，可以通过hive将hive SQL语句转换成MapReduce程序操作数据，而不必开发专门的应用程序。示意图：
转载
2023-06-12 17:39:11
217阅读
1. 什么是hpsql 目前版本的hive中没有提供类似存储过程的功能，使用Hive做数据开发时候，一般是将一段一段的HQL语句封装在Shell或者其他脚本中，然后以命令行的方式调用，完成一个业务或者一张报表的统计分析。好消息是，现在已经有了Hive存储过程的解决方案（HPL/SQL –Procedural SQL on hadoop），并且在未来的Hive的版
转载
2023-06-14 21:37:18
242阅读
Hive以下是笔者对Hive的一些认知以及笔记什么是Hive1.Hive是基于Hadoop的一个数据仓库工具； 2.Hive提供Hql(Hive sql)查询功能； 3.数据是存储在HDFS上，Hive本身不存储数据，构建表的逻辑存在知道数据库上(mysql)； 4.Hive的本质是将SQL语句转换为MapReduce任务执行； 5.离线大数据计算。HQL与SQL～HQLSQL数据存储HDFS、H
转载
2023-05-26 10:58:20
1124阅读
5.1 向管理表中装载数据 Hive 没有行级别的数据插入更新和删除操作，那么往表中装载数据的唯一途径就是使用一种“大量”的数据装载操作，或者通过其他方式仅仅将文件写入到正确的目录下； LOAD DATA LOCAL INPATH '${env:HOME}/califonia-employees'OVERWRITE INOT TABLE employees &nbs
转载
2024-04-25 04:43:57
53阅读
之前在Hive中使用自定义函数，是通过udf/udaf来实现，通常是基于Java或Python来实现。最近发现神器Hplsql（http://www.hplsql.org），可兼容mysql等存储过程等语法，并且已经集成到Hive2.0+版本。业务背景：在做数据处理时，Mysql中有大量的存储过程，当数据量特别大的时候，Mysql存储过程执行缓慢，一个存储过程执行耗时数小时。由于需求比较紧迫，重构
转载
2023-06-29 21:35:52
298阅读
存储过程定义：存储过程（Stored Procedure）是在大型数据库系统中，一组为了完成特定功能的SQL 语句集，存储在数据库中，经过第一次编译后调用不需要再次编译，用户通过指定存储过程的名字并给出参数（如果该存储过程带有参数）来执行它。编写存储过程主要涉及以下几个知识点：存储过程的结构变量的定义和赋值使用判断语句循环语句游标使用异常捕获处理1、存储过程的结构–在sql窗口中的写法，使用dec
转载
2023-08-30 10:15:19
739阅读
HiveQL：数据操作向表中装载数据和从表中抽取数据到文件系统的数据操作语言部分 一、向管理表/内部表中装载数据装载语句LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'
OVERWRITE INTO TABLE employees
PARTITION (country='US',state='CA');数据将会存放在如下文件夹中
转载
2023-05-26 14:48:20
340阅读
存储过程 1 CREATE OR REPLACE PROCEDURE 存储过程名2 3 45 行1: CREATE OR REPLACE PROCEDURE 是一个SQL语句通知Oracle数据库去创建一个叫做skeleton存储过程,&
转载
2023-09-15 22:03:53
273阅读
本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。HiveHive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解
转载
2023-10-11 17:09:10
71阅读
hive存储过程示例 --第一种：正常的存储 CREATE OR REPLACE PROCEDURE CDP_PRO_TRUC_XXXX(v_date IN String) is
转载
2022-07-15 11:40:28
449阅读
一、Hive基本概念1.1Hive概述Hive是由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上结构化数据文件和表的映射关系以元数据的形式存储在数据库中（Derby或MySQL）1
转载
2023-09-26 12:10:40
348阅读
Hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并且提供SQL查询。讲SQL语句转换成MapReduce任务进行运行，实现简单的MapReduce统计，不必开发专门的MapReduce程序。hive的设计是为了减轻MapReduce的开发，它用来和hadoop做交互，相当于MapReduce的客户端。Hive元数据存放在MySQL里。 Hive的表数据存在HDFS
转载
2023-08-30 15:49:51
228阅读
将各种数据导入hive数据库一、Hive数据的导入## 1、先创建数据库 根mysql的操作差不多
create database law;
## 2、创建数据表
use law;
create table law(
字段,数据类型
)
## 3、格式化
row format delimited fields terminated by ',' stored as textfile;
##
转载
2023-07-12 09:33:51
128阅读
# Hive执行过程
Hive是一个基于Hadoop的数据仓库工具，它提供了一种类似于SQL的查询语言来处理和分析大规模的数据。Hive将查询转换为MapReduce任务来在Hadoop集群上执行。本文将介绍Hive的执行过程，并提供相应的代码示例。
## Hive执行过程概述
Hive的执行过程可以分为以下几个步骤：
1. 解析和编译：Hive首先解析用户输入的查询语句，并生成一个抽象语
原创
2023-07-29 05:45:00
156阅读
