这次来讲讲Hive小白常见的坑。首先成功搭建Hadoop集群 一、Hivehive的版本号要求是很高的。对以后的spark on hive 和hive on spark 都有关系 所以请严格参照cloudera的CDH版本对照表，大神无视啦~~~并不是越新就肯定越好，具体看公司上层的决定最好能所有集群同步一个版本。1 hive是什么？简单点来说，hive就是建立在hadoop生
转载
2024-03-08 12:37:57
38阅读
# Hive 存储过程开发规范
## 1. 背景介绍
Hive 是一个建立在 Hadoop 上的数据仓库工具，通常用于大数据的存储和分析。Hive 支持存储过程的开发，可以通过存储过程实现复杂的数据处理逻辑。在进行 Hive 存储过程开发时，需要遵循一定的规范，以保证代码的可读性和可维护性。
## 2. Hive 存储过程规范
### 2.1 存储过程命名规范
- 存储过程的命名应该具有
原创
2024-03-03 04:09:05
137阅读
一份拥有良好代码风格的程序，有助于开发者发现性能问题，缩短调优的时间，降低维护成本，同时也能促进程序员的自我提高。规范分为三类：开发规范、设计规范和命名规范。 </> 开发规范# 单条SQL长度不宜超过一屏。# 少用或者不用Hint，特别是在Hive2.0后，增强HiveSQL对于成本调优（CBO）的支持，在业务环境变化时可能会导致Hive无法选用最优的执行计划。#
转载
2024-02-11 19:49:19
44阅读
一、hive的概念为什么有Hive Hive最初由FaceBook研发出来。由于每天产生的数据量大，使用MapReduce处理的效率比较低，而MapReduce的学习成本比较高，且类SQL的方法，工作效率比较高。Hive的入门简单。Hive是什么 Hive是一个基于hadoop的数据仓库。可以通过类SQL的方式来对数据进行读、写等管理的功能。 Hive是基于hadoop的一个数据仓库工具，可以将结
转载
2023-08-30 11:45:26
55阅读
Hive基础概念和用途Hive是Hadoop下的顶级 Apache项目，早期的Hive开发工作始于2007年的 Facebook。 它可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 Hive的优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库
转载
2023-09-20 05:08:10
88阅读
1、开发人员如果用到其他库的Table或View，务必在当前库中建立View来实现跨库操作，最好不要直接使用“databse.dbo.table_name”，因为sp_depends不能显示出该SP所使用的跨库table或view，不方便校验。
2、开发人员在提交SP前，必须已经使用set
转载
2024-05-07 22:12:47
36阅读
目录 第一部分：…3 Hive 查询语句… 5本文整体分为两部分，第一部分是简写，如果能看懂会用，就直接从此部分查，方 便快捷，如果不是很理解此 SQL 的用法，则查看第二部分，是详细说明，当然第二 部分语句也会更全一些！
第一部分：hive 模糊搜索表：show tables like ‘name’;查看表结构信息：desc table_name;查看分区信息：show part
转载
2023-09-22 12:49:03
249阅读
Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口 用户提交查询任务给Driver编译器获得该用户的任务编译器（Compiler）根据用户任务去MetaStore中获取需要的Hive的元数据信息编译器（Compi
转载
2023-07-03 15:23:15
80阅读
hive在大数据套件中占很的地位，分享下个人经验。1.在hive日常开发中，我们首先面对的就是hive的表和库，因此我要先了解库，表的命名规范和原则如 dwd_whct_xmxx_m第1部分为表数据仓库分层：可能取值为ods，dwd（dw明细层），dws（dw汇总层），ads（应用层）等。第2部分为业务领域 可能为whct（文化传统），whcp文化产品等。第3层为用户自定义标签 比如项目信息为xm
转载
2023-07-10 22:05:44
193阅读
本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。HiveHive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解
转载
2023-10-11 17:09:10
71阅读
hive存储过程示例 --第一种：正常的存储 CREATE OR REPLACE PROCEDURE CDP_PRO_TRUC_XXXX(v_date IN String) is
转载
2022-07-15 11:40:28
449阅读
存储过程 1 CREATE OR REPLACE PROCEDURE 存储过程名2 3 45 行1: CREATE OR REPLACE PROCEDURE 是一个SQL语句通知Oracle数据库去创建一个叫做skeleton存储过程,&
转载
2023-09-15 22:03:53
273阅读
一、Hive基本概念1.1Hive概述Hive是由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上结构化数据文件和表的映射关系以元数据的形式存储在数据库中（Derby或MySQL）1
转载
2023-09-26 12:10:40
348阅读
Hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并且提供SQL查询。讲SQL语句转换成MapReduce任务进行运行，实现简单的MapReduce统计，不必开发专门的MapReduce程序。hive的设计是为了减轻MapReduce的开发，它用来和hadoop做交互，相当于MapReduce的客户端。Hive元数据存放在MySQL里。 Hive的表数据存在HDFS
转载
2023-08-30 15:49:51
228阅读
HiveQL：数据操作向表中装载数据和从表中抽取数据到文件系统的数据操作语言部分 一、向管理表/内部表中装载数据装载语句LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'
OVERWRITE INTO TABLE employees
PARTITION (country='US',state='CA');数据将会存放在如下文件夹中
转载
2023-05-26 14:48:20
340阅读
hive SQL语句执行过程背景了解： hive数仓数据存储于Hadoop大数据框架的HDFS文件系统中，以文件的方式存储，hive是建立在Hadoop之上的数仓工具，hive将文件数据映射成结构性数据-表。了解hive SQL语句： hive SQL语句是在hive上执行的类SQL语句，可以通过hive将hive SQL语句转换成MapReduce程序操作数据，而不必开发专门的应用程序。示意图：
转载
2023-06-12 17:39:11
217阅读
Hive以下是笔者对Hive的一些认知以及笔记什么是Hive1.Hive是基于Hadoop的一个数据仓库工具； 2.Hive提供Hql(Hive sql)查询功能； 3.数据是存储在HDFS上，Hive本身不存储数据，构建表的逻辑存在知道数据库上(mysql)； 4.Hive的本质是将SQL语句转换为MapReduce任务执行； 5.离线大数据计算。HQL与SQL～HQLSQL数据存储HDFS、H
转载
2023-05-26 10:58:20
1124阅读
5.1 向管理表中装载数据 Hive 没有行级别的数据插入更新和删除操作，那么往表中装载数据的唯一途径就是使用一种“大量”的数据装载操作，或者通过其他方式仅仅将文件写入到正确的目录下； LOAD DATA LOCAL INPATH '${env:HOME}/califonia-employees'OVERWRITE INOT TABLE employees &nbs
转载
2024-04-25 04:43:57
53阅读
一、hive在执行sql时会以mapreduce的方式对数据进行接入和处理，其主要包含以下几个阶段：1.hive首先根据sql语句中的表从hdfs文件中获取数据，对数据文件进行split操作，使其可以一行一行将所需数据读入内存；2.map函数将内存中的数据按照key值进行映射，形成一行一行的key-value值，比如用户表中的性别字段，内存中map处理后的记录如下：3.在实际应用中会有多台机器参与
转载
2023-06-14 15:12:14
330阅读
1. 什么是hpsql 目前版本的hive中没有提供类似存储过程的功能，使用Hive做数据开发时候，一般是将一段一段的HQL语句封装在Shell或者其他脚本中，然后以命令行的方式调用，完成一个业务或者一张报表的统计分析。好消息是，现在已经有了Hive存储过程的解决方案（HPL/SQL –Procedural SQL on hadoop），并且在未来的Hive的版
转载
2023-06-14 21:37:18
242阅读
