一、获取hive 0.11文件 1、直接在apache网站下载release版 2、自己下载源码编译。方法： git clone https://github.com/amplab/hive.git -b shark-0.
转载
2023-05-22 12:41:08
279阅读
hive执行流程 整个流程的第一步，就是cli提交作业给driver，这一步需要通过org.apache.hadoop.hive.cli.CliDriver类。CliDriver类首先看CliDriver类的main方法。org.apache.hadoop.hive.cli.CliDriver
----------
/**
* 输入参数String[] args不需要分析，是外部命令传进来的
转载
2023-09-15 21:25:08
145阅读
什么是Hive？ 数据仓库：存储、查询、分析大规模数据 SQL语言：简单易用的类SQL查询语言 编程模型：允许开发者自定义UDF、Transform、Mapper、Reducer，来更简单地完成复杂MapReduce无法完成的工作 数据格式：处理Hadoop上任意数据格式的数据，或者使用优化的格式存储Hadoop上的数据，RCFile，ORCFile，Parquest 数据服务：
转载
2023-07-14 20:21:47
16阅读
Hive学习（一）窗口函数源码阅读背景窗口函数执行逻辑代码流转图源码阅读分析PTFOperatorPTFInvocationPTFPartitionTableFunctionEvaluatorrows between窗口范围定义结尾 背景最近计算的指标经常使用到窗口函数，由于数据量级较大，窗口函数执行的耗时较长，想要优化却无从下手，才发觉对窗口函数底层实现原理一无所知，故计划阅读hive窗口函数
转载
2024-04-14 16:13:06
90阅读
Hive源码阅读（1）阅读环境搭建前言：让学习成为一种习惯环境准备Hive源码下载Hive源码目录hive三个最重要的组件：其他组件hive辅助组件编译源码配置Hive本地调试配置IDEA-DEBUG（注意端口和Host）开始Debug，配置成功图片一张，入口类选择了CLi，想看一下具体的源码执行流程 前言：让学习成为一种习惯工作已经两年多了，各种各样的大数据框架也使用过，各种官网也翻了很多，但
转载
2023-08-11 17:23:22
160阅读
一、HQL是如何转换为MR任务的1、Hive的核心组成介绍#用户接口：Client
CLI（command-line interface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）
#元数据：Metastore
元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
默认存储在自带
转载
2023-07-13 16:37:16
131阅读
这次主要对hive源码包及hive的两种调试方式做了介绍，这篇结束后，整个源码调试环境的搭建已经完成。1、Hive源码包介绍hive三个最重要的组件：serde：这个组件是 hive内置的一些序列化解析类，此组件允许用户自己开发自定义序列化、反序列化文件解析器MetaStore：hive的元数据服务器，用来存放数据仓库中所有表和分区的信息,hive元数据建表sql、升级sql脚本都存放在此目录下q
转载
2023-09-08 14:37:09
72阅读
Hive源码解析—之—hive的入口： 初衷：hi，大家好，我叫红门，在hive方面是个菜鸟，现在读hive源码希望能够更了解底层，尤其是hive与Hadoop切换这块。但在读hive源码时发现比Hadoop源码难读一些，虽然Hadoop源码量比较大，但是整体很规范，命名规范，关键地方注释的比较明确。 去年在读和修改Hadoop源码时都感觉比较清晰，可读性比较好一些，往往可以望文生义，可能也
转载
2023-08-18 22:29:17
49阅读
第 1 章 HQL 是如何转换为 MR 任务的 1.1 Hive 的核心组成介绍 1）用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBUI（浏览器访问 hive） 2）元数据：Metastore 元数据包括：表名、 ...
转载
2021-08-19 15:26:00
288阅读
2评论
## 如何实现 Hive 源码
在进行 Hive 源码的理解和实现之前，首先，我们需要明确整个过程的步骤，以及各步骤涉及的主要任务。下面是整个流程的概览，展示在表格中。
| 步骤 | 描述 |
|------|------------------------------------|
| 1 | 配置开发环境
原创
2024-09-18 07:47:11
65阅读
问题： 1、hive的入口程序 2、hive的local化 3、hivesql执行过程 4、hive的解析和鉴权—下节一 ：hive的入口程序 1、从 cli.sh文件我们可以看到，调用了类CliDriver进行初始化操作CLASS=org.apache.hadoop.hive.cli.CliDriver
execHiveCmd $CLASS "$@"2、 查看 CliDriver类的main
转载
2023-08-18 22:29:28
46阅读
Hive源码阅读–作业的入口–CliDriver（main+run）Hive源码阅读–作业的提交–executeDriverHive源码阅读–作业的准备–processLineHive源码阅读–作业的执行–processCmdHive源码阅读–命令的执行与返回–processLocalCmd
Hive源码阅读–SQL on JOB–ParseDriver/BaseSemanticAnalyze
转载
2023-07-14 10:53:04
121阅读
文章目录1.下载源码2.编译支持UDF2.1 上传解压2.2 添加UDF函数类2.3注册函数2.4编译hive3.部署安装4.测试UDF 友情提示： 若想减少服务器上maven编译出错的概率，可以选择将源码放在本地使用idea打开，修改源码并编译（最终失败，可能idea问题），但是这样确保我们修改的代码一定是正确的，以及本地仓库包含了几乎所有的jar。然后打包本地仓库上传服务以及修改的代码替换服
转载
2023-10-09 23:39:25
78阅读
大数据技术之Hive源码2接上文2.4 HQL生成AST（抽象语法树）2.5 对AST进一步解析 接下来的步骤包括：1）将AST转换为QueryBlock进一步转换为OperatorTree；2）对OperatorTree进行逻辑优化（LogicalOptimizer）；3）将OperatorTree转换为TaskTree（任务树）；4）对TaskTree进行物理优化（PhysicalOptimi
转载
2024-08-16 13:11:28
73阅读
转载
2021-09-13 10:34:18
399阅读
hive就是一个将sql语句转化为MR工具hive的工作原理：1、使用antlr定义sql语法，（详细见hive.g），由antlr工具将hive.g编译为两个java文件：HiveLexer.java HiveParser.java，可以将输入的sql解析为ast树2、org.apache.hadoop.hive.ql.Driver对ast树进行初步的解析（combil
转载
2024-06-05 05:40:47
32阅读
作者： 幻好 概述 通过学习 Apache Hive 基础知识和 HIve SQL 后，能够了解到 Hive 是将 SQL 语句通过底层转换生成 MR 程序进行工作，为了能对 Hive 能有一个更加深入的认识，还需要深入理解 Hive SQL 的执行原理。 本文将通过对于 Hive 底层执行原理的深入解读，帮助读者对于 Hive 的作用有更深入的理解。 Hive 底层原理 在使用 H
转载
2023-07-13 15:48:22
129阅读
1.hive的基本操作建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type[COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_namedata_type [COMMENT col_c
转载
2024-02-20 16:46:41
39阅读
ORC原来是作为Hive源码一部分的，先在独立出来成为Apache顶级项目，最新的Hive版本中也已经不再使用内置的ORC实现。但是在一些其他的系统，比如Presto中，依然有自己的Reader实现，但是和Apache的类似，只是代码风格和实现细节做了一些优化。我们项目打算基于最新的apache ORC源码做二次开发。ORC源码也是Maven管理的，clone下来之后，用intellij打开jav
转载
2024-03-11 09:16:22
33阅读
导读近日，OpenMLDB 实现了与开源数据仓库软件 Hive 的连接，继完成与 Kafka、Pulsar、RocketMQ 等实时数据源生态整合后，持续构建离线数据生态，期待建设一个更加全面一体的上下游生态圈，在吸引更多用户的同时也能降低用户的使用门槛。OpenMLDB Hive Connector背景OpenMLDB Hive Connector 的开发解决了 OpenMLDB 无法轻松连接使
转载
2024-05-29 13:07:06
26阅读
