什么是Hive？ 数据仓库：存储、查询、分析大规模数据 SQL语言：简单易用的类SQL查询语言 编程模型：允许开发者自定义UDF、Transform、Mapper、Reducer，来更简单地完成复杂MapReduce无法完成的工作 数据格式：处理Hadoop上任意数据格式的数据，或者使用优化的格式存储Hadoop上的数据，RCFile，ORCFile，Parquest 数据服务：
转载
2023-07-14 20:21:47
16阅读
## 编译Hive源码并解决打包报错问题
### 流程图
```mermaid
flowchart TD;
Start-->克隆代码;
克隆代码-->导入代码到IDE;
导入代码到IDE-->构建项目;
构建项目-->解决依赖冲突;
解决依赖冲突-->打包项目;
打包项目-->解决打包报错;
解决打包报错-->完成;
```
### 1
原创
2023-10-11 15:47:29
130阅读
基础配置App打包（使用Hbuilder进行App打包）视频教程视频地址： https://www.bilibili.com/video/BV1Kg411g7cb一、修改接口地址1.打开uni-app下config/app.js修改接口地址，将下图红框中的地址修改成您的域名二、配置参数1.打开 uni-app 根目录下的 manifest.json 文件， 点击《基础配置》，重新获取 u
转载
2023-10-02 21:32:28
37阅读
hive执行流程 整个流程的第一步，就是cli提交作业给driver，这一步需要通过org.apache.hadoop.hive.cli.CliDriver类。CliDriver类首先看CliDriver类的main方法。org.apache.hadoop.hive.cli.CliDriver
----------
/**
* 输入参数String[] args不需要分析，是外部命令传进来的
转载
2023-09-15 21:25:08
145阅读
一、获取hive 0.11文件 1、直接在apache网站下载release版 2、自己下载源码编译。方法： git clone https://github.com/amplab/hive.git -b shark-0.
转载
2023-05-22 12:41:08
279阅读
Hive源码阅读（1）阅读环境搭建前言：让学习成为一种习惯环境准备Hive源码下载Hive源码目录hive三个最重要的组件：其他组件hive辅助组件编译源码配置Hive本地调试配置IDEA-DEBUG（注意端口和Host）开始Debug，配置成功图片一张，入口类选择了CLi，想看一下具体的源码执行流程 前言：让学习成为一种习惯工作已经两年多了，各种各样的大数据框架也使用过，各种官网也翻了很多，但
转载
2023-08-11 17:23:22
160阅读
Hive学习（一）窗口函数源码阅读背景窗口函数执行逻辑代码流转图源码阅读分析PTFOperatorPTFInvocationPTFPartitionTableFunctionEvaluatorrows between窗口范围定义结尾 背景最近计算的指标经常使用到窗口函数，由于数据量级较大，窗口函数执行的耗时较长，想要优化却无从下手，才发觉对窗口函数底层实现原理一无所知，故计划阅读hive窗口函数
转载
2024-04-14 16:13:06
90阅读
这次主要对hive源码包及hive的两种调试方式做了介绍，这篇结束后，整个源码调试环境的搭建已经完成。1、Hive源码包介绍hive三个最重要的组件：serde：这个组件是 hive内置的一些序列化解析类，此组件允许用户自己开发自定义序列化、反序列化文件解析器MetaStore：hive的元数据服务器，用来存放数据仓库中所有表和分区的信息,hive元数据建表sql、升级sql脚本都存放在此目录下q
转载
2023-09-08 14:37:09
72阅读
一、HQL是如何转换为MR任务的1、Hive的核心组成介绍#用户接口：Client
CLI（command-line interface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）
#元数据：Metastore
元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
默认存储在自带
转载
2023-07-13 16:37:16
131阅读
Hive源码解析—之—hive的入口： 初衷：hi，大家好，我叫红门，在hive方面是个菜鸟，现在读hive源码希望能够更了解底层，尤其是hive与Hadoop切换这块。但在读hive源码时发现比Hadoop源码难读一些，虽然Hadoop源码量比较大，但是整体很规范，命名规范，关键地方注释的比较明确。 去年在读和修改Hadoop源码时都感觉比较清晰，可读性比较好一些，往往可以望文生义，可能也
转载
2023-08-18 22:29:17
49阅读
一.APP环境搭建和配置编译1.登录APICLOUD后台新建应用step1 注册账号注册apicloud 账号并登录APICLOUD控制台step2 新建应用再账户下面找到开发控制台=>开发控制台=>创建应用 填写应用名和说明，必选Native App2 .开发工具下载安装下载APICLOUD开发工具：3.下载解压。然后运行apicloud studio-2.exe完成后开发工具软件
转载
2023-12-20 19:58:18
68阅读
第 1 章 HQL 是如何转换为 MR 任务的 1.1 Hive 的核心组成介绍 1）用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBUI（浏览器访问 hive） 2）元数据：Metastore 元数据包括：表名、 ...
转载
2021-08-19 15:26:00
288阅读
2评论
## 如何实现 Hive 源码
在进行 Hive 源码的理解和实现之前，首先，我们需要明确整个过程的步骤，以及各步骤涉及的主要任务。下面是整个流程的概览，展示在表格中。
| 步骤 | 描述 |
|------|------------------------------------|
| 1 | 配置开发环境
原创
2024-09-18 07:47:11
65阅读
问题： 1、hive的入口程序 2、hive的local化 3、hivesql执行过程 4、hive的解析和鉴权—下节一 ：hive的入口程序 1、从 cli.sh文件我们可以看到，调用了类CliDriver进行初始化操作CLASS=org.apache.hadoop.hive.cli.CliDriver
execHiveCmd $CLASS "$@"2、 查看 CliDriver类的main
转载
2023-08-18 22:29:28
46阅读
Hive源码阅读–作业的入口–CliDriver（main+run）Hive源码阅读–作业的提交–executeDriverHive源码阅读–作业的准备–processLineHive源码阅读–作业的执行–processCmdHive源码阅读–命令的执行与返回–processLocalCmd
Hive源码阅读–SQL on JOB–ParseDriver/BaseSemanticAnalyze
转载
2023-07-14 10:53:04
121阅读
文章目录1.下载源码2.编译支持UDF2.1 上传解压2.2 添加UDF函数类2.3注册函数2.4编译hive3.部署安装4.测试UDF 友情提示： 若想减少服务器上maven编译出错的概率，可以选择将源码放在本地使用idea打开，修改源码并编译（最终失败，可能idea问题），但是这样确保我们修改的代码一定是正确的，以及本地仓库包含了几乎所有的jar。然后打包本地仓库上传服务以及修改的代码替换服
转载
2023-10-09 23:39:25
78阅读
大数据技术之Hive源码2接上文2.4 HQL生成AST（抽象语法树）2.5 对AST进一步解析 接下来的步骤包括：1）将AST转换为QueryBlock进一步转换为OperatorTree；2）对OperatorTree进行逻辑优化（LogicalOptimizer）；3）将OperatorTree转换为TaskTree（任务树）；4）对TaskTree进行物理优化（PhysicalOptimi
转载
2024-08-16 13:11:28
73阅读
只需要使用maven-source-plugin插件即可： org.apache.maven
原创
2022-11-11 12:08:09
105阅读
# Android源码打包流程详解
## 目录
- [引言](#引言)
- [打包流程](#打包流程)
- [环境搭建](#环境搭建)
- [下载源码](#下载源码)
- [配置编译环境](#配置编译环境)
- [选择目标平台](#选择目标平台)
- [修改配置文件](#修改配置文件)
- [编译源码](#编译源码)
- [打包生成镜像](#打包生成镜像)
- [总结
原创
2023-11-10 15:06:05
200阅读
第1关：将文件中的数据导入（Load）到 Hive 表中导入命令语法:Load操作执行copy/move命令把数据文件copy/move到Hive表位于 HDFS上的目录位置，并不会对数据内容执行格式检查或格式转换操作。Load命令语法为：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION
转载
2023-07-14 11:29:07
158阅读
