本地调试（local debug）Hive 可分为 exec (hive-exec，主要对应源码里的ql目录) 和 metastore 两部分，其中exec对外有两种接口方式 CLIDriver 和 HiveServer2的ThriftCLIService。前者对应的就是直接执行hive命令的command line，后者对应就是thrift直连或jdbc的连接方式，因此这里其实有个知识点：hiv
转载
2023-07-12 21:22:05
128阅读
目录自定义函数类别UDF（User-Defined-Function）UDAF（User-Defined Aggregation Function）UDTF（User-Defined Table-Generating Functions）步骤自定义UDF函数需求创建一个 Maven 工程 Hive导入依赖创建一个类继承并实现抽象方法打成 jar包将 jar 包添加到 hive 的 classpa
转载
2023-07-12 20:46:43
72阅读
hive自定义函数1 自定义函数1.1 为什么需要自定义函数 hive的内置函数满足不了所有的业务需求。
hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。 1.2 常见自定义函数有哪些UDF：用户自定义函数，user defined function。一对一的输入输出。（最常用的）。UDTF：用户自定义表生成函数。user defined table-gene
转载
2024-08-15 23:40:20
12阅读
修改pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/
原创
2022-02-15 14:40:04
411阅读
修改pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...
原创
2021-06-01 16:39:22
269阅读
# 了解Hive Exec
Hive是一个基于Hadoop的数据仓库工具，通过将SQL转换为MapReduce任务来处理大数据集。Hive Exec是Hive中的一个重要组件，它负责查询处理和执行计划的生成。在本文中，我们将介绍Hive Exec的工作原理，并通过代码示例演示其应用。
## Hive Exec的工作原理
Hive Exec包含了Hive中的查询处理器和执行计划生成器。当用户提
原创
2024-05-23 07:40:11
153阅读
# 使用Java解析Exec命令的深入探讨
在Java开发中，执行外部命令或程序是一个常见的需求，尤其是在需要与操作系统交互的情况下。为了实现这一目标，Java提供了`ProcessBuilder`和`Runtime.getRuntime().exec()`等API。本文将详细介绍如何使用这些API解析和执行外部命令，并结合示例代码展示其使用方法。同时，利用`mermaid`语法，我们将可视化相
# 实现“hive.exec.stagingdir”的步骤
## 介绍
在介绍具体的实现步骤之前，我们先来了解一下什么是“hive.exec.stagingdir”。这是Hive中的一个配置属性，用于指定Hive作业的临时目录。当Hive执行作业时，它会将中间结果和临时数据存储在这个目录中，完成作业后，临时数据会被清理掉。因此，正确设置“hive.exec.stagingdir”对于Hive的性
原创
2023-08-10 11:58:17
239阅读
启动hive报错：MissingHiveExecutionJar:/home/hadoop/local/hbase-2.1.0/lib/hive-exec-*.jar相关jar包下载链接http://www.java2s.com/Code/Jar/h/Downloadhiveexec080jar.htm启动hive保错MissingHiveMetaStoreJar检查$PATH是否正常，本次保错是
原创
2019-01-28 21:14:18
3891阅读
# Java Exec 文件解析指南
## 一、前言
在Java开发中，我们经常需要解析可执行文件（exec文件）以获取其中的信息。对于一个刚入行的小白而言，了解如何实现Java exec文件解析并不是一件简单的事情。本文将一步步带你了解这一过程，让你能够顺利实现文件解析。
## 二、整体流程
在进行Java exec文件解析之前，我们需要明确整个流程。以下是一个简易的步骤表，其中包含了解
参考：《linux命令、编辑器与shell编程》 《unix环境高级编程》 exec和source都属于bash内部命令（builtins commands），在bash下输入man exec或man source可以查看所有的内部命令信息。 bash shell的命令分为两类：外部命令和内部命令。
原创
2021-08-10 17:41:59
220阅读
Hive中的数据倾斜和优化 常见的优化 1大表转化为小表，充分利用临时表 合理的利用分区表+外部表 数据存储格式，压缩的配置 SQL语句的优化 join---尽量使用map join filter 先过滤再处理开启并行 hive.exec.parallel ->修改为true,开启并行 hive.exec.parallel.thread.number 设置并行的个数开
转载
2023-08-13 21:19:23
214阅读
压缩配置： map/reduce 输出压缩（一般采用序列化文件存储）set hive.exec.compress.output=true;set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;set m ...
转载
2021-08-16 11:44:00
3295阅读
2评论
shell中exec解析
原创
2018-02-10 13:44:55
858阅读
Tez引擎相关配置参数如下：hive-site.xml：
1. hive.exec.parallel：Hive并发执行，true表示并发，即开启作业并行。若为true一个sql语句中分解的多个job没有顺序关系时会并发执行，有顺序关系时会按顺序执行，资源充足时建议开启。默认false。
2. Hive.exec.parallel.thread.num：默认8，最多并行的作业数量，即1个sql最多允
转载
2023-08-31 23:37:47
229阅读
hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.下面是对于该参数的测试过程: 测试sql:select r1.a from (select t.a from sunwg_10 t join sunwg_10000000 s on t.a=
转载
2018-07-17 15:00:00
141阅读
2评论
hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.下面是对于该参数的测试过程:测试sql:select r1.afrom (select t.a from sunwg_10 t join sunwg_10000000 s on t.a=s.b) r1 join (select s.b from sunwg_100000 t join sunwg_10 s on t.a=s.b) r2 on (r1.a=r2.b);1,Set hive.exec.parallel=false;当参数为false的时候,三个job是顺序的执行123456
转载
2021-08-05 15:46:47
733阅读
# Hive数据压缩及hive.exec.compress.output参数详解
在处理大数据时，数据压缩是一种常用的优化措施。Hive作为一种分布式数据仓库工具，也提供了数据压缩的功能。其中，`hive.exec.compress.output`参数可以用来设置Hive输出结果的压缩方式。本文将详细介绍Hive数据压缩以及`hive.exec.compress.output`参数的使用。
#
原创
2023-07-23 15:56:38
251阅读
把Hive SQL 当做Mapreduce程序去优化
以下SQL不会转为Mapreduce来执行
select仅查询本表字段
where仅对本表字段做条件过滤
转载
2023-05-29 16:44:45
271阅读
场景之前有处理过因为文件大小导致并行问题产生的数据倾斜问题,但并不是所有场景都适用,这篇文章讲讲个人认为的并行参数心得-- 参数可以控制reducer,是一种倾斜的调测手段
set hive.exec.reducers.bytes.per.reducer;
-- 默认是64MB看到很多文献和博客都表示数据倾斜的时候 可以调整并行, 但是并不是适用所有场景set hive.exec.reduce
转载
2024-07-02 05:07:45
29阅读
