启动hive报错：MissingHiveExecutionJar:/home/hadoop/local/hbase-2.1.0/lib/hive-exec-*.jar相关jar包下载链接http://www.java2s.com/Code/Jar/h/Downloadhiveexec080jar.htm启动hive保错MissingHiveMetaStoreJar检查$PATH是否正常，本次保错是
原创
2019-01-28 21:14:18
3891阅读
hive-exec.jar与Simba JDBC For Google Bigquery依赖jar包冲突问题解决方案问题背景问题产生原因问题解决方案结论 问题背景在实际项目中，当我们同一个项目的maven依赖同时依赖hive-exec.jar和Simba JDBC For Google Bigquery依赖的guava.jar包时，在运行项目时，会报错找不到exhaust方法。网上查询了其他人的
转载
2023-07-20 21:45:49
148阅读
目标 在hadoop101上面安装hive最小化安装上传hive安装包，apache-hive-3.1.2-bin.tar.gz解压安装包tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/
cd /opt/module/apache-hive-3.1.2-bin/配置环境变量vi /etc/profile 添加
转载
2023-12-25 13:48:17
83阅读
# 了解Hive Exec
Hive是一个基于Hadoop的数据仓库工具，通过将SQL转换为MapReduce任务来处理大数据集。Hive Exec是Hive中的一个重要组件，它负责查询处理和执行计划的生成。在本文中，我们将介绍Hive Exec的工作原理，并通过代码示例演示其应用。
## Hive Exec的工作原理
Hive Exec包含了Hive中的查询处理器和执行计划生成器。当用户提
原创
2024-05-23 07:40:11
153阅读
第一、将应用程序导出成一个JAR文件。1、先打包程序成一个jar。在eclipse里面非常easy做到，右击程序选择“Export”。2、选择“JAR file”。按“Next”进入下一步。3、Select the resources to export是默认刚才我选择的那个程序。Select the export destination要选择保存此JAR file的路径，这里我选择我新建的一个目
转载
2023-11-13 09:33:09
289阅读
本地调试（local debug）Hive 可分为 exec (hive-exec，主要对应源码里的ql目录) 和 metastore 两部分，其中exec对外有两种接口方式 CLIDriver 和 HiveServer2的ThriftCLIService。前者对应的就是直接执行hive命令的command line，后者对应就是thrift直连或jdbc的连接方式，因此这里其实有个知识点：hiv
转载
2023-07-12 21:22:05
128阅读
目录自定义函数类别UDF（User-Defined-Function）UDAF（User-Defined Aggregation Function）UDTF（User-Defined Table-Generating Functions）步骤自定义UDF函数需求创建一个 Maven 工程 Hive导入依赖创建一个类继承并实现抽象方法打成 jar包将 jar 包添加到 hive 的 classpa
转载
2023-07-12 20:46:43
72阅读
# Docker Exec 执行 Jar 启动
Docker 是一个流行的容器化平台，允许开发者将应用程序及其依赖封装在一个可移植的容器中，简化应用的部署。Java 应用程序通常以 JAR（Java Archive）文件的形式发布，当我们在 Docker 容器中运行 Java 应用时，使用 `docker exec` 命令可以方便地在正在运行的容器中执行命令。
## 什么是 Docker Ex
原创
2024-08-17 07:46:58
78阅读
# 实现“hive.exec.stagingdir”的步骤
## 介绍
在介绍具体的实现步骤之前，我们先来了解一下什么是“hive.exec.stagingdir”。这是Hive中的一个配置属性，用于指定Hive作业的临时目录。当Hive执行作业时，它会将中间结果和临时数据存储在这个目录中，完成作业后，临时数据会被清理掉。因此，正确设置“hive.exec.stagingdir”对于Hive的性
原创
2023-08-10 11:58:17
239阅读
问题1：hive初始化报错
【bigdata@master hive】$ bin/schematool -dbType derby -initSchema
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/Str
转载
2023-06-28 17:35:30
384阅读
Hive中的数据倾斜和优化 常见的优化 1大表转化为小表，充分利用临时表 合理的利用分区表+外部表 数据存储格式，压缩的配置 SQL语句的优化 join---尽量使用map join filter 先过滤再处理开启并行 hive.exec.parallel ->修改为true,开启并行 hive.exec.parallel.thread.number 设置并行的个数开
转载
2023-08-13 21:19:23
214阅读
压缩配置： map/reduce 输出压缩（一般采用序列化文件存储）set hive.exec.compress.output=true;set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;set m ...
转载
2021-08-16 11:44:00
3295阅读
2评论
Tez引擎相关配置参数如下：hive-site.xml：
1. hive.exec.parallel：Hive并发执行，true表示并发，即开启作业并行。若为true一个sql语句中分解的多个job没有顺序关系时会并发执行，有顺序关系时会按顺序执行，资源充足时建议开启。默认false。
2. Hive.exec.parallel.thread.num：默认8，最多并行的作业数量，即1个sql最多允
转载
2023-08-31 23:37:47
229阅读
hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.下面是对于该参数的测试过程: 测试sql:select r1.a from (select t.a from sunwg_10 t join sunwg_10000000 s on t.a=
转载
2018-07-17 15:00:00
141阅读
2评论
# Hive Jar: 了解Hive中的JAR文件
Hive是一个构建在Hadoop之上的数据仓库基础架构，提供了一种类似于SQL的查询语言来查询和分析存储在Hadoop集群中的大规模数据。Hive通过执行Hive查询来处理数据，而Hive Jar则是在Hive中执行自定义的Java代码的一种方式。
## 什么是Hive Jar？
Hive Jar是一种Java存档文件（JAR），其中包含编
原创
2023-08-28 10:40:00
106阅读
### 实现"docker exec bash 查看jar内容"的步骤
为了实现在Docker容器中查看jar文件的内容，我们需要以下几个步骤：
1. 运行一个Docker容器，容器中包含了我们要查看的jar文件。
2. 在容器中执行`bash`命令，进入容器的交互式终端。
3. 使用合适的命令来查看jar文件的内容。
下面是每个步骤需要做的事情以及相应的代码和注释：
#### 步骤1：运
原创
2024-01-10 04:15:14
150阅读
hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.下面是对于该参数的测试过程:测试sql:select r1.afrom (select t.a from sunwg_10 t join sunwg_10000000 s on t.a=s.b) r1 join (select s.b from sunwg_100000 t join sunwg_10 s on t.a=s.b) r2 on (r1.a=r2.b);1,Set hive.exec.parallel=false;当参数为false的时候,三个job是顺序的执行123456
转载
2021-08-05 15:46:47
733阅读
# Hive数据压缩及hive.exec.compress.output参数详解
在处理大数据时，数据压缩是一种常用的优化措施。Hive作为一种分布式数据仓库工具，也提供了数据压缩的功能。其中，`hive.exec.compress.output`参数可以用来设置Hive输出结果的压缩方式。本文将详细介绍Hive数据压缩以及`hive.exec.compress.output`参数的使用。
#
原创
2023-07-23 15:56:38
251阅读
把Hive SQL 当做Mapreduce程序去优化
以下SQL不会转为Mapreduce来执行
select仅查询本表字段
where仅对本表字段做条件过滤
转载
2023-05-29 16:44:45
271阅读
场景之前有处理过因为文件大小导致并行问题产生的数据倾斜问题,但并不是所有场景都适用,这篇文章讲讲个人认为的并行参数心得-- 参数可以控制reducer,是一种倾斜的调测手段
set hive.exec.reducers.bytes.per.reducer;
-- 默认是64MB看到很多文献和博客都表示数据倾斜的时候 可以调整并行, 但是并不是适用所有场景set hive.exec.reduce
转载
2024-07-02 05:07:45
29阅读
