本地调试（local debug）Hive 可分为 exec (hive-exec，主要对应源码里的ql目录) 和 metastore 两部分，其中exec对外有两种接口方式 CLIDriver 和 HiveServer2的ThriftCLIService。前者对应的就是直接执行hive命令的command line，后者对应就是thrift直连或jdbc的连接方式，因此这里其实有个知识点：hiv
转载
2023-07-12 21:22:05
128阅读
目录自定义函数类别UDF（User-Defined-Function）UDAF（User-Defined Aggregation Function）UDTF（User-Defined Table-Generating Functions）步骤自定义UDF函数需求创建一个 Maven 工程 Hive导入依赖创建一个类继承并实现抽象方法打成 jar包将 jar 包添加到 hive 的 classpa
转载
2023-07-12 20:46:43
72阅读
hive自定义函数1 自定义函数1.1 为什么需要自定义函数 hive的内置函数满足不了所有的业务需求。
hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。 1.2 常见自定义函数有哪些UDF：用户自定义函数，user defined function。一对一的输入输出。（最常用的）。UDTF：用户自定义表生成函数。user defined table-gene
转载
2024-08-15 23:40:20
12阅读
在Kubernetes（K8S）中常见的关键词之一是【org.apache.hadoop.hive.ql.exec.udf】，在这篇文章中，我将向您介绍如何在Hive中实现自定义用户定义函数（User Defined Functions，简称UDF），以便您能更好地理解这个概念。
首先，让我们来看一下如何实现“org.apache.hadoop.hive.ql.exec.udf”这个UDF的过程
原创
2024-05-27 11:42:50
196阅读
修改pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/
原创
2022-02-15 14:40:04
411阅读
修改pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...
原创
2021-06-01 16:39:22
269阅读
hive结合mysql
原创
2022-03-22 13:53:48
574阅读
Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask这个问题是hive进行map join
原创
2022-12-26 13:07:17
443阅读
ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.mr.MapredLocalTask这个问题是hive进行mapjoin而机器内存不够导致mapjoin会把join中的小表读到内存中，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去去查看小表的数据，哪条与之相符
原创
2018-02-05 11:22:30
10000+阅读
# 实现org.apache.hadoop.hive.ql.exec.tez.TezTask
## 简介
在开始教你如何实现`org.apache.hadoop.hive.ql.exec.tez.TezTask`之前，让我们先了解一下Tez和Hive的基本概念。
**Tez**是一个基于Hadoop的执行引擎，它提供了一种更高效的方式来执行大规模数据处理任务。它使用了DAG（有向无环图）来表示
原创
2023-09-01 08:06:16
513阅读
hive结合mysql
原创
2021-12-09 14:50:46
744阅读
# HIVE CREATE EXTERNAL TABLE return code 1 from org.apache.hadoop.hive.ql.exec 解决方案
## 一、问题描述
在使用Hive的过程中，有时会遇到"HIVE CREATE EXTERNAL TABLE return code 1 from org.apache.hadoop.hive.ql.exec"的错误。这个错误通常
原创
2023-08-26 06:27:30
56阅读
Hive的下载下载地址http://mirrors.hust.edu.cn/apache/选择合适的Hive版本进行下载，进到stable-2文件夹可以看到稳定的2.x的版本是2.3.3
Hive的安装1、使用MySQL做为Hive的元数据库，所以先安装MySQL。MySql安装过程2、上传Hive安装包3、解压安装包 [hadoop@hadoop3 ~]$
转载
2023-12-01 12:01:57
59阅读
其他
原创
2022-04-13 17:09:11
4499阅读
指不同java进程间的对象方法的调用。调用的发生在服务端执行，客户端只获取结果。 服务端提供的对象必须是一个接口，并且extends VersionedProtocol。客户端能够调用的方法必须位于接口池中。 一、动手测试Hadoop之RPC运行实例（完整项目测试源码点此下载）：1、新建Java项目，添加如下jar包：hadoop-core-1.1.2.jar、commons-logg
转载
2024-02-02 14:06:29
96阅读
Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask0. 写在前面1. 实验场景1. 留存会员与留存率说明2. 需求：1日、2日、3日的会员留存数和会员留存率3. 脚本2. 报错信息3. 解决方法4. 一个有趣的发现5. 参考0. 写在前面Ha
原创
精选
2023-03-16 09:58:07
492阅读
今天写了一个hive sql，A表往B表插入数据，如果公共字段id相同，则不插入，即不存在则插入，否则不插入，这样一个sql，可是执行时报了内存异常，具体信息是：2018-08-14 13:45:17 Starting to launch local task to process map join; maximum memory = 31215452162018-08-14 13...
原创
2021-07-22 17:29:14
1229阅读
今天写了一个hive sql，A表往B表插入数据，如果公共字段id相同，则不插入，即不存在则插入，否则不插入，这样一个sql，可是执行时报了内存异常，具体信息是：2018-08-14 13:45:17 Starting to launch local task to process map join; maximum memory = 31215452162018-08-14 13...
原创
2021-07-19 14:56:23
1708阅读
## 解决"Hive上Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr."问题的步骤
### 1. 理解问题
首先，让我们来理解一下该问题的背景和原因。错误信息中提到的"Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.m
原创
2023-08-29 12:50:30
3658阅读
一、Hive介绍什么是hive hive是一个构建在hadoop上的数据仓库框架，是应facebook每天产生的海量新兴社会网络数据进行管理和（机器）学习的需求而产生和发展的，其设计目的是让精通sql技能但java编程技能较弱的分析师能够对facebook存放在hdfs中的大规模数据集执行查询。hive与传统数据仓库的区别 传统数据仓库采用oracle或mysql等数据库搭建，其数据也是存储在这些
转载
2024-01-29 22:35:48
76阅读
