内存不够： set mapreduce.map.memory.mb=4096;set mapreduce.map.java.opts=-Xmx3280m; set mapreduce.reduce.memory.mb=4096;set mapreduce.reduce.java.opts=-Xmx3
原创
2021-09-14 11:31:25
255阅读
## 如何在Hive中跳过异常
### 1. 概述
在Hive中，当执行HiveQL语句时，有时候会遇到异常情况，例如在读取或写入数据时发生错误。通常情况下，Hive会在遇到异常时停止执行，并抛出错误信息。然而，在某些情况下，我们可能希望跳过这些异常，并继续执行下一个语句，以便处理后续的数据。
本文将介绍如何在Hive中使用`hive -f`命令来跳过异常，并提供了详细的步骤和相应的代码示例
原创
2023-09-07 08:07:33
455阅读
# CDH Hive 异常日志实现流程
## 概述
本文将介绍如何实现CDH Hive异常日志，帮助刚入行的小白理解并掌握相关知识。我们将通过以下步骤来完成此任务：
1. 查看Hive异常日志发生的位置
2. 开启Hive异常日志记录
3. 查看Hive异常日志的内容
4. 分析异常日志并解决问题
## 流程步骤
| 步骤 | 描述 |
| --- | --- |
| 1. 查看Hive异
原创
2023-12-04 04:08:23
168阅读
# Hive清理异常分区
作为一名经验丰富的开发者，我将教会你如何实现Hive清理异常分区的过程。下面我将详细介绍整个流程，并提供每一步需要做的事情和相应代码。
## 流程概述
在开始之前，让我们先了解清理异常分区的整个流程。下面的表格展示了清理异常分区的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 获取异常分区列表 |
| 2 | 构建分区表的删除语句 |
原创
2023-12-30 09:22:34
119阅读
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient打开hive成功，show
转载
2023-06-07 19:30:33
112阅读
# 如何解决“hive 10000 端口异常关闭”问题
## 问题描述
当使用Hive时，有时候会遇到端口异常关闭的情况，导致无法正常连接和操作Hive。这时候我们需要对端口进行重新开启的操作。
## 解决步骤
下面是解决“hive 10000 端口异常关闭”问题的步骤：
```mermaid
erDiagram
确认异常关闭 --> 重启端口
```
### 步骤一：确认异常关闭
原创
2024-02-25 06:29:35
130阅读
hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。
下面的语句创建了一个简单的分区表：
create table partition_test
(member_id string,
版本说明
Hadoop 1.0.3
HBase 0.94.1
Hive 0.9.0执行操作hive> select count(*) from tablename;
异常提示
Exception in thread "Thread-54" java.lang.RuntimeException: Error while reading from task log url
原创
2013-01-09 20:04:02
641阅读
FAILED: NullPointerException null可能出现错误的2种原因：1. 分区表未指定分区2. Union all情况下，前后2段的字段名、数据类型不匹配
原创
2022-02-21 10:23:00
1388阅读
hive jdbc执行select count(*) from test报错。 return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask google网调（百度毛也没有搜到，还是国内大牛都不屑于回答问题），终于发现原来是因为jdb
转载
2017-12-23 22:11:00
163阅读
2评论
1问题描述集群环境sparksql读取Parquet 格式的hive表报错hive的parquet表，hiv
转载
2022-09-22 15:12:12
333阅读
# 解决Hive Hiveserver2运行异常的方法
在使用Hive时，经常会遇到HiveServer2运行异常的情况。HiveServer2是Hive的服务端组件，用于处理客户端的请求并执行Hive查询。如果HiveServer2出现问题，将会影响整个Hive的使用。本文将介绍一些常见的HiveServer2运行异常以及解决方法。
## 问题描述
当我们启动HiveServer2时，可能
原创
2024-02-29 06:32:43
890阅读
FAILED: NullPointerException null可能出现错误的2种原因：1. 分区表未指定分区2. Union all情况下，前后2段的字段名、数据类型不匹配
原创
2021-08-04 14:20:35
2599阅读
# Hive的MAX函数与空指针异常
Hive是基于Hadoop的数据仓库基础设施，它提供了类似于SQL的查询语言，用于处理和分析大规模的结构化数据。在Hive中，MAX函数是一种非常常用的聚合函数，它用于找到给定列中的最大值。然而，当使用MAX函数时，有时会遇到空指针异常的问题。本篇科普文章将介绍Hive的MAX函数以及如何处理空指针异常。
## MAX函数简介
在Hive中，MAX函数用
原创
2024-01-01 06:32:49
178阅读
问题背景hive 与 hbase 集成的时候，无论是hive 中读取hbase 表的数据还是hive中创建hbase表，首先创建表都能成功，但是查询Hive 表中的数据就会报Java空指针错误，报错情况如下图所示。 定位问题光上面的错误信息你很难去判断是哪里出错了，从而无法定位问题，解决错误。幸运的是我们配置了hive 的日志目录，所以我们可以去查看hive的详细日志，于是我进到hive的日志目录
转载
2023-12-01 11:58:48
265阅读
# 异常增高的背景介绍
在大数据处理领域，Apache Hive 是一种用于在 Hadoop 上进行数据查询和分析的数据仓库基础设施。它支持使用类似 SQL 的查询语言（HiveQL）来处理结构化和半结构化的数据，为用户提供了一个方便的方式来分析数据。
然而，在使用 DolphinScheduler 运行 Hive 任务时，有时会遇到 Hive 连接数异常增高的问题。这可能会导致任务运行失败、
原创
2023-08-22 05:33:06
364阅读
如何解决Hive连接数异常增高问题
## 引言
Hive是一种基于Hadoop的数据仓库工具，它使用HiveQL查询语言来处理大规模数据。然而，有时候我们会遇到Hive连接数异常增高的问题，这会导致性能下降，甚至系统崩溃。本文将向你介绍如何解决这个问题。
## 问题描述
当Hive连接数异常增高时，我们需要追踪并解决这个问题。下面是解决这个问题的步骤：
| 步骤 | 操作 |
| --- |
原创
2023-12-25 07:11:59
191阅读
Sqoop抽数到Hive表异常分析
原创
2022-09-11 07:03:51
396阅读
异常原因：mr将数据量小的表识别成了大表，数据量大的识别成小表，导致将数据量大的表加入到内存，导致程序异常
原创
2023-05-06 15:08:41
109阅读
运行环境：Hadoop2.8.0、Hive1.2.2，一共三台服务器，master是8G内存，两个slaver是4G内存（很寒酸），在Hive的命令行中执行count()和insert的时候总是报错，比如执行select count()的时候报“return code 2 from org.apache.hadoop.hive.ql.exec.mr.
转载
2023-08-23 17:26:30
431阅读
