有的时候hive任务运行到一半，会报错并强制结束，下面对工作中经常遇到的报错及解决措施进行一个汇总，因为都是平时遇到了临时简单记录一下，所以没有当时的报错截图，但是主要报错内容是有的。以下报错内容均为从yarn任务监控页面(http://主机名:8088/cluster)中查到的运行日志中打印的具体报错，直接查看命令行或者其他运行日志，可能只能看到return code 1 或者&nb
转载
2023-12-04 21:01:44
232阅读
# HIVE位数不足填充
在进行数据处理的过程中，有时候会遇到数据位数不足的情况，需要进行填充。Hive是一个建立在Hadoop之上的数据仓库工具，它提供了一种类似SQL的查询语言HiveQL，用于数据查询和分析。在Hive中，如果需要对数据进行位数不足的填充，可以使用一些函数来实现这一操作。
## 为什么需要位数不足填充
当我们处理数据时，有时候会遇到数据位数不足的情况。比如一个表中有一个
原创
2024-07-02 06:41:53
42阅读
前些天配置好的Hive，同样的SQL运行的好好的，今天却突然就不行了，报了如下的错误，真是抓破脑袋也没有想明白为什么。 2016-10-21 06:42:52,190 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in n
转载
2023-08-28 13:37:46
237阅读
Go 语言设计与实现 中关于栈空间的描述多数架构上默认栈大小都在 2 ~ 4 MB 左右，极少数架构会使用 32 MB 作为默认大小。用户程序可以在分配的栈上存储函数参数和局部变量。Go 语言的逃逸分析遵循以下两个不变性1.指向栈对象的指针不能存在于堆中；2.指向栈对象的指针不能在栈对象回收后存活；栈内存空间Go 语言使用用户态线程 Goroutine 作为执行上下文，它的额外开销和默认栈大小都比
转载
2024-06-20 12:09:52
73阅读
# 解决Hive本地内存不足的问题
## 1. 概述
在Hive的使用过程中，有时候会遇到本地内存不足的问题，这可能会导致Hive任务失败或者执行速度变慢。本文将介绍如何解决Hive本地内存不足的问题，并提供一些代码示例和注释来帮助理解。
## 2. 解决流程
下表展示了解决Hive本地内存不足的问题的流程：
| 步骤 | 动作 |
|------|------|
| 1 | 确定
原创
2024-02-02 07:23:40
565阅读
# 使用 Hive 实现不足 30 位字符串补齐的方法
在大数据处理的过程中，我们常常需要对数据进行一系列的清洗和转化。作为一个刚入行的小白，补齐字符串是一个非常常见的需求。本文将指导你如何在 Apache Hive 中实现不足 30 位的字符串进行补齐的操作。我们将详细介绍整个流程、每一步所需的代码及其深刻的解释。
## 流程概述
为了达到我们的目标，我们将按以下步骤进行操作：
| 步骤
原创
2024-09-23 05:23:17
48阅读
# 如何解决Hive磁盘可用空间不足问题
作为一名经验丰富的开发者，我将向你介绍如何解决Hive磁盘可用空间不足的问题。下面是整个解决问题的流程：
## 流程图
```mermaid
graph TD;
A[检查磁盘空间] --> B{是否可用空间不足};
B -->|是| C[查找可删除的数据];
B -->|否| D[增加磁盘空间];
C --> E[删除无用数据];
D --> F[扩
原创
2023-10-08 11:38:11
209阅读
Hiv优化1.hive的随机抓取策略理论上来说，Hive中的所有sql都需要进行mapreduce，但是hive的抓取策略帮我们省略掉了这个过程，把切片split的过程提前帮我们做了。set hive.fetch.task.conversion=none;(一旦进行这么设置，select字段名也是需要进行mapreduce的过程，默认是more) Fetch抓取的模式
可以通过 set
文章目录背景基本概念行式存储和列式存储总结Hive 存储格式有哪些？TEXTFILE 文本格式文件（行式存储）适用场景SequenceFile（二进制序列化文件）适用场景sequenceFile如何解决小文件问题RCFile（行列式文件）存储方式ORC（优化的行列式文件）存储方式适用场景Parquet适用场景 背景hive 的数据存储其实是在HDFS文件系统中的。hive 提供了一种查询HDFS
转载
2023-07-29 11:18:56
86阅读
BigDecimal的坑BigDecimal常被我们用于计算一些需要精确计算的场景，例如金额的计算。但是，BigDecimal也有很多不为人知的坑。下面，我们就来简单介绍几个常见的坑。1、使用valueOf() 替代new BigDecimalpublic static void main(String[] args) {
BigDecimal bigDecimal1 = new BigD
转载
2024-07-19 21:40:18
48阅读
Hive是一个基于Hadoop的数据仓库系统，它提供了SQL-like查询语言来操作Hadoop上的大数据。在使用Hive时，我们通常需要做一些参数调优来提高其性能。本文将介绍一些常用的Hive参数以及如何进行性能调优。一、Hive参数1.1 压缩参数压缩是Hive性能优化中的一个重要参数。使用Hadoop支持的压缩格式，可以优化Hive查询的执行速度，减少磁盘空间的占用。以下是一些常见的Hive
转载
2024-06-27 05:06:16
260阅读
文本文件-CSV:以逗号分隔的文本文件 -TSV:以制表符分隔的文本文件 这两种文件格式Hive都支持，但是有个缺点就是：用户要对文本文件中那些不需要作为分隔符处理的逗号或者制表符格外小心。创建表： CREATE TABLE 语句遵循SQL语法惯例，但比较灵活，可定义表得数据文件存储在什么位置，使用什么存储格式示例：
CREATE TABLE IF NOT EXISTS table1(
userI
转载
2023-08-22 21:27:27
155阅读
Hive支持的存储数据的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。列式存储和行式存储 上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。行存储的特点： 查询满足条件的一整行数据的时候，行存储只需要找到其中一个值，其余的值都在相邻地方。列存储则需要去每个聚集的字段找到对应的每个列的值，所以此时行存储查询的
转载
2024-02-29 23:28:35
102阅读
1 - 40一、简答题Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。 standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能
一 Hive的创建文件数的限制Hive对文件创建的总数是有限制的，这个限制取决于参数：hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing t
转载
2023-09-08 21:30:38
460阅读
问题：在hive中运行应用，出现了running beyond virtual memory错误。提示如下：Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB p
转载
2024-07-24 13:12:13
28阅读
# SQL 中位数不足前面补 0 的实现方法
在处理数据库数据时，常常会遇到位数不足的问题。这种情况下，可以通过 SQL 补全位数，使其满足特定要求。在 Hive 中，我们可以使用一些字符串函数来实现“位数不足前面补0”的功能。本文将详细讲解如何在 Hive 中实现这一需求，并提供代码示例和详细注释。
## 实现流程
我们可以将实现此功能的步骤整理如下表格：
| 步骤 | 描述
原创
2024-10-14 05:12:39
626阅读
内存泄漏和内存溢出内存溢出和内存泄露的区别与联系内存溢出：（out of memory）通俗理解就是内存不够，指程序要求的内存超出了系统所能分配的范围，通常在运行大型软件或游戏时，软件或游戏所需要的内存远远超出了你主机内安装的内存所承受大小，就叫内存溢出。比如申请一个int类型，但给了它一个int才能存放的数，就会出现内存溢出，或者是创建一个大的对象，而堆内存放不下这个对象，这也是内存溢出。内存泄
背景最近发现集群主节点总有进程宕机，定位了大半天才找到原因，分享一下排查过程查询hiveserver2和namenode日志，都是正常的，突然日志就不记录了，直到我重启之后又恢复工作了。排查各种日志都是正常的，直到查看Grafana，发现内存满了 在这个节点下已无内存资源可用，在服务宕掉的节点内存使用突然下降，猜测是linux内核的杰作，故查询系统日志grep "Out of memory" /v
转载
2024-06-27 08:28:38
57阅读
# 磁盘空间不足导致 Hive 无法启动的解决方案
Hive 是一个广泛使用的数据仓库软件，它可以用来分析和处理存储在 Hadoop 生态系统中的大数据。然而，当 Hive 启动时，磁盘空间不足可能导致其无法正常工作。本文将探讨这一问题的成因、解决方案，并提供一些代码示例和流程图来帮助您掌握此方案。
## 问题分析
Hive 在启动时会检查系统的可用磁盘空间。如果磁盘空间不足，Hive 将无
原创
2024-09-29 06:27:16
281阅读
