# 项目方案：快速清理 Hive 分区
## 背景
在 Hive 中，分区是一种重要的数据组织方式，可以提高查询效率和数据管理的灵活性。然而，随着时间的推移和数据量的增加，Hive 分区可能会变得过多，导致查询和管理操作变得缓慢。因此，我们需要制定一个方案来快速清理 Hive 分区，以保持系统的高效性。
## 方案概述
本方案通过编写脚本自动化清理 Hive 分区，包括以下步骤：
1.
原创
2023-08-03 16:25:44
525阅读
今天的一个业务场景就是要把三年的数据从第一天不停的融合起来，每一天作为表格一个新的分区。由于空间有限，数据量很大，可能每天数据都是几十个G的大小。所以我需要做的一点就是在融合这一天之后，删除一天的分区数据，为了保险起见，我删除这一天的前三天的数据。
转载
2019-03-11 16:28:00
180阅读
简述分区是hive存放数据的一种方式，将列值作为目录来存放数据，就是一个分区，可以有多列。这样查询时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描不关心的分区，快速定位，提高查询效率。hive的分区有两种类型：静态分区SP(Static Partitioning)动态分区DP(Dynamic Partitioning)对于静态分区，表的分区数量和分区值是固定的。新增分区或者是加载
转载
2023-07-14 16:41:48
267阅读
文章目录一. 批量删除概述1.1 原理1.2 读取1.3 Cumulative Compaction1.4 Base Compaction1.5 语法二. 启用批量删除支持参考: 一. 批量删除概述目前Doris 支持broker load， routine load， stream load 等多种导入方式，对于数据的删除目前只能通过delete 语句进行删除，使用delete 语句的方式删除
转载
2023-09-16 13:17:07
315阅读
1.分区表 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集分区表是将数据分文件夹管理 , 减少数据扫描的文件范围 直接从对应文件夹中读取数据 1.静态分区文件中存储的指定规则的数据创建静态分区步骤：1）前提有静态数据20201128.log&nbs
转载
2024-06-17 15:03:26
79阅读
1、提前过滤数据，减少中间数据依赖：尽量尽早的过滤数据，减少每个阶段的数据量，对于分区表要加分区，同时只选择需要使用到的数据。如下，改写后的写法将会大大减少join的数据量select ... from A
join B
on A.key = B.key
where A.userid>10
and B.userid<10
and A.dt='20120417'
最近一直做系统优化，但从建模的角度今天有个小优化，原理比较简单，效果可能不是很大，但很有意思。这种优化的好处是不用改变sql代码，对用户是透明的。所以分享下。-由于hive在文件基础上，而会全部扫一个分区里面的内容。hive表的概念是基于hadoop的文件系统hdfs，表其实是分布式文件里面的一个文件目录。再加上没有索引，如果要取的表里面的某些字段就必须全部扫描该表对应的文件目录-如：建表way1
转载
2023-09-05 08:25:26
138阅读
哪里会产生小文件 ?源数据本身有很多小文件动态分区会产生大量小文件reduce个数越多, 小文件越多按分区插入数据的时候会产生大量的小文件, 文件个数 = maptask个数 * 分区数小文件太多造成的影响 ?从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。HDFS存储太多小文件, 会导致namenode元数据
转载
2023-07-12 11:01:35
243阅读
前提：上个文章记录了我流量表的开发过程，成型后每个分区会有4000文件，不用hive分发+rand()函数会有6万个细碎文件。虽然已经大量减少了细碎文件的产生，但是每天产生4000个，月报4万个文件对于hive起MR过程还是造成不少压力，甚至直接起不来任务。于是做了第二次流量表的优化优化过程思路： 1、我先用了DISTRIBUTE BY collectday(动态分区字段) 代替了 D
转载
2024-02-28 14:29:20
101阅读
# Hive清理异常分区
作为一名经验丰富的开发者，我将教会你如何实现Hive清理异常分区的过程。下面我将详细介绍整个流程，并提供每一步需要做的事情和相应代码。
## 流程概述
在开始之前，让我们先了解清理异常分区的整个流程。下面的表格展示了清理异常分区的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 获取异常分区列表 |
| 2 | 构建分区表的删除语句 |
原创
2023-12-30 09:22:34
119阅读
## Hive分区清理脚本
在大数据领域，Apache Hive是一个常用的数据仓库工具，它可以用来查询和分析存储在Hadoop分布式文件系统（HDFS）中的大规模数据。Hive通过将数据划分为多个分区来优化查询性能，同时降低数据的管理开销。然而，随着时间的推移，某些分区可能会变得不再需要，或者需要根据特定规则进行清理。本文将介绍如何编写Hive分区清理脚本，帮助你有效管理Hive分区的数据。
01.请慎重使用COUNT(DISTINCT col);原因：distinct会将b列所有的数据保存到内存中，形成一个类似hash的结构，速度是十分的块；但是在大数据背景下，因为b列所有的值都会形成以key值，极有可能发生OOM解决方案：所以，可以考虑使用Group By 或者 ROW_NUMBER() OVER(PARTITION BY col)方式代替COUNT(DISTINCT
转载
2024-05-14 13:40:09
167阅读
场景有一个parquet的表table_A，然后创建一个多分区表table_B A表的数据大小大约是1.21G（parquet压缩之后的大小，数据记录大概有270W条。Table_B的分区是根据年、月、日三个条件进行分区的。insert overwrite table table_B partition (year,month,day) select id,name,... B_year as y
转载
2023-07-14 12:13:08
106阅读
# Hive表添加字段分区太多
在使用Hive进行数据分析时，我们经常需要创建和管理大量的分区表。然而，当表的分区字段过多时，可能会导致一些性能和存储方面的问题。本文将介绍如何使用Hive添加字段分区，并提供一些解决方案来应对分区过多的情况。
## 什么是Hive分区表？
在Hive中，表的分区是基于一个或多个列的值来对数据进行分组和存储的方式。通过在查询中指定分区列的谓词条件，可以提高查询
原创
2023-07-27 14:52:59
247阅读
# 解决Java缓存过多问题的方法
在进行Java开发过程中，我们经常会遇到缓存过多的问题。当应用程序长时间运行，不断创建和销毁对象时，内存中的缓存会逐渐增多，导致内存消耗过大，甚至引发性能问题或内存溢出。本文将介绍几种解决Java缓存过多问题的方法，并提供相应的示例代码。
## 方法一：手动清理缓存
最简单直接的方法是手动清理缓存，即在程序的适当位置主动清理不再需要的缓存对象。这可以通过调
原创
2023-07-19 06:35:05
1295阅读
1 问题解决解决办法2 由以上问题引出的问题3 思考4 小结0 问题现象及原因分析 现象：[Error 20004]: Fatal error occurred when node tried to create
too many dynamic partitions. The maximum number of dynamic
partitions is controlled by hive
转载
2023-07-14 16:32:44
393阅读
## 如何解决"Hive分区太多了，导致内存溢出"的问题
### 流程图
```mermaid
flowchart TD
A(问题描述) --> B(检查分区数量)
B --> C{是否分区过多}
C -- 是 --> D(分区管理)
C -- 否 --> E(其他优化措施)
D --> F(删除不必要的分区)
D --> G(合并分区)
```
原创
2023-08-24 04:10:03
340阅读
一、如何解决数据倾斜数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算的能力较差或者由于此节点需要计算的数据比较多，导致出现其他节点的reduce阶段
转载
2023-07-14 12:07:24
72阅读
本篇概览本文是《hive学习笔记》系列的第四篇，要学习的是hive的分区表，简单来说hive的分区就是创建层级目录的一种方式，处于同一分区的记录其实就是数据在同一个子目录下，分区一共有两种：静态和动态，接下来逐一尝试；静态分区（单字段分区）先尝试用单个字段分区，t9表有三个字段：名称city、年龄age、城市city，以城市作为分区字段：建表：create table t9 (name strin
转载
2023-09-01 19:27:31
77阅读
1、方法1alter table 表名 add columns (列名 string COMMENT '新添加的列') CASCADE;
alter table 表名 add columns (列名 string COMMENT '新添加的列')；
hive表中指定位置增加一个字段
分两步，先添加字段到最后（add columns），然后再移动到指定位置（change）
alter
转载
2023-05-25 16:18:31
1299阅读
