简述分区是hive存放数据的一种方式，将列值作为目录来存放数据，就是一个分区，可以有多列。这样查询时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描不关心的分区，快速定位，提高查询效率。hive的分区有两种类型：静态分区SP(Static Partitioning)动态分区DP(Dynamic Partitioning)对于静态分区，表的分区数量和分区值是固定的。新增分区或者是加载
转载
2023-07-14 16:41:48
267阅读
1、提前过滤数据，减少中间数据依赖：尽量尽早的过滤数据，减少每个阶段的数据量，对于分区表要加分区，同时只选择需要使用到的数据。如下，改写后的写法将会大大减少join的数据量select ... from A
join B
on A.key = B.key
where A.userid>10
and B.userid<10
and A.dt='20120417'
最近一直做系统优化，但从建模的角度今天有个小优化，原理比较简单，效果可能不是很大，但很有意思。这种优化的好处是不用改变sql代码，对用户是透明的。所以分享下。-由于hive在文件基础上，而会全部扫一个分区里面的内容。hive表的概念是基于hadoop的文件系统hdfs，表其实是分布式文件里面的一个文件目录。再加上没有索引，如果要取的表里面的某些字段就必须全部扫描该表对应的文件目录-如：建表way1
转载
2023-09-05 08:25:26
138阅读
哪里会产生小文件 ?源数据本身有很多小文件动态分区会产生大量小文件reduce个数越多, 小文件越多按分区插入数据的时候会产生大量的小文件, 文件个数 = maptask个数 * 分区数小文件太多造成的影响 ?从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。HDFS存储太多小文件, 会导致namenode元数据
转载
2023-07-12 11:01:35
243阅读
前提：上个文章记录了我流量表的开发过程，成型后每个分区会有4000文件，不用hive分发+rand()函数会有6万个细碎文件。虽然已经大量减少了细碎文件的产生，但是每天产生4000个，月报4万个文件对于hive起MR过程还是造成不少压力，甚至直接起不来任务。于是做了第二次流量表的优化优化过程思路： 1、我先用了DISTRIBUTE BY collectday(动态分区字段) 代替了 D
转载
2024-02-28 14:29:20
101阅读
01.请慎重使用COUNT(DISTINCT col);原因：distinct会将b列所有的数据保存到内存中，形成一个类似hash的结构，速度是十分的块；但是在大数据背景下，因为b列所有的值都会形成以key值，极有可能发生OOM解决方案：所以，可以考虑使用Group By 或者 ROW_NUMBER() OVER(PARTITION BY col)方式代替COUNT(DISTINCT
转载
2024-05-14 13:40:09
167阅读
场景有一个parquet的表table_A，然后创建一个多分区表table_B A表的数据大小大约是1.21G（parquet压缩之后的大小，数据记录大概有270W条。Table_B的分区是根据年、月、日三个条件进行分区的。insert overwrite table table_B partition (year,month,day) select id,name,... B_year as y
转载
2023-07-14 12:13:08
106阅读
# 项目方案：快速清理 Hive 分区
## 背景
在 Hive 中，分区是一种重要的数据组织方式，可以提高查询效率和数据管理的灵活性。然而，随着时间的推移和数据量的增加，Hive 分区可能会变得过多，导致查询和管理操作变得缓慢。因此，我们需要制定一个方案来快速清理 Hive 分区，以保持系统的高效性。
## 方案概述
本方案通过编写脚本自动化清理 Hive 分区，包括以下步骤：
1.
原创
2023-08-03 16:25:44
525阅读
# Hive表添加字段分区太多
在使用Hive进行数据分析时，我们经常需要创建和管理大量的分区表。然而，当表的分区字段过多时，可能会导致一些性能和存储方面的问题。本文将介绍如何使用Hive添加字段分区，并提供一些解决方案来应对分区过多的情况。
## 什么是Hive分区表？
在Hive中，表的分区是基于一个或多个列的值来对数据进行分组和存储的方式。通过在查询中指定分区列的谓词条件，可以提高查询
原创
2023-07-27 14:52:59
247阅读
今天的一个业务场景就是要把三年的数据从第一天不停的融合起来，每一天作为表格一个新的分区。由于空间有限，数据量很大，可能每天数据都是几十个G的大小。所以我需要做的一点就是在融合这一天之后，删除一天的分区数据，为了保险起见，我删除这一天的前三天的数据。
转载
2019-03-11 16:28:00
180阅读
## 如何解决"Hive分区太多了，导致内存溢出"的问题
### 流程图
```mermaid
flowchart TD
A(问题描述) --> B(检查分区数量)
B --> C{是否分区过多}
C -- 是 --> D(分区管理)
C -- 否 --> E(其他优化措施)
D --> F(删除不必要的分区)
D --> G(合并分区)
```
原创
2023-08-24 04:10:03
340阅读
1.分区表 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集分区表是将数据分文件夹管理 , 减少数据扫描的文件范围 直接从对应文件夹中读取数据 1.静态分区文件中存储的指定规则的数据创建静态分区步骤：1）前提有静态数据20201128.log&nbs
转载
2024-06-17 15:03:26
79阅读
1 问题解决解决办法2 由以上问题引出的问题3 思考4 小结0 问题现象及原因分析 现象：[Error 20004]: Fatal error occurred when node tried to create
too many dynamic partitions. The maximum number of dynamic
partitions is controlled by hive
转载
2023-07-14 16:32:44
393阅读
一、如何解决数据倾斜数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算的能力较差或者由于此节点需要计算的数据比较多，导致出现其他节点的reduce阶段
转载
2023-07-14 12:07:24
72阅读
1、方法1alter table 表名 add columns (列名 string COMMENT '新添加的列') CASCADE;
alter table 表名 add columns (列名 string COMMENT '新添加的列')；
hive表中指定位置增加一个字段
分两步，先添加字段到最后（add columns），然后再移动到指定位置（change）
alter
转载
2023-05-25 16:18:31
1299阅读
目录PostgreSQL实战之分区表前言1 分区表的意义2 传统分区表2.1 继承表2.2 创建分区表2.3 传统分区表注意事项3 内置分区表3.1 创建分区表3.2 内置分区表注意事项PostgreSQL实战之分区表前言分区表是关系型数据库提供的一个亮点特性，比如Oracle对分区表的支持已经非常成熟，广泛使用于生产系统，PostgreSQL也支持分区表，只是道路有些曲折，早在10版本之前Pos
转载
2024-04-23 06:50:49
89阅读
一. Hive的创建文件数的限制Hive对文件创建的总数是有限制的，这个限制取决于参数：hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing the j
转载
2023-09-20 05:09:46
94阅读
# Hive 计算小数太多
## 引言
在使用Hive进行数据处理时，经常会遇到计算结果出现小数精度过高的问题。这种情况通常是由于Hive默认使用的浮点数类型精度较高，导致计算结果无法被正确截断。本文将介绍这个问题的原因，并提供一种解决方案。
## 问题描述
在Hive中，当我们进行一些数值计算时，可能会遇到计算结果精度过高的情况。例如，以下代码示例计算了两个整数除法的结果：
```sq
原创
2024-01-03 04:48:41
290阅读
Hive分区的概念与传统关系型数据库分区不同。传统数据库的分区方式：就oracle而言，分区独立存在于段里，里面存储真实的数据，在数据进行插入的时候自动分配分区。Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际字段。所以可以这样理解，当我们在插入数据的时候指定分区，其实就是新建一个目录或者子目录，或者在原有的目录...
转载
2018-05-04 18:21:08
736阅读
Hive分区的概念与传统关系型数据库分区不同。传统数据库的分区方式：就oracle而言，分区独立存在于段里，里面存储真实的数据，在数据进行插入的时候自动分配分区。Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名
转载
2022-04-22 16:07:07
913阅读
点赞
