1、提前过滤数据，减少中间数据依赖：尽量尽早的过滤数据，减少每个阶段的数据量，对于分区表要加分区，同时只选择需要使用到的数据。如下，改写后的写法将会大大减少join的数据量select ... from A
join B
on A.key = B.key
where A.userid>10
and B.userid<10
and A.dt='20120417'
简述分区是hive存放数据的一种方式，将列值作为目录来存放数据，就是一个分区，可以有多列。这样查询时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描不关心的分区，快速定位，提高查询效率。hive的分区有两种类型：静态分区SP(Static Partitioning)动态分区DP(Dynamic Partitioning)对于静态分区，表的分区数量和分区值是固定的。新增分区或者是加载
转载
2023-07-14 16:41:48
267阅读
01.请慎重使用COUNT(DISTINCT col);原因：distinct会将b列所有的数据保存到内存中，形成一个类似hash的结构，速度是十分的块；但是在大数据背景下，因为b列所有的值都会形成以key值，极有可能发生OOM解决方案：所以，可以考虑使用Group By 或者 ROW_NUMBER() OVER(PARTITION BY col)方式代替COUNT(DISTINCT
转载
2024-05-14 13:40:09
167阅读
场景有一个parquet的表table_A，然后创建一个多分区表table_B A表的数据大小大约是1.21G（parquet压缩之后的大小，数据记录大概有270W条。Table_B的分区是根据年、月、日三个条件进行分区的。insert overwrite table table_B partition (year,month,day) select id,name,... B_year as y
转载
2023-07-14 12:13:08
106阅读
1.分区表简介当数据量很大时，一张表已经不适合装载全部数据（严重影响性能），同时很多场景的查询操作都是对部分数据的查询，这时我们需要对数据按一定规则进行分表。RDBMS:NOSQL：hive是设置分区的字段，对数据进行分区扩展1：大数据的瓶颈之一是IO，IO分为disk、network两类，hive通过设置分区能大大降低disk的消耗，生产上几乎是分区表。2.分区表创建以及使用2.1语法CREAT
转载
2023-07-06 22:10:51
157阅读
最近一直做系统优化，但从建模的角度今天有个小优化，原理比较简单，效果可能不是很大，但很有意思。这种优化的好处是不用改变sql代码，对用户是透明的。所以分享下。-由于hive在文件基础上，而会全部扫一个分区里面的内容。hive表的概念是基于hadoop的文件系统hdfs，表其实是分布式文件里面的一个文件目录。再加上没有索引，如果要取的表里面的某些字段就必须全部扫描该表对应的文件目录-如：建表way1
转载
2023-09-05 08:25:26
138阅读
哪里会产生小文件 ?源数据本身有很多小文件动态分区会产生大量小文件reduce个数越多, 小文件越多按分区插入数据的时候会产生大量的小文件, 文件个数 = maptask个数 * 分区数小文件太多造成的影响 ?从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。HDFS存储太多小文件, 会导致namenode元数据
转载
2023-07-12 11:01:35
243阅读
前提：上个文章记录了我流量表的开发过程，成型后每个分区会有4000文件，不用hive分发+rand()函数会有6万个细碎文件。虽然已经大量减少了细碎文件的产生，但是每天产生4000个，月报4万个文件对于hive起MR过程还是造成不少压力，甚至直接起不来任务。于是做了第二次流量表的优化优化过程思路： 1、我先用了DISTRIBUTE BY collectday(动态分区字段) 代替了 D
转载
2024-02-28 14:29:20
101阅读
一、Hive分区。 是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询
转载
2023-08-18 22:28:37
137阅读
1.分区表 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集分区表是将数据分文件夹管理 , 减少数据扫描的文件范围 直接从对应文件夹中读取数据 1.静态分区文件中存储的指定规则的数据创建静态分区步骤：1）前提有静态数据20201128.log&nbs
转载
2024-06-17 15:03:26
79阅读
1 问题解决解决办法2 由以上问题引出的问题3 思考4 小结0 问题现象及原因分析 现象：[Error 20004]: Fatal error occurred when node tried to create
too many dynamic partitions. The maximum number of dynamic
partitions is controlled by hive
转载
2023-07-14 16:32:44
393阅读
# 项目方案：快速清理 Hive 分区
## 背景
在 Hive 中，分区是一种重要的数据组织方式，可以提高查询效率和数据管理的灵活性。然而，随着时间的推移和数据量的增加，Hive 分区可能会变得过多，导致查询和管理操作变得缓慢。因此，我们需要制定一个方案来快速清理 Hive 分区，以保持系统的高效性。
## 方案概述
本方案通过编写脚本自动化清理 Hive 分区，包括以下步骤：
1.
原创
2023-08-03 16:25:44
525阅读
# Hive表添加字段分区太多
在使用Hive进行数据分析时，我们经常需要创建和管理大量的分区表。然而，当表的分区字段过多时，可能会导致一些性能和存储方面的问题。本文将介绍如何使用Hive添加字段分区，并提供一些解决方案来应对分区过多的情况。
## 什么是Hive分区表？
在Hive中，表的分区是基于一个或多个列的值来对数据进行分组和存储的方式。通过在查询中指定分区列的谓词条件，可以提高查询
原创
2023-07-27 14:52:59
247阅读
在大数据中，最常见的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一个个小的文件就会很容易了，同样的道理，在hive当中也是支持这种思想的，就是我们可以把大的数据，按照每天或者每小时切分成一个个小的文件，这样去操作小的文件就会容易很多了。
转载
2022-06-30 08:53:00
526阅读
今天的一个业务场景就是要把三年的数据从第一天不停的融合起来，每一天作为表格一个新的分区。由于空间有限，数据量很大，可能每天数据都是几十个G的大小。所以我需要做的一点就是在融合这一天之后，删除一天的分区数据，为了保险起见，我删除这一天的前三天的数据。
转载
2019-03-11 16:28:00
180阅读
一、查看分区查看分区show partitions table_name;
/*
update_date=20230305
update_date=20230312
update_date=20230319
*/查看分区表描述desc table_name partition(update_date=20230305);查看外部表，特定指定的位置desc extended table_name p
转载
2023-06-12 19:48:20
595阅读
hql 建表语法格式：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITION
转载
2023-10-22 17:23:57
51阅读
## 如何解决"Hive分区太多了，导致内存溢出"的问题
### 流程图
```mermaid
flowchart TD
A(问题描述) --> B(检查分区数量)
B --> C{是否分区过多}
C -- 是 --> D(分区管理)
C -- 否 --> E(其他优化措施)
D --> F(删除不必要的分区)
D --> G(合并分区)
```
原创
2023-08-24 04:10:03
340阅读
# Hive指定分区数实现教程
## 1. 概述
在Hive中，可以使用分区来对数据进行划分和组织，以提高查询效率。分区是将表的数据根据某个列的值进行划分，每个分区对应一个存储路径。在某些场景下，我们可能需要指定分区数来更好地管理和优化数据。本教程将以一个经验丰富的开发者的角度，详细介绍如何实现Hive指定分区数的方法。
## 2. 步骤概览
下表展示了实现Hive指定分区数的步骤概览：
|
原创
2023-11-17 13:36:35
69阅读
# 实现Hive表分区数
作为一名经验丰富的开发者，我将向你介绍如何实现Hive表的分区数。以下是整个流程的步骤：
| 步骤 | 描述 |
| ------ | ------ |
| 步骤1 | 创建一个Hive表 |
| 步骤2 | 设置表的分区数 |
| 步骤3 | 导入数据到分区 |
| 步骤4 | 查询分区数据 |
现在让我们逐步进行。
## 步骤1：创建一个Hive表
首先，
原创
2023-08-03 16:29:21
81阅读
