1、提前过滤数据，减少中间数据依赖：尽量尽早的过滤数据，减少每个阶段的数据量，对于分区表要加分区，同时只选择需要使用到的数据。如下，改写后的写法将会大大减少join的数据量select ... from A
join B
on A.key = B.key
where A.userid>10
and B.userid<10
and A.dt='20120417'
简述分区是hive存放数据的一种方式，将列值作为目录来存放数据，就是一个分区，可以有多列。这样查询时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描不关心的分区，快速定位，提高查询效率。hive的分区有两种类型：静态分区SP(Static Partitioning)动态分区DP(Dynamic Partitioning)对于静态分区，表的分区数量和分区值是固定的。新增分区或者是加载
转载
2023-07-14 16:41:48
267阅读
表中可以允许的最大分区数是多少，以前并没有太在意过。如果不查文档，有没有快速的方法来得到结果呢。当时手工是11.2的环境，于是首先想到了INTERVAL分区，这样只需要建立一个INTERVAL为1的分区表，并不停的插入数据，Oracle会自动扩展分区，只到分区上限Oracle会报错。但是发现这种方法不但耗时很长，而且存在bug，Oracle频繁通过递归调用来创建分区，很快就会导致系统内存耗尽，6G
原创
2013-06-09 09:37:15
5359阅读
目录PostgreSQL实战之分区表前言1 分区表的意义2 传统分区表2.1 继承表2.2 创建分区表2.3 传统分区表注意事项3 内置分区表3.1 创建分区表3.2 内置分区表注意事项PostgreSQL实战之分区表前言分区表是关系型数据库提供的一个亮点特性，比如Oracle对分区表的支持已经非常成熟，广泛使用于生产系统，PostgreSQL也支持分区表，只是道路有些曲折，早在10版本之前Pos
转载
2024-04-23 06:50:49
89阅读
在Kubernetes（K8S）集群中使用Oracle数据库时，经常会遇到数据库连接数太多不释放的问题。这可能导致数据库性能下降，甚至服务不可用。为了解决这个问题，我们可以通过一些方式来释放未使用的数据库连接。下面我将介绍如何在K8S环境中处理这一问题。
首先，让我们通过以下步骤来了解整个处理流程：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 监控数据库连接数
原创
2024-04-30 11:33:58
1431阅读
1. DEX文件简介1). 基本格式
Android DEX文件格式--非虫大神杰作.png
dex-file-general-structure.png
Dex Header: header文件头String Table: 字符串的索引Type Table: 类型的索引Proto
转载
2024-10-03 15:14:45
72阅读
oracle分区
原创
2023-08-03 17:39:22
161阅读
r2(10),sname varchar2(20),dormitory varchar2(3),grade int)partition by range(grade)( partition fail values less than
原创
2023-04-20 15:49:30
266阅读
最近一直做系统优化，但从建模的角度今天有个小优化，原理比较简单，效果可能不是很大，但很有意思。这种优化的好处是不用改变sql代码，对用户是透明的。所以分享下。-由于hive在文件基础上，而会全部扫一个分区里面的内容。hive表的概念是基于hadoop的文件系统hdfs，表其实是分布式文件里面的一个文件目录。再加上没有索引，如果要取的表里面的某些字段就必须全部扫描该表对应的文件目录-如：建表way1
转载
2023-09-05 08:25:26
138阅读
哪里会产生小文件 ?源数据本身有很多小文件动态分区会产生大量小文件reduce个数越多, 小文件越多按分区插入数据的时候会产生大量的小文件, 文件个数 = maptask个数 * 分区数小文件太多造成的影响 ?从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。HDFS存储太多小文件, 会导致namenode元数据
转载
2023-07-12 11:01:35
243阅读
一个月之前，Scott和同事们发现公司有一个MySQL MHA集群的master（假设master机器名为hostA）每隔一周左右就会挂一次（指MySQL挂掉），在几周内，MHA来回切了好几次。按照国际惯例，Scott按照如下顺序去查问题到底出在哪里：（1）先翻MySQL error log，没有发
转载
2016-07-06 16:57:00
103阅读
2评论
01.请慎重使用COUNT(DISTINCT col);原因：distinct会将b列所有的数据保存到内存中，形成一个类似hash的结构，速度是十分的块；但是在大数据背景下，因为b列所有的值都会形成以key值，极有可能发生OOM解决方案：所以，可以考虑使用Group By 或者 ROW_NUMBER() OVER(PARTITION BY col)方式代替COUNT(DISTINCT
转载
2024-05-14 13:40:09
167阅读
前提：上个文章记录了我流量表的开发过程，成型后每个分区会有4000文件，不用hive分发+rand()函数会有6万个细碎文件。虽然已经大量减少了细碎文件的产生，但是每天产生4000个，月报4万个文件对于hive起MR过程还是造成不少压力，甚至直接起不来任务。于是做了第二次流量表的优化优化过程思路： 1、我先用了DISTRIBUTE BY collectday(动态分区字段) 代替了 D
转载
2024-02-28 14:29:20
101阅读
# 项目方案：快速清理 Hive 分区
## 背景
在 Hive 中，分区是一种重要的数据组织方式，可以提高查询效率和数据管理的灵活性。然而，随着时间的推移和数据量的增加，Hive 分区可能会变得过多，导致查询和管理操作变得缓慢。因此，我们需要制定一个方案来快速清理 Hive 分区，以保持系统的高效性。
## 方案概述
本方案通过编写脚本自动化清理 Hive 分区，包括以下步骤：
1.
原创
2023-08-03 16:25:44
525阅读
# Hive表添加字段分区太多
在使用Hive进行数据分析时，我们经常需要创建和管理大量的分区表。然而，当表的分区字段过多时，可能会导致一些性能和存储方面的问题。本文将介绍如何使用Hive添加字段分区，并提供一些解决方案来应对分区过多的情况。
## 什么是Hive分区表？
在Hive中，表的分区是基于一个或多个列的值来对数据进行分组和存储的方式。通过在查询中指定分区列的谓词条件，可以提高查询
原创
2023-07-27 14:52:59
247阅读
这些命令很长，但是希望可以让你很容易按照步骤创建一个全新的Linux服务器，使用Varnish, Nginx, W3 Total Cache, and WordPress来搭建一个WordPress博客并运行在亚马逊微型服务器（或其它类似服务），所有这些只需要花费每月$15，能维持每天10万的点 击率，通过blitz.io测试。
教你创建可以维持每天10万点击率的WordPress博客服务器，每月
# Spark任务数太多的问题及解决方案
在大数据处理领域，Apache Spark因其强大的分布式计算能力而备受青睐。然而，在实际应用中，Spark的任务数过多往往会导致性能问题。本文将探讨这一现象的成因、影响，以及一些可行的解决方案。
## Spark的任务机制
In Spark中，任务的颗粒度是非常细的，尤其是在处理RDD（弹性分布式数据集）时。每个RDD的操作都会生成多个任务，尤其是
原创
2024-10-21 03:11:10
134阅读
场景有一个parquet的表table_A，然后创建一个多分区表table_B A表的数据大小大约是1.21G（parquet压缩之后的大小，数据记录大概有270W条。Table_B的分区是根据年、月、日三个条件进行分区的。insert overwrite table table_B partition (year,month,day) select id,name,... B_year as y
转载
2023-07-14 12:13:08
106阅读
表分区太多了，可能会意外导致复制延迟，咋弄？
别担心，叶师傅有的是套路
转载
2021-07-30 15:33:10
776阅读
分；将大事务拆分，不要在一个事务里做大批量更新
转载
2023-06-07 14:35:15
90阅读
