今天在进行数据泵导入操作时，发现一个bug。前两篇文章分别介绍了问题的发现和深入，这篇文章检查问题和表的MONITORING属性之间的关系。前不久检查了一篇以往的BLOG，意外的发现这个bug居然被我忘记了，时隔一年继续解决这个问题。根据上一篇文章所介绍的分析过程，基本上可以确认和这几张分区表的统计信息本身有关。由于当前数据库是从920环境EXP导出，IMP导入到同版本的中间数据库，最终通过数据泵
原创
2013-05-22 11:33:38
383阅读
今天在进行数据泵导入操作时，发现一个bug。这篇文章描述导致问题的原因。现在已经找到了问题的原因，并且也找到了解决问题的方法，但是导致问题的原因还不清楚。也就是说，要找到为什么这几个分区表的统计信息被锁住。Oracle的DBMS_STATS包提供了LOCK_TABLE_STATS过程，但是当前的问题显然不是手工调用这个过程造成的。所有了一下metalink，发现Oracle在文档Doc ID: 4
原创
2013-05-22 11:48:56
482阅读
今天在进行数据泵导入操作时，发现一个bug。这篇文章描述问题的解决过程。看来通过检查数据字典信息是找不到什么问题的原因了，只有通过手工执行收集统计信息的过程来尝试发现问题。为了避免bug意外被解决所导致的问题无法重现，同时也为了可以在解决bug的过程中使用一些特别的手段而不影响用户的使用，这里通过备份建立了一个测试环境，下面的操作是在测试环境中执行。首先修改统计信息对应的JOB的NEXT_DATE
原创
2013-05-22 11:44:21
538阅读
今天在进行数据泵导入操作时，发现一个bug。上一篇记录了问题的现象，这一篇继续深入研究。上一篇文章已经描述了问题的产生，而且提到了这个问题很难重现。无论如何去模拟实际的情况，都无法重现问题。为了重现这个问题，在RAC数据库环境中，仿照问题表创建了分区表、并仿照问题数据库收集了统计信息的方式进行了统计信息的收集，都无法重现问题。但是，利用问题数据库导出的统计信息，就可以重现问题。上周五发现的问题，但
原创
2013-05-22 11:29:33
345阅读
主要报错信息如下：Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynam...
原创
2021-06-21 16:04:30
1057阅读
主要报错信息如下：Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynam...
原创
2022-01-07 17:52:02
1364阅读
方案概述Oracle11g推出了增量（incremental）统计信息收集新特性，提高大表统计信息收集的效率问题。不同分区方式情况下，incremental和非incremental方式统计信息收集比较：范围分区：incremental和非Incremental的方式收集，之间的效率差异主要一是在分区数，如果分区的数量越多，二者的差异越明显，incremental明显占优势；二是Insert的数据
--****************************-- 导入导出 Oracle 分区表数据--****************************导入导入Oracle 分区表数据是Oracle DBA 经常完成的任务之一。分区表的导入导出同样普通表的导入导出方式，只不过导入导出需要考虑到分区的特殊性，如分区索引，将分区迁移到普通表，或使用原始分区表导入到新的分区表。下面将描述使用im
对于离线批处理的方式，如何把数据插入进hive表；案例：传统关系型数据库的BI人员转大数据，表里面差一列，使用insert插入，就会导致一大堆的小文件。hive支持insert，只支持一条一条记录插入。不建议采用hdfs上下载表的方式，可以采用sqoop.一、分区表（partition table）eg.每个用户进行的每一个操作都有操作日志，便于追踪；我们拨打10086，点击1、2、3会跳转不同的
转载
2023-07-14 16:18:41
948阅读
最近在做一个小任务，将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作，在正式开始做之前，首先进行了一段时间的练习，下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏，希望各位网友能够指出。第一篇：HDFS的上传与下载：第二篇：Hive中数据的导入与导出：第四篇：跨平台传输方案： Hive分区表数据的上传与导出1. 前言 经
-- 查看分区表信息
SHOW CREATE TABLE table1;
SHOW TABLE STATUS LIKE 'table1';
-- 查看各分区信息
SELECT TABLE_NAME,PARTITION_NAME,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,AVG_ROW_LENGTH/1024 as
转载
2023-06-07 21:15:23
668阅读
# Hive 分区表：导入其他表数据
在Hive中，分区表是一种非常有用的数据组织方式，它通过将数据按照某个列或多个列进行分区，使查询更加高效。而当我们需要导入其他表的数据到分区表中时，可以采取以下几种方法。
## 方法一：使用INSERT INTO SELECT语句
最简单的方法是使用`INSERT INTO SELECT`语句将其他表的数据插入到分区表中。假设我们有两张表，`source
原创
2023-07-23 15:59:45
629阅读
--****************************-- 导入导出 Oracle 分区表数据--****************************导入导入Oracle 分区表数据是Oracle DBA 经常完成的任务之一。分区表的导入导出同样普通表的导入导出方式，只不过导入导出需要考虑到分区的特殊性，如分区索引，将分区迁移到普通表，或使用原始分区表导入到新的分区表。下面将描述使用im
原创
2013-09-13 10:19:28
4168阅读
数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区.1. hive建立分区表create external table if not exists tablename(a string,b string)partitioned by (year string,month string)row format deli
原创
2021-06-21 16:03:40
5229阅读
数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区.1. hive建立分区表create external table if not exists tablename(a string,b string)partitioned by (year string,month string)row format deli
原创
2022-01-07 16:25:07
2818阅读
[oracle@test ~]$ cat /home/oracle/copy_statics.sh #!/bin/bashsource /home/oracle/.bash_profileSDATE=$(date +%Y%m)TDATE=$(date -d 'next-month' +%Y%m)SP
原创
2022-07-17 00:47:24
154阅读
--****************************-- 导入导出 Oracle 分区表数据--**************************** 导入导入Oracle 分区表数据是Oracle DBA 经常完成的任务之一。 基于已存在的表..
原创
2022-01-06 10:47:00
877阅读
一、导入数据操作1.load data local inpath ‘本地路径’ into table 数据库名.表名; （直接表名好像也可以） 将本地的数据导入到hive仓库中例如： load data local inpath ‘/root/test.txt’ into table t.user01;2.load data inpath ‘hdfs://本机名:端口号及路径’ into tabl
所介绍内容基本上是翻译官方文档，比较肤浅，如有错误，请指正！hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表：create table partition_test(member_id string,name
