方法一 查看表的分区键 select d.nspname||'.'||a.relname as table_name,string_agg(b.attname,',') as column_namefrom pg_catalog.pg_class ainner join pg_catalog.pg_
转载
2019-07-05 15:12:00
1222阅读
2评论
SQL思维导图：查询语句 SQL思维导图：DDL&DML SQL查询：基础知识点1、左连接、右连接、内连接、外连接内连接(INNER JOIN)，用于返回两个表中满足连接条件的数据行。左外连接(LEFT OUTER JOIN)，返回左表中所有的数据行；对于右表中数据，如果没有匹配的值，返回空值。右外连接(RIGHT OUTER JOIN)，返回右表中所有的数据行；对于左
转载
2024-08-04 10:31:05
47阅读
1. 数据库启动：gpstart常用可选参数： -a : 直接启动，不提示终端用户输入确认
转载
2024-08-07 19:59:42
167阅读
概述openGauss是基于PostgreSQL9.2.4的内核开发的，在PostgreSQL10之前要达到实现分区表的效果可以有两种方式，一种是使用继承的触发器函数来实现，一种是安装pg_pathman的插件来实现，直到PostgreSQL10才引入了partition的语法；而opengauss从开源发布就可以直接使用partition的方式来创建分区表，行存表支持范围分区和间隔分区，列存表支
转载
2024-05-30 22:46:04
802阅读
1、分区表： 随着表的不断增大，对于新纪录的增加、查找、删除等(DML)的维护也更加困难。对于数据库中的超大型表，可通过把它的数据分成若干个小表，从而简化数据库的管理活动。对于每一个简化后的小表，我们称为一个单个的分区 对于分区的访问，我们不需要使用特殊的SQL查询语句或特定的DML语句，而且可以单独的操作单个分区，而不是
转载
2024-03-31 21:40:25
373阅读
为能够进行高并发和高吞吐的数据处理，Spark封装了三大数据结构，用于不同的数据场景。包括 RDD、累加器、广播变量。下面详细介绍这三大数据结构。一、RDD1、什么是RDD前面提到RDD 是弹性分布式数据集，是Spark最基本的数据抽象。代表一个不可变、可分区、元素可并发计算的集合。弹性包括： 存储的弹性
GP支持分区表，主要用来存放大表，如fact table 目的： 1. 把大数据切片,便于查询 2. 便于数据库维护 分区创建时，每个分区会自带一个Check约束，来限定数据的范围。Check约束也用于 执行查询时定位分区。 支持分区类型： 1. 范围分区 range partition 2. 列表分区 list partition 3. 组合分区 &nbs
转载
2024-06-20 19:56:38
171阅读
作为Linux管理员，我们需要一次又一次地查看硬盘的分区表。这有助于我们通过为进一步分区腾出空间来重新组织旧驱动器，并在必要时为新驱动器创建空间。您可以在硬盘上创建不超过四个主分区，但可以在多个逻辑分区或扩展分区上创建，具体取决于系统上安装的硬盘大小。分区表包含有关所有逻辑磁盘或分区的信息，位于硬盘的0扇区中。您的设备在分区表中列为/dev/sda，/dev/sdb等。 sd *设备是指系统上的S
转载
2024-03-21 07:24:27
87阅读
1、sparksql是Spark用来处理结构化数据的一个模块，它提供了两个抽象DataFrame和DataSet并且作为分布式SQL查询引擎的作用。Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，
转载
2023-08-17 19:25:53
115阅读
1、limit限制调整
一般情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。有一个配置属性可以开启，避免这种情况—对数据源进行抽样
hive.limit.optimize.enable=true — 开启对数据源进行采样的功能
hive.limit.row.max.size — 设置最小的采样容量
hive.limit.optimize.limit.file — 设置最大的采
转载
2024-07-12 11:38:50
106阅读
目录1理解sparksql 基本概念1.1sparksql概念 2掌握dataframedataset基本方式Datdaframe简介dataframe创建步骤打开scala新建spark目录网站上查看新建person文件在/spark目录下查看文件是否上传2．通过文件直接创建DataFrameDataframe的查询dataframe数据实操RDD、DataFrame及Dataset的
转载
2024-06-19 11:54:14
62阅读
hbase的分裂、上传和下载hbase的系统表储存在命名空间为hbase中： 因为我们之前安装hbase的时候配置了hbase的存储在hdfs中的位置 所以我们在hdfs的这个目录下有关于hbase的所有的目录 在hbase路径中的hbase文件夹就是hbase中维护的系统表:namespace和meta namespace是维护着所有的命名空间 meta是维护hbase中的所有的列族 但是他们h
转载
2023-07-12 21:51:17
564阅读
PostgreSQL 分区概念PostgreSQL 分区是将单个大表分成小的、可管理的部分的过程。通过将表分解为更小的部分，可以提高查询性能和数据加载速度，同时也可以简化数据维护和管理。使用分区技术，可以将大型表分成多个小表，每个小表只包含特定的数据子集。在 PostgreSQL 中，分区表由一个主表和多个子表组成。主表包含所有子表的元数据，而子表包含实际数据。分区表的查询和 DML 操作与普通表
转载
2024-03-23 12:47:47
245阅读
目录1. 准备安装环境... 21.1. 安装依赖包... 21.2. 系统参数配置... 31.3. 禁用SELinux（三台机器都要）... 31.4. &n
```mermaid
journey
title 查看表分区流程
section 了解需求
开发者-->小白: 了解需求，确认表名
section 编写SQL语句
开发者-->小白: 编写SQL语句
section 执行SQL语句
开发者-->小白: 执行SQL语句，查看结果
```
在实现“hive sql 查看表
原创
2024-04-18 06:46:55
71阅读
# MySQL 分区表的概述与查看方法
## 什么是分区
分区是一种将表中的数据分割成更小的、可管理的部分的技术。在大型数据表中，分区可以帮助提升查询性能以及简化数据管理。每个分区可以被认为是表的一个子集，每个子集可以单独被存储和操作。
MySQL 在版本 5.1 中引入了分区功能。通过分区，您可以将表的行根据某些规则划分到不同的物理存储区域，使得在大数据集上的查询更高效。
## 分区类型
原创
2024-08-28 07:01:47
103阅读
Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Impala的缘故)合作开发完成并开源，2015年5月从Apache的孵化器里毕业成为Apache顶级项目
上周我写了一篇博文，里面有一点关于分区表的论述（）。但是我发现我少写了一点，在你的查询条件和分区列没有太大关系的时候，分区表不会帮助你提高效率。 图1图2 我是按照area_id分区的，图1的执行计划： 图2的执行计划：
# MySQL查看表分区命令
在MySQL数据库中，对表进行分区可以提高查询性能、维护和管理数据等方面的优势。当我们在MySQL中使用了分区表之后，有时候我们需要查看表的分区情况，以便更好地了解表的结构和数据存储方式。下面我们来介绍一下如何使用MySQL查看表分区的命令。
## 查看表分区命令
在MySQL中，我们可以使用`SHOW CREATE TABLE`命令来查看表的创建语句，包括表的
原创
2024-05-09 06:17:16
459阅读
# Hive查看表最新分区实现方法
## 概述
Hive是一个开源的数据仓库工具，为我们提供了方便的数据查询和分析能力。在使用Hive的过程中，我们经常需要查看表的最新分区。本文将介绍如何使用Hive实现查看表最新分区的方法，并给出详细的步骤和代码示例。
## 流程图
```mermaid
flowchart TD
A[连接到Hive] --> B[选择数据库]
B --> C
原创
2023-11-02 09:34:05
108阅读
