1、分区表： 随着表的不断增大，对于新纪录的增加、查找、删除等(DML)的维护也更加困难。对于数据库中的超大型表，可通过把它的数据分成若干个小表，从而简化数据库的管理活动。对于每一个简化后的小表，我们称为一个单个的分区 对于分区的访问，我们不需要使用特殊的SQL查询语句或特定的DML语句，而且可以单独的操作单个分区，而不是
转载
2024-03-31 21:40:25
373阅读
思科交换机配置DHCP的四个方面这里我们主要讲解了思科交换机配置DHCP的相关内容.我们对网络拓扑先进行一下了解,然后对于其在进行一下说明,之后对于配置的代码和命令再进行一下解析. 思科交换机配置DHCP一.网络拓扑 思科交换机配置 ...非常不错的Navigation Bar效果非常不错的Navigation Bar效果,该源码转载于源码天堂的,大家可以了解一下吧,多视图应用程序中,我们常常使用
转载
2024-08-27 17:21:43
25阅读
概述openGauss是基于PostgreSQL9.2.4的内核开发的，在PostgreSQL10之前要达到实现分区表的效果可以有两种方式，一种是使用继承的触发器函数来实现，一种是安装pg_pathman的插件来实现，直到PostgreSQL10才引入了partition的语法；而opengauss从开源发布就可以直接使用partition的方式来创建分区表，行存表支持范围分区和间隔分区，列存表支
转载
2024-05-30 22:46:04
802阅读
oracle学习笔记表空间分类：永久表空间，临时表空间，UNDO表空间。查看用户的表空间，这有两个数据字典： dba_tablespaces 管理员用户级别查看； user_tablespaces 普通用户级别查看。dba_users 查看系统用户 user_users 查看普通用户修改默认表空间 语法： ALTER USER username DEFAULT|TEMPORARY TAB
转载
2024-04-06 19:09:17
200阅读
点赞
postgresql分区表探索(pg_pathman)
使用场景许多系统在在使用几年之后数据量不断膨胀，这个时候单表数据量超过2000w+，数据库的查询也越来越慢，而随着时间的推移许多历史数据的重要性可能逐渐下降。这时候就可以考虑使用分区表来将冷热数据分区存储。常用的使用场景比如sql分析的日志记录，常用的分区字段有按照创建时间、省份、以及业务类型，具体
转载
2024-06-29 17:28:15
324阅读
为能够进行高并发和高吞吐的数据处理，Spark封装了三大数据结构，用于不同的数据场景。包括 RDD、累加器、广播变量。下面详细介绍这三大数据结构。一、RDD1、什么是RDD前面提到RDD 是弹性分布式数据集，是Spark最基本的数据抽象。代表一个不可变、可分区、元素可并发计算的集合。弹性包括： 存储的弹性
作为Linux管理员，我们需要一次又一次地查看硬盘的分区表。这有助于我们通过为进一步分区腾出空间来重新组织旧驱动器，并在必要时为新驱动器创建空间。您可以在硬盘上创建不超过四个主分区，但可以在多个逻辑分区或扩展分区上创建，具体取决于系统上安装的硬盘大小。分区表包含有关所有逻辑磁盘或分区的信息，位于硬盘的0扇区中。您的设备在分区表中列为/dev/sda，/dev/sdb等。 sd *设备是指系统上的S
转载
2024-03-21 07:24:27
87阅读
一、查看pg 表字段‘名称’、‘类型’、‘非空’、‘注释’SELECT
a.attname as 字段名,
format_type(a.atttypid,a.atttypmod) as 类型,
a.attnotnull as 非空, col_description(a.attrelid,a.attnum) as 注释
FROM
pg_class as c
原创
2023-03-23 16:00:57
10000+阅读
PLSQL Developer 若干使用技巧
1、右键菜单在PL/SQL Developer（下面简称PLD）中的每一个文本编辑窗口，如SQL Window，Command Window和Porgram Window，右键点击某个对象名称，会弹出一个包含操作对象命令的菜单，我们这里称之为右键菜单。对象类型可以是表，视图，同义词，存储过程和函数等。根据对象类型的不同，
这篇主要是进行基本操作，练习各种约束条件的运用以及对select查询语句的初步认识目录基本操作约束条件select初步运用总结基本操作Oracle注释：--打开plsqldev软件找到tables文件夹，这里是所有的表可以右键创建个表创建信息在Tables下面会出现刚刚创建的表右键表——Query data查看数据右键表——Edit data修改数据填入信息修改表的属性==============
转载
2024-10-21 13:27:40
475阅读
安装gitsudo apt-get install git 添加kali源（借助katoolin从git上添加源到本地）如何使用git clone https://github.com/geange/kaliTools.git
cd kaliTools/
chmod +x index.sh
sudo ./index.sh 你将会看到初始界面选择第一个，按下Enter键，kaliTools将会添加k
1、sparksql是Spark用来处理结构化数据的一个模块，它提供了两个抽象DataFrame和DataSet并且作为分布式SQL查询引擎的作用。Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，
转载
2023-08-17 19:25:53
115阅读
1、limit限制调整
一般情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。有一个配置属性可以开启，避免这种情况—对数据源进行抽样
hive.limit.optimize.enable=true — 开启对数据源进行采样的功能
hive.limit.row.max.size — 设置最小的采样容量
hive.limit.optimize.limit.file — 设置最大的采
转载
2024-07-12 11:38:50
106阅读
参考https://www.modb.pro/db/60164 在PG里面查看表结构，不如mysql那样show create table xx 这样方便。 在PG里面常用如下3种方法：第一种，最朴实的方法就是 pg_dump --schema-only 导出全部的表结构第二种，创建一个function，具体如下：CREATE OR
原创
2022-11-05 15:56:21
10000+阅读
目录1理解sparksql 基本概念1.1sparksql概念 2掌握dataframedataset基本方式Datdaframe简介dataframe创建步骤打开scala新建spark目录网站上查看新建person文件在/spark目录下查看文件是否上传2．通过文件直接创建DataFrameDataframe的查询dataframe数据实操RDD、DataFrame及Dataset的
转载
2024-06-19 11:54:14
62阅读
hbase的分裂、上传和下载hbase的系统表储存在命名空间为hbase中： 因为我们之前安装hbase的时候配置了hbase的存储在hdfs中的位置 所以我们在hdfs的这个目录下有关于hbase的所有的目录 在hbase路径中的hbase文件夹就是hbase中维护的系统表:namespace和meta namespace是维护着所有的命名空间 meta是维护hbase中的所有的列族 但是他们h
转载
2023-07-12 21:51:17
564阅读
```mermaid
journey
title 查看表分区流程
section 了解需求
开发者-->小白: 了解需求，确认表名
section 编写SQL语句
开发者-->小白: 编写SQL语句
section 执行SQL语句
开发者-->小白: 执行SQL语句，查看结果
```
在实现“hive sql 查看表
原创
2024-04-18 06:46:55
71阅读
# MySQL 分区表的概述与查看方法
## 什么是分区
分区是一种将表中的数据分割成更小的、可管理的部分的技术。在大型数据表中，分区可以帮助提升查询性能以及简化数据管理。每个分区可以被认为是表的一个子集，每个子集可以单独被存储和操作。
MySQL 在版本 5.1 中引入了分区功能。通过分区，您可以将表的行根据某些规则划分到不同的物理存储区域，使得在大数据集上的查询更高效。
## 分区类型
原创
2024-08-28 07:01:47
103阅读
Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Impala的缘故)合作开发完成并开源，2015年5月从Apache的孵化器里毕业成为Apache顶级项目
上周我写了一篇博文，里面有一点关于分区表的论述（）。但是我发现我少写了一点，在你的查询条件和分区列没有太大关系的时候，分区表不会帮助你提高效率。 图1图2 我是按照area_id分区的，图1的执行计划： 图2的执行计划：
