一、简介 在数据库日渐庞大的今天，为了方便对数据库数据的管理，比如按时间，按地区去统计一些数据时，基数过于庞大，多有不便。很多商业数据库都提供分区的概念，按不同的维度去存放数据，便于后期的管理，PostgreSQL也不例外。 PostgresSQL分区的意思是把逻辑上的一个大表分割成物理上的几块儿。分区不仅能带来访问速度的提升，关键的是，它能带来管理和维护上的方便。 分区的具体好处是：某
转载
2024-04-25 10:54:35
71阅读
备份恢复操作概述-关于并行备份（gp_dump）GP同时备份Master和所有活动的Segment实例 备份消耗的时间与系统中实例的数据没有关系 在Master主机上备份所有DDL文件和GP相关的数据字典表 每个Segment备份各自的数据 所有备份文件组成一个完整的备份集合，通过唯一14位数字的时间戳来识别缺点： 1、还有一分部内容没有备份，比如说用户角色信息、服务器配置信息，日志等，这时候可以
从前面的文章可以了解到，GP由Master、Segment、Interconnect 三部分组成。其中Master主要负责集群元数据的管理；Segment负责实际数据存储和处理。GP的高可用可以从底层存储硬件（磁盘阵列、RAID等）、Segment镜像（Primary、Mirror）、Master镜像（Master、Standby 手动）、双集群等手段。这里主要讲解 Master镜像即
转载
2024-03-26 23:09:35
121阅读
网上已经有很多文章了，但是自己操作发现了“呵呵”。这里只是在Windows上面使用数据库自带备份工具。postgresql备份恢复1.运维方式备份 （1）停止数据库，可以拷贝数据库文件。 2.逻辑备份 （1）pg_basebackup.exe 这是需要启动归
转载
2024-03-27 09:32:29
27阅读
Greenplum使用pg_dump最备份数据库
Greenplum使用pg_dump最备份数据库 1
1 说明 1
2 备份数据库数据 1
2.1 创建需要备份的数据库 1
2.2 执行备份数据库的命令 2
2.3 查看备份出来的数据格式 2
3 恢复数据库备份数据 3
3.1 创建需要恢复的数据库 3
3.2 导入备份数据 3
4 导出具体表备份 4
4.1 执行需要备份的表 4
4.2 查看
转载
2024-04-24 12:27:11
160阅读
一,非并行备份(pg_dump) 1) GP依然支持常规的PostgreSQL备份命令pg_dump和pg_dumpall 2) 备份将在Master主机上创建一个包含所有Segment数据的大的备份文件 3) 不适合于全部数据备份，适用于小部分数据的迁移或备份pg_dump是用于备份数据库的标准PostgreSQL实用程序，在Greenplum数据库中也受支持。它创建一个（非并行）
转载
2024-05-11 10:37:24
31阅读
前言GPDB 数据迁移可以通过全量恢复的方式，如果原来有3个机器，每个机器上面有2个Primary, 2个Mirror，那么可以通过扩展3部机器，变成每部机器上一个Primary，1个Mirror，在迁移的过程中，需要保证：原有的机器利用Primary+Mirror可以组成一个完成的原有集群DB，可以正常启动，这样才能全量恢复，将数据恢复到扩展的机器上。如下图，将原有机器的P1/P2/P3/M0/
转载
2024-05-12 18:46:23
71阅读
Green Plum 备份恢复方案1 环境centos 7主
145.170.41.153(master) root/123456145.170.41.154(segment) root/123456145.170.41.155(segment) root/123456备
145.170.41.156(master) root/123456145.170.41.157(segment)
转载
2024-04-11 10:08:43
406阅读
分布列选择黄金法则由于Greenplum是一个分布式的数据库，数据是分散存储在各个数据节点的，所以需要告诉Greenplum数据应该如何分布。短板效应当用户请求QUERY时，Greenplum会在所有的节点并行执行，所以最慢的节点会成为整个系统的瓶颈。Greenplum 支持的分布算法 :用户可以指定 分布列(允许指定多个列) ，或者使用 随机分布 算法。那么用户应该如何选择分布列，或者是否要使用
转载
2024-02-26 15:16:04
63阅读
# 备份 Greenplum 数据库的流程及代码指导
## 简介
在开发和运维过程中，备份数据库是非常重要的任务之一。本文将指导一位刚入行的小白如何实现“备份 Greenplum”数据库的操作。我们将分步骤介绍整个流程，并提供相应的代码和注释。
## 流程图
```mermaid
flowchart TD
A[开始]
B[连接数据库]
C[选择数据库]
D[执行
原创
2024-01-12 19:04:09
70阅读
转载
2019-07-01 17:23:00
184阅读
2评论
作者：瀚高PG实验室 （Highgo PG Lab）- 波罗 系统表是关系型数据库存放结构元数据的地方，比如表和字段以及内部登记信息等。PostgreSQL 的系统表就是普通表。 不应该手工修改系统表，通常总有 SQL 命令可以做这些事情。 比如，CREATE DATABASE 向 pg_database 表插入一行，并且实际上在磁盘上创建该数据库。有几种特别深奥的操作例外，比如增加索引访问方法。
转载
2024-03-21 13:10:17
54阅读
标签PostgreSQL , Greenplum , 分区 , 实践 背景在数据仓库业务中，单表的数据量通常是非常巨大的。Greenplum在这方面做了很多的优化1、支持列存储2、支持向量计算3、支持分区表4、支持btree, bitmap, gist索引接口5、执行并行计算6、支持HASH JOIN等提高数据筛选的效率是一个较为低廉有效的优化手段，比如表分区。但是分区是不是越多越好呢？实际上分区
转载
2024-02-08 06:07:33
60阅读
1.数据库管理员职责： 1.安装和升级Oracle数据库2.建库、表空间、表、视图、索引3.指定并实施备份与恢复计划4.数据库权限管理、调优、故障排除5.对于高级DBA，要求能参与项目开发，会编写sql语句、存储过程、触发器、规则、约束、包...管理数据库的用户主要有sys和system，区别有： 1. 存储的数据的重要性不同(最重要的区别)sys： 所有oracle数据字典的基表和视图都存放在s
GP推荐你定期备份数据库。这些备份能够被用来恢复你的数据或在系统失败或数据丢失时重建gp数据库系统。你也能使用备份文件来做数据库迁移。 1.关于并行备份GP并行备份工具：gp_dumpGP自动定期备份工具：gpcrondump备份过程：因为Segments是并行导出，备份所花费的时间应该是按比例的，不管segment的数据如何。Master备份中包含了DDL语句和GP 系统字典表(如
转载
2024-01-26 12:40:34
50阅读
Greenplum是分布式数据库，这为备份带来了一些困难。其本身提供了一个工具是gpcrondump，对其二进制备份工具gp_dump做了一些封装，而gp_dump则是对pg_dump做了封装，在每个节点上执行pg_dump完成数据的备份。在其每个节点的行为上，与PG类似，但其分布式的架构，则有值得了解的地方。备份方法GP备份的工具gpcrondump是一个Python脚本，是对gp_dump的一
转载
2024-07-24 13:17:03
48阅读
场景描述：同样的系统部署在3个环境中，(问题表P) 正常的增长范围应该是是每天1M，某一天线上问题说是系统宕机了，然后看了一下系统状态日志，磁盘空间满了。处理流程：日志本来是7天循环的，先手动删除了一下。有一张数据备份表，和业务流程日志表，这两个是可以删除的，然后进行了truncate。释放了10几个G的空间，然后启动服务，开始排查问题。select pg_size_pretty(pg_relat
转载
2024-03-07 22:58:16
50阅读
文章目录一、基本操作二、默认数据源（一）默认数据源Parquet（二）案例演示读取Parquet文件1、在Spark Shell中演示练习1、将`student.txt`文件转换成`student.parquet`练习2、读取`student.parquet`文件得到学生数据帧，并显示数据帧内容2、在IntelliJ IDEA里演示三、手动指定数据源（一）format()与option()方法概
对于数据加载,GreenPlum数据库提供copy工具，copy工具源于PostgreSql数据库，copy命令不仅支持表于表之间的数据加载，也支持文件与表之间的数据加载和表对文件的数据卸载。使用copy命令进行数据加载，数据需要经过Master节点分发到Segment节点，同样使用copy命令进行数据卸载，数据也需要由Segment发送到Master节点，由Master节点汇总后再写入外部文件，
转载
2024-01-08 17:13:01
72阅读
本文是 gpbackup 系列文章的最后一篇，主要介绍 gprestore 的使用方法及一些其他的功能。gprestore 是专门用来做gpdb数据恢复的并行恢复工具，配合 gpbackup 使用，编译安装方式与 gpbackup 一样，无论是官方下载的软件包还是自行编译的软件包，均会有gprestore这个命令。下面我们仍然采用与中篇一样的套路来进行演示，首先把 gprestore 的详细命令给
转载
2024-06-09 18:50:12
61阅读
