网上已经有很多文章了，但是自己操作发现了“呵呵”。这里只是在Windows上面使用数据库自带备份工具。postgresql备份恢复1.运维方式备份 （1）停止数据库，可以拷贝数据库文件。 2.逻辑备份 （1）pg_basebackup.exe 这是需要启动归
转载
2024-03-27 09:32:29
27阅读
Greenplum使用pg_dump最备份数据库
Greenplum使用pg_dump最备份数据库 1
1 说明 1
2 备份数据库数据 1
2.1 创建需要备份的数据库 1
2.2 执行备份数据库的命令 2
2.3 查看备份出来的数据格式 2
3 恢复数据库备份数据 3
3.1 创建需要恢复的数据库 3
3.2 导入备份数据 3
4 导出具体表备份 4
4.1 执行需要备份的表 4
4.2 查看
转载
2024-04-24 12:27:11
160阅读
01,并行备份(gp_dump) 1) GP同时备份Master和所有活动的Segment实例 2) 备份消耗的时间与系统中实例的数量没有关系 3) 在Master主机上备份所有DDL文件和GP相关的数据字典表 4) 每个Segment备份各自的数据 5) 所有备份文件组成一个完整的备份集合，通过唯一14位数字的时间戳来识别 gp_dump dumps a database as a
转载
2024-08-03 18:53:15
23阅读
一,非并行备份(pg_dump) 1) GP依然支持常规的PostgreSQL备份命令pg_dump和pg_dumpall 2) 备份将在Master主机上创建一个包含所有Segment数据的大的备份文件 3) 不适合于全部数据备份，适用于小部分数据的迁移或备份pg_dump是用于备份数据库的标准PostgreSQL实用程序，在Greenplum数据库中也受支持。它创建一个（非并行）
转载
2024-05-11 10:37:24
31阅读
在使用greenplum时，当想将旧的集群中的数据迁移到新的集群中，有多种方法。如使用gp_dump命令进行数据的备份、拷贝与恢复，但相比较来说，还是使用gptransfer工具更简单方便，且更高效。总述gptransfer迁移工具把Greenplum数据库元数据从一个Greenplum数据库传输到另一个Greenplum数据库，允许用户迁移整个数据库的内容或者选中的表到另一个数据库。源数据库和目
转载
2024-03-25 22:56:55
117阅读
最近做了一次greenplum的数据迁移，迁移途中也是到一些问题，在此来总结一下。迁移场景：源集群1台master，4台segment, 16个primary数据库实例；迁移到的目标集群: 1台master, 6台segment, 36个primary实例，迁移完后，还会把前期的4仓库segment也补充到老集群中。迁移数据量： 10TB源集群: 5台服务器，master: 1 seg
转载
2024-02-19 06:40:56
185阅读
12 Greenplum pg_dump命令使用12.1 说明12.1.1 备份说明Greenplum 支持逻辑备份。我们使用Greenplum自带的pg_dump命令实现逻辑备份功能，导出备份文件，再通过 psql 导入到Greenplum中，达到备份的效果。12.1.2 参数说明用法: pg_dump [选项]... [数据库名字] 一般选项:-f, --file=文件名
转载
2024-05-22 13:16:18
355阅读
什么是GREENPLUM？对于很多IT人来说GREENPLUM是个陌生的名字。简单的说它就是一个与Oracle、DB2一样面向对象的关系型数据库。我们通过标准的SQL可以对GP中的数据进行访问存取。GREENPLUM与其它普通的关系型数据库的区别？本质上讲GREENPLUM是一个关系型数据库集群. 它实际上是由数个独立的数据库服务组合成的逻辑数据库。与RAC不同，这种数据库集群采取的是MPP架构。
Greenplum常用函数字符串函数时间函数数值计算函数其他常用函数1. 序列号生成函数 generate_series2. 字符串列转行函数 string_agg3.字符串行转列 regexp_split_to_table4.hash函数 md5，hashbpchar 字符串函数函数返回类型描述例子结果string || stringtext字符串连接‘Post’ || ‘greSQL’Pos
转载
2023-09-01 08:03:10
200阅读
GreenPlum是一个底层是多台PostgreSQL分表分库的分布式数据库，它有如下特点支持标准SQL，几乎所有PostgreSQL支持的SQL，greenplum都支持支持ACID、分布式事务支持上百台集群(这一点有点不好，hadoop可以万台)系统架构Master Host处理用户请求，生成执行计划，以及在执行计划执行必要的聚合操作(avg)或者排序内部有一个PostgreSQL数据库，保存
转载
2024-03-30 17:12:59
135阅读
目录10.1 MADlib基本概念10.1.1 MADlib是什么10.1.2 MADlib的设计思想10.1.3 MADlib的工作原理10.1.4 MADlib的执行流程10.1.5 MADlib架构10.2 MADlib的功能10.2.1 MADlib支持的模型类型10.2.2 MADlib的主要功能模块10.3 MADlib的安装与卸载10.3.1 确定安装平台10.3.2 安装MADli
转载
2024-06-27 09:01:06
47阅读
从前面的文章可以了解到，GP由Master、Segment、Interconnect 三部分组成。其中Master主要负责集群元数据的管理；Segment负责实际数据存储和处理。GP的高可用可以从底层存储硬件（磁盘阵列、RAID等）、Segment镜像（Primary、Mirror）、Master镜像（Master、Standby 手动）、双集群等手段。这里主要讲解 Master镜像即
转载
2024-03-26 23:09:35
121阅读
Semi-join（半连接）是用来处理外表的记录是否在内表中存在与其匹配的行，而无需考虑匹配行的条数，半连接的返回结果集仅使用外表数据集，使用场景如：in、exists、>|<|= any等操作。本文将为大家详细介绍Semi-join在Greenplum中的三种实现方式。Se mi-join 是 Greenplum 的一种内部算子，用户无法直接在
转载
2024-04-07 06:36:50
56阅读
上一篇文章我们对gpbackup进行了简单介绍，并进行了源码编译，今天这篇文章，来介绍一下gpbackup所有参数的详细使用方法。本篇文章会参考以下内容进行操作：GPDB6.20DDocs - 官方英文文档的gpbackup部分；
gpbackup命令帮助信息注意：gpbackup和gprestore命令只需要放置到master节点的greenplum-db/bin目录下，gpbackup_hel
转载
2024-04-30 09:07:04
116阅读
标签PostgreSQL , Greenplum , query倾斜 , 存储倾斜 , OOM , disk full , 短板 , 数据分布 背景对于分布式数据库来说，QUERY的运行效率取决于最慢的那个节点。当数据出现倾斜时，某些节点的运算量可能比其他节点大。除了带来运行慢的问题，还有其他的问题，例如导致OOM，或者DISK FULL等问题。 如何监控倾斜1、监控数据库级别倾斜postgres
转载
2024-05-11 07:36:51
204阅读
Greenplum 性能优化——存储格式选型及调优 一、存储格式介绍Greenplum（以下简称 GP）有2种存储格式，Heap 表和 AO 表（AORO 表，AOCO 表）。Heap 表：这种存储格式是从 PostgreSQL 继承而来的，目前是 GP 默认的表存储格式，只支持行存储。AO 表： AO 表最初设计是只支持 append 的（就是
转载
2024-03-22 18:45:59
73阅读
任何系统的升级都有个量变到质变的过渡：版本相差小的时候，通常很简单，版本相差大的时候，就是一场噩梦。不过版本相差小的时候，大伙儿往往安于现状。本文实际记录从GP4.2.7.2到4.3.5.0的升级过程，从版本号看相差不大，但是GP的版本命名中，第二位的变化就已经是大升级了。另需说明的是，本文升级的GP数据库规模不小，用户较多，管理混沌，在加上GP实在是有点儿脆弱（相比oracle等），所以遇到了较
转载
2024-03-13 11:11:46
116阅读
刚开始使用greenplum，这里做个笔记，便于查询。关键组件 Master Greenplum数据库的Master是整个Greenplum数据库系统的入口，它接受连接和SQL查询并且把工作分布到Segment实例上；Master上不包含任何用户数据，数据只存在于Segment之上；Master会认证客户端连接、处理到来的SQL命令、在Segment之间分布工作负载、协调每一个Segment返回的
转载
2024-04-18 09:37:10
29阅读
一、简介 在数据库日渐庞大的今天，为了方便对数据库数据的管理，比如按时间，按地区去统计一些数据时，基数过于庞大，多有不便。很多商业数据库都提供分区的概念，按不同的维度去存放数据，便于后期的管理，PostgreSQL也不例外。 PostgresSQL分区的意思是把逻辑上的一个大表分割成物理上的几块儿。分区不仅能带来访问速度的提升，关键的是，它能带来管理和维护上的方便。 分区的具体好处是：某
转载
2024-04-25 10:54:35
71阅读
前言GPDB 数据迁移可以通过全量恢复的方式，如果原来有3个机器，每个机器上面有2个Primary, 2个Mirror，那么可以通过扩展3部机器，变成每部机器上一个Primary，1个Mirror，在迁移的过程中，需要保证：原有的机器利用Primary+Mirror可以组成一个完成的原有集群DB，可以正常启动，这样才能全量恢复，将数据恢复到扩展的机器上。如下图，将原有机器的P1/P2/P3/M0/
转载
2024-05-12 18:46:23
71阅读
