GreenPlum数据备份与恢复
gp_dump是GP并行备份的备份工具,在运行gp_dump的时候master与所有的segment节点都开始备份(standby节点和segment节点中的mirror实例不参加备份),数据文件都是放在各个的节点服务器上,消耗的时间和数据量最大的、消耗时间最长的节点有关。
常用的gp_dump参数有:
-h GPmaster主机名
-p GPmaster端口
-U 用户名
-t/--table 后接表名,只备份匹配的表
-n/--schema 备份的schema名字
--gp-d 备份的数据目录
--gp-r 备份report目录
--gp-k 备份文件使用的时间戳
12345678
更多可通过命令gp_dump --help显示。
与gp_dump对应的数据恢复操作,使用的命令是gp_restore.
常用的gp_restore参数有:
-h GPmaster主机名
-p GPmaster端口
-U 用户名
-d/--dbname 数据库名
--gp-d 要恢复的数据所在目录
--gp-r report文件所在目录
--gp-k 恢复文件使用的时间戳
--status 状态文件所在位置
12345678
更多可通过命令gp_restore --help显示。
常用的备份与恢复方式有表,数据库,schema的备份与恢复。
表备份与恢复
表备份
1.创建备份路径
mkdir -p /opt/gpbackup/
chown gpadmin:gpadmin /opt/gpbackup/
12
2.在gpadmin用户下执行
gp_dump test_db --table=test_table --gp-d=/opt/gpbackup/ --gp-r=/opt/gpbackup/
1
需要阅读backup report,并记录备份的时间戳(timestamp key),以在数据恢复时使用。
数据库名为test_db,表名为test_table。
3.手动备份pg_hba.conf文件,执行如下:
cd $MASTER_DATA_DIRECTORY
cp pg_hba.conf /opt/gpbackup/
12
表恢复
注:在恢复的时候,GP的segment必须与备份的时候一致
1.表恢复之前,要确保要导入数据的集群中存在数据库test_db,且不能存在表test_table,否则会报错。
2.表恢复,执行命令:
gp_restore -d test_db --gp-d=/opt/gpbackup/ --gp-r=/opt/gpbackup/ --gp-k=时间戳
1
3.手动恢复备份的pg_hba.conf文件
数据库备份与恢复
与表备份与恢复相似,只不过备份时少了参数–table。
数据库恢复前要确保新建一个名为test_db(与备份的数据库名相同)的数据库。
schema备份与恢复
步骤与表备份与恢复相同,以下只列出备份与恢复命令
备份:
gp_dump test_db -n test_schema --gp-d=/opt/gpbackup/ --gp-r=/opt/gpbackup/
1
test_schema为test_db中的一个模式
恢复:
恢复前要确保倒数数据的集群没有名为test_schema的schema,若有的话先删除。
恢复命令:
gp_restore -d test_db --gp-d=/opt/gpbackup/ --status=/opt/gpbackup/ --gp-r=/opt/gpbackup/ --gp-k=时间戳
1
注意要加上status参数。
参考:http://blog.itpub.net/29989552/viewspace-2127566/
------------------------------------------------------------------------------------------------------------------------------------------------
以下内容转载自:http://mamicode.com/info-detail-2306588.html
备份
并行备份(gp_dump)
GP 同时备份 Master 和所有活动的 Segment 实例,备份消耗的时间与系统中实例的数量没有关系。在 Master 主机上备份所有 DDL 文件和 GP 相关的数据字典表,每个 Segment 备份各自的数据。所有备份文件组成一个完整的备份集合,通过唯一 14 位数字的时间戳来识别。
gp_dump 的使用可参考上文。
gp_dump 命令将在数据目录生成如下的备份文件:
在 Master 主机上
gp_catalog_1_<dbid>_<timestamp> -- 数据字典表
gp_cdatabase_1_<dbid>_<timestamp> -- 创建数据库 SQL 语句
gp_dump_1_<dbid>_<timestamp> -- 创建 schema SQL 语句
gp_dump_1_<dbid>_<timestamp>_post_data -- 创建 Table SQL 语句
1234
在 Segment 主机上
gp_dump_0_ <dbid>_<timestamp> -- 用户数据文件
gp_dump_status_0_ <dbid>_<timestamp> -- 日志文件
12
并行备份(gpcrondump)
gpcrondump命令是对gp_dump命令的封装。
在 Master 和 Segment 的数据目录创建备份文件:
Segment 数据的备份使用 gzip 压缩格式,默认将数据备份自 <data_directory>/db_dumps/下。
<data_directory>/db_dumps/YYYYMMDD
1
使用 CRON 调度备份操作,定义一个调用 gpcrondump 的 crontab 条目。
例如,在午夜1点备份 testdw 数据库
0 1 0 * * * gpadmin source $GPHOME/greenplum_path.sh;
gpcrondump –x testdw –c –g –G –a –q >> gp_testdwdump.log;
12
备份数据库mydatabase
gpcrondump -x mydatabase -c -g -G
1
非并行备份(pg_dump)
GP 依然支持常规的 PostgreSQL 备份命令 pg_dump 和 pg_dumpall,备份将在 Master 主机上创建一个包含所有 Segment 数据的大的备份文件。因此,不适合于全部数据备份,适用于小部分数据的迁移或备份。
pg_dump testdw > testdw.sql; -- 导出 SQL 脚本文件
pg_dump –Ft –gp-syntax testdw > testdw.tar; -- 导出包含分布键信息的 tar 文件
pg_dump –Fc testdw > testdw.dump; -- 导出到定制格式的归档文件
pg_dump –t tb_cp_02 testdw > tb_cp_02_testdw.sql; -- 导出单个表
pg_dump –t ‘"MixedTableName"‘ testdw > tab_testdw.sql; -- 导出混合大小写名称的表
pg_dumpall > all.dump; -- 集群备份
123456
恢复
并行恢复(gp_restore)
参考上文。
并行恢复(gpdbrestore)
gpdbrestore 命令是对 gp_restore 命令的包装,提供更灵活的选项,使用 gpcrondump 备份生成的备份文件来进行恢复。
在 Master 主机上执行 gpdbrestore 命令(-R 指定备份文件所在的主机名和路径)
gpdbrestore –R archive_host:/gpdb/backups/archive/20131231;
1
非并行恢复(pg_restore)
使用由 pg_dump 或 pg_dumpall 创建的备份文件来恢复,使用非并行恢复可以实现异构系统恢复。
使用 pg_restore 或 psql 进行恢复
pg_restore –d testdw testdw.dump;
psql -d testdw –f tb_cp_02_testdw.sql;
12
在决定使用恢复程序时,需确定以下几个问题:
1.备份文件在哪里?
如果备份文件位于 gp_dump 生成的原始位置,可以简单的通过 gp_restore 命令恢复;如果备份文件已经移除 GP 集群,使用 gpdbrestore 来恢复。
2.是否需要恢复整个系统,还是只恢复数据?
如果 GP 仍在运行并仅需要恢复数据,使用 gp_restore 或 gpdbrestore 命令来恢复;如果丢失了整个集群或者需要从备份来重建整个集群,使用 gpinitsystem 命令。
3.是否恢复的系统与备份时的系统具有相同数量的 Instance?
如果相同,使用 gp_restore 或 gpdbrestore 命令来恢复; 如果是在不同集群间迁移,必须使用非并行恢复。
非并行恢复异构系统
通过master节点进行备份,确保segment的备份文件被拷贝到master节点目录下。
确保具备了全部的备份文件,包括 Master 和每一个 Segment 的文件,所有的文件具有相同的时间戳标识符。
1. 创建需要恢复的数据库
createdb testdw;
2. 装载 Master 备份文件以恢复数据库对象
psql -d testdw -f /data/backups/gp_dump_1_1_20131231001327;
3. 装载每个 Segment 的备份文件以恢复数据
psql –d testdw -f /data/backups/gp_dump_0_2_20131231001327;
psql –d testdw -f /data/backups/gp_dump_0_3_20131231001327;
4. 恢复 Table 相关的对象,比如索引、触发器、主键约束等
psql –d testdw -f /data/backups/ gp_dump_1_1_20131231001327_post_data;