前言

安装

前期准备

  创建备份和归档目录

  修改PG归档配置

  初始化

设置备份策略

  全库备份策略

  增量备份策略  

还原操作

后续操作

操作指令大全

exitcode

概念和配置参数

FAQ

 

前言

  PG_RMAN是Postgresql的一款插件,用于备份和还原PostgreSQL数据库;它需要对整个数据库集群,存档WAL和服务器日志进行物理在线备份。

pg_rman支持使用PostgreSQL 9.0之后从备用站点获取备份,还支持存储快照备份。

pg_rman具有以下功能:

  • 仅使用一个命令即可对整个数据库(包括表空间)进行备份。
  • 只需一个命令即可从备份中恢复。
  • 支持增量备份和备份文件压缩,以便占用更少的磁盘空间。
  • 管理备份版本并显示备份目录。
  • 支持存储快照。

pg_rman支持以下命令:

  • init --初始化备份目录。
  • backup --进行在线备份。
  • restore --还原。
  • show --显示备份历史记录。详细信息选项显示每个备份的附加信息。
  • validate --验证备份文件。未经验证的备份不能用于还原和增量备份。
  • delete --删除备份文件。
  • purge --从备份目录中删除已删除的备份。

安装

可以从以下链接下载对应版本的pg_rman;

https://github.com/ossc-db/pg_rman/releases

安装方法1:

--从源码编译安装,缺包编译报错需要下载对应包任何重试
$ cd pg_rman
$ make
$ make install
--将生成的pg_rman拷贝到/opt/pgsql/12/bin、/usr/bin

安装方法2:

--RPM包安装
# rpm -ivh pg_rman-x.x.xx-x.pgxx.rhelx.x86_64.rpm
--默认生成在/usr/pgxxx下面
--将生成的pg_rman拷贝到/opt/pgsql/12/bin、/usr/bin

前期准备

创建备份和归档目录

备份和归档的目录需要单独挂盘,不能跟数据目录放一起,因为会影响在线系统IO,推荐挂NFS远程盘进行远程备份。

--创建备份目录
mkdir /pg_basebackup
--创建wal归档目录
mkdir /pg_arch
--配置环境变量
echo 'export BACKUP_PATH=/pg_basebackup'>>~/.bash_profile
echo 'export ARCLOG_PATH=/pg_arch'>>~/.bash_profile

修改PG归档配置

为了对归档进行保存,修改归档相关配置

--在$PGDATA目录下创建arch.sh,保留30天归档
test ! -f /pg_arch/$1 && cp --preserve=timestamp $2 /pg_arch/$1 ; find /pg_arch/ -type -f mtime +30 -exec rm -f {} \;
--修改postgresql.conf配置
archive_mode=on   #开启归档
archive_command= 'arch.sh %f %p' #shell脚本
archive_timeout=900 #强制wal日志切换时间
--重启PG
pgrestart

初始化

--初始化
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v init
--修改/pg_basebackup/pg_rman.ini配置文件,配置备份、归档保存天数
ARCLOG_PATH='/pg_arch'
SRVLOG_PATH='/pgsql/12/data/pg_log'
#配置压缩参数
COMPRESS_DATA=YES
#归档日志保留天数
KEEP_ARCLOG_DAYS=14
#KEEP_ARCLOG_FILES=1000 --归档保留个数
#备份保留天数
KEEP_DATA_DAYS=30

设置备份策略

全库备份策略

整个数据库备份和存档备份

--可以配置到crontab中每周日晚上执行一次
0 1 * * 0 root sh fullback.sh
--脚本fullback.sh,备份完必须执行validate,否则备份不能用于还原
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v -b full backup
PGPASSWORD=XXX $PGHOME/bin/pg_rman  -B /pg_basebackup validate

增量备份策略

增量备份和存档备份

--可以配置到crontab中每周日晚上执行一次
0 23 * * * root sh inrback.sh

--脚本inrback.sh
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v -b incremental backup
PGPASSWORD=XXX $PGHOME/bin/pg_rman  -B /pg_basebackup validate

--查看备份情况
pg_rman -a show
$ pg_rman show

=====================================================================
 StartTime           EndTime              Mode    Size   TLI  Status
=====================================================================

2015-07-30 13:31:08  2015-07-30 13:31:10  FULL    14MB    15  OK
2015-07-30 13:30:37  2015-07-30 13:30:38  ARCH    53kB    15  OK
2015-07-30 13:30:32  2015-07-30 13:30:33  ARCH    26kB    15  OK
2015-07-30 13:30:11  2015-07-30 13:30:13  FULL    14MB    15  OK
2015-07-30 13:28:10  2015-07-30 13:28:11  INCR   120kB    14  OK
2015-07-30 13:27:45  2015-07-30 13:27:46  INCR    54kB    14  OK
2015-07-30 13:27:32  2015-07-30 13:27:33  INCR    54kB    14  OK
2015-07-30 13:27:25  2015-07-30 13:27:26  INCR    54kB    14  OK
2015-07-30 13:24:02  2015-07-30 13:24:04  FULL    14MB    14  OK

还原操作

任何数据库恢复操作,操作前都需要对原$PGDATA目录进行备份;

--确认实例已经停掉
pgstop

--备份
cp -r $PGDATA /pgsql/12/data_bak
mkdir -p /pg_arch/arch_bak
cp -r /pg_arch/* /pg_arch/arch_bak

--还原到指定时间点or最新
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v restore --recovery-target-time '2020-12-02 03:04:54'
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v restore --recovery-target-timeline 'latest'

后续操作

--修改权限
chmod 700 $PGDATA
chown -R postgres:postgres $PGDATA

--启动PG
pgstart

--启动完后注释掉postgres.conf最后还原配置
#restore_command='xxx'
#recovery-target-timeline='xxx'

--确认没问题后干掉arch的备份目录,不删除会导致下次整库备份报错
rm -rf /pg_arch/arch_bak

--找时间重新做一份整库备份

操作指令大全

1、初始化指令
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P init

2、全库备份指令(用于还原需要在执行验证指令)
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v -b full backup

3、增量备份策略(用于还原需要在执行验证指令)
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v -b incremental backup

4、standby节点全库备份
pg_rman backup -D /home/postgres/pgdata_sby(备节点) -b full --host=masterIP --standby-host=standbyIP --standby-port=5432

5、验证备份文件。未经验证的备份不能用于还原和增量备份。
PGPASSWORD=XXX $PGHOME/bin/pg_rman  -B /pg_basebackup validate

6、备份查看指令
$PGHOME/bin/pg_rman -a show

7、备份删除指令
pg_rman delete 2020-11-30 13:30:30

8、删除已删除的备份,尽管该delete命令从文件系统中删除了实际数据,但是仍然保留一些已删除备份的目录信息
pg_rman purge

exitcode

Code

Name

Description

0

SUCCESS

Succeeded.

1

HELP

Print a help, then exit.

2

ERROR

Generic error.

3

FATAL

Exit because of repeated errors

4

PANIC

Unknown critical condition.

10

ERROR_SYSTEM

I/O or system error.

11

ERROR_NOMEM

Out of memory.

12

ERROR_ARGS

Invalid input parameters.

13

ERROR_INTERRUPTED

Interrupted by user. (Ctrl+C etc.)

14

ERROR_PG_COMMAND

SQL error.

15

ERROR_PG_CONNECT

Cannot connect to PostgreSQL server.

20

ERROR_ARCHIVE_FAILED

Cannot archive WAL files.

21

ERROR_NO_BACKUP

Backup file not found.

22

ERROR_CORRUPTED

Backup file is broken.

23

ERROR_ALREADY_RUNNING

Cannot start because another pg_rman is running.

24

ERROR_PG_INCOMPATIBLE

Version conflicted with PostgreSQL server.

25

ERROR_PG_RUNNING

Cannot restore because PostgreSQL server is running.

26

ERROR_PID_BROKEN

postmaster.pid file is broken.

概念和配置参数

时间线:

参考下面链接文章

http://mysql.taobao.org/monthly/2015/07/03/

归档恢复设置
restore_command:用于获取一个已归档段的XLOG日志文件的命令
archive_cleanup_command:清除不在需要的XLOG日志文件的命令
recovery_end_command:归档恢复结束后执行的命令

恢复目标设置(默认情况下,数据库将会一直恢复到 WAL 日志的末尾)
recovery_target = ’immediate’:在从一个在线备 份中恢复时,这意味着备份结束的那个点
recovery_target_name (string):这个参数指定(pg_create_restore_point()所创建)的已命名的恢复点,将恢复到该恢复点
recovery_target_time (timestamp):这个参数指定恢复到的时间戳
recovery_target_xid (string):这个参数指定恢复到的事务 ID
recovery_target_inclusive (boolean):指定是否在指定的恢复目标之后停止(true),或者在恢复目标之前停止 (false);适用于recovery_target_time或者recovery_target_xid被指定的情况;这个设置分别控制事务是否有准确的目标提交时间或 ID 是否将被包括在该恢复中;默认值为 true
recovery_target_timeline (string):指定恢复到一个特定的时间线
recovery_target_action (enum):指定在达到恢复目标时服务器应该立刻采取的动作,包括pause(暂停)、promote(接受连接)、shutdown(停止服务器),其中pause为默认动作

备库参数设置
standby_mode(boolean):为on表示作为一个备库,否则不为备库
primary_conninfo (string):指定备库连接主库的连接字符串
primary_slot_name (string):通过流复制指定主库的一个复制槽来复制主库数据,如果没有设置primary_conninfo,则此参数无效
trigger_file (string):指定一个触发器文件,该文件存在可以结束备库的恢复,即升级备库为一个独立的主库
recovery_min_apply_delay (integer):这个参数允许将恢复延迟一段固定的时间,如果没有指定单位则以毫秒为单位。
如果recovery.conf中同时指定了recoveryTargetXid、recoveryTargetName、recoveryTargetTime时,PostgreSQL会按照RECOVERY_TARGET_XID> RECOVERY_TARGET_NAME > RECOVERY_TARGET_TIME的优先级来获取最终的目标恢复位点。

如果在recovery.conf指定recovery_targetTimeLine为latest,则可以基于当前TimeLineID为起点寻找最新时间线:

寻找当前TimeLineID的时间线历史文件“XXX.history”,如果存在则继续寻找,否则错误退出
TimeLineID是线性增长的,将当前TimeLineID自增1寻找是否存在时间线历史文件,直到不存在对应的时间线历史文件为止,即可找到最新的时间线。

FAQ

1. 还原启动时报错,“invalid checkpoint record”
  查看backup_label文件,发现WAL检查点所在归档文件是存在的,在postgresql.conf中restore_command是一个cp指令,试试该指令,发现报错权限不足,将路径下目录赋予权限后,正常启动。

2. full backup时报错,归档文件不存在
  pg_rman备份指令加-v 显示详细信息,发现是/pg_arch/bak报错,bak目录是之前还原时归档的备份,删除后full backup正常。

3.还原到指定时间点后,数据库处于只读状态
  pg还原到指定时间点默认动作recovery_target_action='pause',暂停;此时可以用超户执行select pg_wal_replay_resume(); 或者在启动数据库实例前在postgresql.conf中添加recovery_target_action='promote'
4.关于能否前滚,现在有个问题假如星期一到星期五的归档都在,星期三做了一份全量备份,星期一之前无备份,那么能否回到星期二?