一、验证postgresql增量合并的方案

结果：没有有效可行的增量合并方案，暂时放弃

二、梳理postgresql基于wal的增量备份

  • 物理备份与还原适用于跨小版本的恢复但是不能跨平台
  • 逻辑备份与还原备份数据适用于跨版本和跨平台的恢复

postgersql增量备份步骤

1.首先创建归档目录

例如:归档目录为/archive_pg_xlog/xlog
1>mkdir -p /archive_pg_xlog/xlog
2>chown -R postgres:postgres /archive_pg_xlog/xlog
3>chmod 700 /archive_pg_xlog/xlog

2.修改postgresql.conf配置文件

1>wal_level=archive(配置wal的级别)
2>archive_mode=on(开启归档)
3>archive_command='DATE=`date +%Y%m%d`;DIR="/archive_pg_xlog/xlog/$DATE";(test -d $DIR || mkdir -p $DIR) && cp %p $DIR/%f'(配置归档路径)

3.重新启动数据库服务

systemctl restart postgresql（使配置生效）

4.做全量备份

1>psql -c 'select pg_start_backup(now()::text);'，#执行该命令表示开始备份
  2>tar -cf base.tar /var/lib/pgsql/data/*
  3>psql -c 'select pg_stop_backup();'#tar结束后要关闭备份

5.如果表空间存在，还需要备份表空间，没有则不需要
6.以上操作完成后，增量备份就自动开始了

当xlog写满后，就自动归档到我们指定的目录了

postgresql利用xlog进行还原

1.模拟灾难，直接删除data目录（或者是data目录下的所有文件丢失）
2.先检查数据库是否已经停止，如果还未停止需要停止
3.mkdir data;chown postgres:postgres data;chmod 700 data
4.将备份的base.tar全量包拷贝到data目录，解压
5.cp /usr/share/psql/recovery.conf.sample ./data
6.vim recovery.conf.sample配置restore_command=''
7.chown postgres:postgres recovery.conf.sample;chmod 700 recovery.conf.sample;mv recovery.conf.sample recovery.conf
8.启动数据库，当recovery.conf变成了recovery.done时即表示恢复完成

注:xlog文件名由时间线TimeLineID（8位16进制）、逻辑日志文件号（8位16进制）和段文件ID（8位16进制）组成
测试1.
第一次全量时，db有一百万条数据，然后再次插入一百万条数据，模拟灾难，正常恢复
第二次全量时，是在第一次模拟灾难后的场景，即第二次全量备份时有两百万条数据，再次插入十万条数据，模拟灾难，正常恢复
测试2.
再次模拟灾难，在第二次全备份新增十万条数据后，直接删掉data目录
用第一次的全备份数据结合产生的增量来进行恢复，结果，只有两百万条数据，说明该增量不可合并
测试3.
模拟某个xlog文件丢失时
结果：丢失的xlog文件只影响该丢失的xlog文件依赖的全量备份（会导致数据丢失），但是不会影响xlog文件丢失后面的全量备份

对于丢失这种情况暂时还没有找到恢复的办法

如果要还原到最近的那一次,也就是不是因为误操作的等原因的恢复，则不需要配置还原点

recovery_target_name=''(这个是还原点的名字)
    recovery_target_time=''(这个是要还原到的具体时间点)
    recovery_target_xid='' (以最后结束时的id为准)
    创建还原点,也就是还原点的名字select pg_create_restore_point('pitr_test');  
    创建基于时间的还原点,select now(); 
    创建基于xid的还原点,select txid_current();