根据IDC的相关数据统计，2018年全球的数据复制存储市场规模就已经超过了500亿美金，而其中而作为数据复制技术重要应用场景的数据备份和恢复软件市场的规模也同样蔚为可观。今天，我们就来聊聊5种常见的数据复制技术。 复制（Replication）是将一组数据从一个数据源拷贝到一个或多个数据源的技术。方式主要分为同步复制和异步复制： 1、同步复制：要求每一个写入操作在执行下一个操作处理之前，在
转载
2024-04-29 15:24:41
61阅读
之前一直在使用mongo与redis，最近在项目中开始使用mysql数据库，由于现在的项目是全程异步的操作，所以在在网上查了下关于在python中异步的操作mysql，找来找去最后发现aiomysql的是实现最好的，现在简单介绍一下它的使用。aiomysql的文档地址 https://aiomysql.readthedocs.io/en/latest/需要根据项目中使用mysql查询的频
转载
2024-04-19 20:20:07
43阅读
PostgreSQL 13 流复制配置，如果使用-R参数，会自动生成 standby.signal文件，连接配置信息写入postgresql.auto.conf，只能通过ALTER SYSTEM命令修改，无法手工修改，建议使用手工创建standby.signal方式创建主从。
原创
2020-09-30 11:55:31
3948阅读
节点IP角色citus-master10.10.100.1mastercitus-standby10.10.100.2standby master上创建流复制所需要的用户。CREATE ROLE replication WITH REPLICATION PASSWORD 'replicatio
原创
2016-11-01 14:25:54
2998阅读
概述RocketMQ和其他存储系统类似，如Redis等，提供了同步和异步两种刷盘方式，同步刷盘方式能够保证数据被写入硬盘，做到真正的持久化，但是也会让系统的写入速度受制于磁盘的IO速度；而异步刷盘方式在将数据写入缓冲之后就返回，提供了系统的IO速度，却存在系统发生故障时未来得及写入硬盘的数据丢失的风险。同步刷盘、异步刷盘 RocketMQ的消息是存储到磁盘上的，这样既能保证断电后恢复，又可以让存
转载
2024-04-08 19:42:16
36阅读
1.异步复制原理异步复制是mysql的默认复制方式，原理就是在主库写入binlog日志后即可成功返回客户端，不需要等待binlog日志传递给从库的过程。但是这样一旦主库发生宕机，就有可能出现数据丢失的情况。2.异步复制搭建实战基于binlog和position方式搭建一主一从的架构，环境如下：192.168.130.135 作为主库192.168.130.136 作为从库搭建主从的几个必要条件：主
转载
2024-03-15 19:22:26
75阅读
先说说环境，主从库版本都是9.5，主库在CentOS物理机上，从库在Ubuntu虚拟机上 一、主库上的操作： 1、添加同步访问规则： host replication dbuser 192.168.1.26/16 md5 说明一下，上面的replication这个字符串不能改 2、postgresq
转载
2017-07-06 09:35:00
95阅读
最近因为业务需求，需要在两个数据库之间做双向实时同步，遂实践了一把Oracle的流复制，遇到了很多疑难问题，最终也貌似成功，现记录如下。 我是使用OEM来实现流复制的。 10.进行流复制的两个数据库的实例名
转载
2024-03-18 16:59:54
43阅读
恢复内容开始 --物理复制，也称为流复制（streaming replication）,通过流复制复制一个一模一样的备库 --逻辑复制，也称之为选择性复制，可以做到基于表级别的复制，pg10之前的不支持内置的逻辑复制，pg10以后有支持内置的逻辑复制 WAL日志记录数据库的变化，流复制和逻辑复制都是 ...
转载
2021-11-01 12:20:00
1100阅读
2评论
环境介绍主数据库SID : orclpr 操作系统 : centos 6.10 IP : 10.4.101.169 database_name : orclpr oracle version: 10.2.0.1从数据库SID :orclst 操作系统 : centos 6.10 IP : 10.4.101.170 database_name : orclst oracle version : 10
一、概述PostgreSQl从9.0版本之后推出一个类似于Oracle的active dataguard和MySql中继日志一样的日志传送。我们借助这个功能就可实现PostgreSql的主从复制。基本原理就是，通常一台主数据库提供读写，然后把数据同步到另一台从库。从库不断apply从主库接收到的数据，从库不提供写服务，只对外提供读服务。在postgresql中提供读写全功能的服务器称为primar
原创
精选
2017-12-04 17:50:07
7321阅读
点赞
一、配置环境： 示例环境 主机名 IP 角色 系统版本 数据目录 pg版本 db1 192.168.128.128 主库 RedHat5.3 /app/postgreSQL/data 9.1.7 db2 192.168.129.129 备库 RedHat5.3 /app/postgreSQL/dat
转载
2016-11-21 15:41:00
105阅读
2评论
生命不息，test不止。最近组里面修改了几个postgresql的bug，要进行回归测试，除了前面提到的WAL的RT测试和Mirroring Controller的RT测试，还要测试下postgresql的hot standby功能。要进行该项测试，就要首先搭建hot standby环境。本文主要记录下搭建hot standby环境的过程以及其中遇到的问题及解决方法。首先介绍下系统环境：操作系统：
# PostgreSQL 流复制架构实现指南
## 引言
欢迎来到 PostgreSQL 数据库流复制架构实现指南！本文将为你提供一个详细的步骤指南，教你如何实现 PostgreSQL 数据库的流复制架构。在这个过程中，我将带你逐步完成每个步骤，并提供所需的代码和注释。
## 流复制架构概述
PostgreSQL 流复制架构是一种高可用性和可伸缩性的解决方案，它允许将数据从一个 Postg
原创
2023-08-23 05:44:34
123阅读
目录应用场景简介分类搭建流复制 搭建逻辑复制关于 PUBLICATION关于SUBSCRIPTION 逻辑复制的注意事项复制槽运维关于物理复制槽关于逻辑复制槽应用场景简介搭建主从流复制会遇到从库中接收不到主库被移除的日志情况，由于主库并不会去确认从库是否接收到日志，便将已经应用的WAL日志进行归档或者回收，就会导致从库在宕机一段时间再启动时，从主库找不到连
环境说明
示例环境
主机名
IP
角色
系统版本
数据目录
pg版本
master
192.168.174.200
主库
CentOS Linux release 7.4.1708 (Core)
/var/lib/pgsql/data
9.2.23
slave1
192.168.129.201
备库
CentOS Linu
原创
2021-07-29 10:55:53
285阅读
