企业Linux运维场景数据同步方案

1.1 文件级别的异机同步方案

  • scp/sftp/nc命令可以实现远程数据同步。

  • 搭建ftp/http/svn/nfs  服务器,然后在客户端上也可以把数据同步到服务器。

  • 搭建Samba文件共享服务,然后在客户端上也可把数据同步到服务器。

  • 利用rsync/csync2/union等均可实现数据同步。

提示:union可实现双向同步,csync2可实现多机同步。以上文件同步方式如果结合定时任何或者inotify,sersync等功能,可以实现定时及实时的数据同步。

  • 扩展思想:文件级别也可利用mysql,mongodb等软件作为容器实现。

  • 扩展思想:程序向两个服务器同时写数据,双写就是一个同步机制。

特点:简单,方便,效率和文件系统级别要差一些,但是被同步的节点可以提供访问。软件的自身同步机制(MySQLoraclemongdb,ttserver,redis…,文件放到数据库,同步到从库,再把文件拿出来。

1.2 文件系统级别异机同步方案

1.2.1drbd同步数据

DRBD基于文件系统同步,相当于网络raid1,可以同步几乎任何业务数据。MySQL数据库的官方推荐DRBD同步数据,所有单点服务例如:NFS,MFS(DRBD),MYSQL等都可以用DRBD

1.2.2数据库同步方案

2.1 MySQL主从复制

MySQL的主从复制方案,和上述文件及文件系统级别同步是类似的,都是数据的传输。只不过MySQL无需借助第三方工具,而是其自带的同步复制功能,另外一点,MySQL的主从复制不是磁盘上文件直接同步,而是逻辑的binlog日志同步到本地在应用执行的过程。

2.1.1 MySQL主从复制介绍

MySQL数据库支持单向,双向,链式级联等不同场景的复制。在复制过程中,一台服务器充当主服务器(master),而一个或多个其他的服务器充当从服务器(salve)。

复制可是单向的:MèS,也可是双向MóM,当然也可以多M环状同步等。

如果设置了链式级联复制,那么,从(slave)服务器本身除了充当从服务器外,也会同时充当其下面从服务器的主服务器。

MySQL   主从复制_MySQL

  1. 单向主从复制逻辑图,此架构只能在master端进行数据写入。

  2. 双向同步逻辑图,此架构可以在master端或master2端进行数据写入。

MySQL   主从复制_MySQL _02

3.线性级联单向双主同步逻辑图,此架构只能在master端进行数据写入。


2.1.2 MySQL主从复制原理介绍

 MySQL的主从复制是一个异步的复制过程(虽然一般情况下感觉是实时的),数据将从一个mysql数据库(master)复制到另一个MySQL数据库(slave),在masterslave之间实现整个主从复制的过程是有三个线程参与完成的。其中有两个线程(SQLIO线程)在slave端,另外一个线程(I/O线程)在master端。

要实现MySQL的主从复制,首先必须打开masterbinlog记录功能,否则就无法实现。因为整个复制过程实际上就是slavemaster端获取binlog日志,然后再在slave上以相同顺序执行获取的binlog日志中所记录的各种SQL操作。

MySQL   主从复制_主从复制_03


2.1.3 主从复制应用场景

应用场景1:从服务器作为主服务器的实时数据备份

主从复制架构的设置,可以大大加强MySQL数据库架构的健壮性。例如:当主服务器出现问题时,我们可以人工或设置自动切换到从服务器继续提供服务,此时从服务器的数据和宕机时的主数据库几乎是一致的。

这类似NFS存储数据通过inotify+rsync同步到备份的NFS服务器,只不过MySQL的复制方案是其自带的工具。

利用MySQL的复制功能做数据备份时,在硬件故障,软件故障的场景下,该数据备份时有效的,但对于人为的执行dropdelete等语句删除数据的情况,从库的备份功能就没有用了,因为从服务器也会执行删除的语句。

应用场景2:主从服务器实现读写分离,从服务器实现负载均衡

主从服务器架构可通过程序(PHPJava等)或代理软件(MySQL-proxyamoeba)实现对用户(客户端)的请求读写分离,即让从服务器仅仅处理用户的select查询请求,降低用户查询响应时间及读写同时在主服务器上带来的访问压力。对于更新的数据(例如updateinsertdelete语句)仍然交给主服务器处理,确保主服务器和从服务器保持实时同步。

 

应用场景3:把多个从服务器根据业务重要性进行拆分访问

可以把几个不同的从服务器,根据公司的业务进行拆分。例如:有为外部用户提供查询服务的从服务器,有内部DBA用来数据备份的从服务器,还有为公司内部人员提供访问的后台,脚本,日志分析及供开发人员查询使用的从服务器。这样的拆分除了减轻主服务器的压力外,还可以使数据库对外部用户浏览,内部用户业务处理及DBA人员的备份等互不影响。



2.1.4 主从复制原理小结

主从复制是异步的逻辑的SQL语句级的复制。

复制时,主库有一个I/O线程,从库有两个线程,I/OSQL线程。

实现主从复制的必要条件是主库要开启记录binlog功能。

作为复制的所有MySQL节点的sever-id都不能相同。

binlog文件只记录对数据库有更改的SQL语句(来自主数据库内容的变更),不记录任何查询(selectshow)语句。