一、什么是主从复制?

主从复制,是用来建立一个和主数据库完全一样的数据库环境,称为从数据库;主数据库一般是准实时的业务数据库。

二、主从复制的作用(好处,或者说为什么要做主从)重点!

1、做数据的热备,作为后备数据库,主数据库服务器故障后,可切换到从数据库继续工作,避免数据丢失。

2、架构的扩展。业务量越来越大,I/O访问频率过高,单机无法满足,此时做多库的存储,降低磁盘I/O访问的频率,提高单个机器的I/O性能。

3、读写分离,使数据库能支撑更大的并发。在报表中尤其重要。由于部分报表sql语句非常的慢,导致锁表,影响前台服务。如果前台使用master,报表使用slave,那么报表sql将不会造成前台锁,保证了前台速度。

三、主从复制的原理(重中之重,面试必问):

1.数据库有个bin-log二进制文件,记录了所有sql语句。

2.我们的目标就是把主数据库的bin-log文件的sql语句复制过来。

3.让其在从数据的relay-log重做日志文件中再执行一次这些sql语句即可。

4.下面的主从配置就是围绕这个原理配置

5.具体需要三个线程来操作:

1.binlog输出线程:每当有从库连接到主库的时候,主库都会创建一个线程然后发送binlog内容到从库。在从库里,当复制开始的时候,从库就会创建两个线程进行处理:

  2.从库I/O线程:当START SLAVE语句在从库开始执行之后,从库创建一个I/O线程,该线程连接到主库并请求主库发送binlog里面的更新记录到从库上。从库I/O线程读取主库的binlog输出线程发送的更新并拷贝这些更新到本地文件,其中包括relay log文件。

3.从库的SQL线程:从库创建一个SQL线程,这个线程读取从库I/O线程写到relay log的更新事件并执行。

可以知道,对于每一个主从复制的连接,都有三个线程。拥有多个从库的主库为每一个连接到主库的从库创建一个binlog输出线程,每一个从库都有它自己的I/O线程和SQL线程。

主从复制如图:

mysql - 主从复制原理_数据库

原理图2,帮助理解!

mysql - 主从复制原理_mysql_02

步骤一:主库db的更新事件(update、insert、delete)被写到binlog

步骤二:从库发起连接,连接到主库

步骤三:此时主库创建一个binlog dump thread线程,把binlog的内容发送到从库

步骤四:从库启动之后,创建一个I/O线程,读取主库传过来的binlog内容并写入到relay log.

步骤五:还会创建一个SQL线程,从relay log里面读取内容,从Exec_Master_Log_Pos位置开始执行读取到的更新事件,将更新内容写入到slave的db.

---------------------

四、面试题干货分析(如果问到数据库主从问题,必问以下问题):

1、主从的好处是?

见文章上文

2、主从的原理是?

见文章上文

3、从数据库的读的延迟问题了解吗?如何解决?做主从后主服务器挂了怎么办?

主从形式



mysql主从复制 灵活


  • 一主一从
  • 主主复制
  • 一主多从---扩展系统读取的性能,因为读是在从库读取的;
  • 多主一从---5.7开始支持
  • 联级复制---


 mysql - 主从复制原理_同步复制_03


用途及条件



mysql主从复制用途


  • 实时灾备,用于故障切换
  • 读写分离,提供查询服务
  • 备份,避免影响业务


主从部署必要条件:


  • 主库开启binlog日志(设置log-bin参数)
  • 主从server-id不同
  • 从库服务器能连通主库


主从原理


mysql主从复制原理


 mysql - 主从复制原理_数据库_04



从库生成两个线程,一个I/O线程,一个SQL线程;


i/o线程去请求主库 的binlog,并将得到的binlog日志写到relay log(中继日志) 文件中;

主库会生成一个 log dump 线程,用来给从库 i/o线程传binlog;


SQL 线程,会读取relay log文件中的日志,并解析成具体操作,来实现主从的操作一致,而最终数据一致;


问题及解决方法



mysql主从复制存在的问题:


  • 主库宕机后,数据可能丢失
  • 从库只有一个sql Thread,主库写压力大,复制很可能延时


解决方法:


  • 半同步复制---解决数据丢失的问题
  • 并行复制----解决从库复制延迟的问题


半同步复制



mysql semi-sync(半同步复制)

半同步复制:


  • 5.5集成到mysql,以插件的形式存在,需要单独安装
  • 确保事务提交后binlog至少传输到一个从库
  • 不保证从库应用完这个事务的binlog
  • 性能有一定的降低,响应时间会更长
  • 网络异常或从库宕机,卡主主库,直到超时或从库恢复


主从复制--异步复制原理

mysql - 主从复制原理_mysql_05




半同步复制原理:


 mysql - 主从复制原理_mysql_06



并行复制



mysql并行复制


  • 社区版5.6中新增
  • 并行是指从库多线程apply binlog
  • 库级别并行应用binlog,同一个库数据更改还是串行的(5.7版并行复制基于事务组)

设置


set global slave_parallel_workers=10;


设置sql线程数为10



其他



部分数据复制

主库添加参数:


binlog_do_db=db1
binlog_ignore_db=db1
binlog_ignore_db=db2


或从库添加参数


replicate_do_db=db1
replicate_ignore_db=db1
replicate_do_table=db1.t1
replicate_wild_do_table=db%.%
replicate_wild_ignore_table=db1.%



联级复制(常用)

A->B->C

B中添加参数:


log_slave_updates
B将把A的binlog记录到自己的binlog日志中




复制的监控:


show  slave status \G




复制出错处理

常见:1062(主键冲突),1032(记录不存在)

解决:


  • 手动处理
  • 跳过复制错误:set global sql_slave_skip_counter=1




总结




  • 主从形式

  • 一主一从
  • 一主多从--扩展系统读取性能
  • 多主一从--5.7开始支持
  • 主主复制
  • 联级复制

  • 用途:实时灾备的故障切换,读写分离,备份
  • 原理

  • 主:log dump线程传binlog;

  • i/o线程接受读取binlog,并写入relay log文件
  • sql线程从relay log 文件中读取binlog并持久化


  • 问题及解决

  • 主库宕机后,数据丢失

  • 半同步复制

  • 主库写压力大,因从库只有一个sql 线程来持久化,复制可能延迟

  • 并行复制


  • 半同步复制:

  • 原理

  • 事务在主库写完binlog后需要从库返回一个已接受,才放回给客户端;

  • 5.5集成到mysql,以插件的形式存在,需要单独安装
  • 确保事务提交后binlog至少传输到一个从库
  • 不保证从库应用完成这个事务的binlog
  • 性能有一定的降低
  • 网络异常或从库宕机,卡主库,直到超时或从库恢复

  • 并行复制

  • 原理:从库多线程apply binlog
  • 在社区5.6中新增
  • 库级别并行应用binlog,同一个库数据更改还是串行的
  • 5.7版本并行复制基于事务组

  • 部分数据复制
  • 联级复制(常用)

  • A->B->C
  • B中添加参数log_slave_updates
  • B将把A的binlog记录到自己的binlog日志中

  • 复制的监控

  • show slave status

  • 复制出错处理

  • 常见:1062(主键冲突),1032(记录不存在)
  • 解决:

  • 手动处理
  • 跳过复制错误:set global sql_slave_skip_counter=1


  • mysql主从复制是mysql高可用性,高性能(负载均衡)的基础
  • 简单,灵活,部署方式多样,可以根据不同业务场景部署不同复制结构
  • 复制过程中应该时刻监控复制状态,复制出错或延时可能给系统造成影响
  • mysql主从复制目前也存在一些问题,可以根据需要部署复制增强功能

转载: https://www.cnblogs.com/Aiapple/p/5792939.html

​   https://blog.csdn.net/darkangel1228/article/details/80004222 ​