1.主要内容

 

   1）mysql的架构，锁，最佳实践，事务

   2）mysql的命令行，主从复制，索引，数据备份/恢复

   3）mysql的集群，mysql的负载均衡，监控，mysql proxy

   4)  mysql的MMM架构，mysql 的源码，DBA




galera mysql集群安装 mysql集群框架_mysql

MySQL-从删除到跑路



 

2.具体内容

   2.1）【架构】：

   【架构图】：




galera mysql集群安装 mysql集群框架_运维_02

MySQL-MySQL的架构图



 



【概述】：Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的

2.2）【锁】：

  【概念】：为了保证数据的一致完整性，任何一个数据库都存在锁定机制。锁定机制的优劣直接应想到一个数据库系统的并发处理能力和性能，所以锁定机制的实现也就成为了各种数据库的核心技术之一。

  【分类】：MySQL各存储引擎使用了三种类型（级别）的锁定机制：行级锁定，页级锁定和表级锁定

    1）行级锁定：锁定对象的颗粒度很小，消耗最大，行级锁定也最容易发生死锁，但是并发好

    2）表级锁定：死锁情况少，但是并发不好，

    3）页级锁定：介于前两者之间。

   【代码】：

1）锁定 LOCK TABLES tbl_name [AS alias]

2）解锁  UNLOCK TABLES

 

2.3)【最佳实践】：

   【为查询缓存优化你的查询】：




galera mysql集群安装 mysql集群框架_运维_03


    【mysql强制索引和禁止某个索引】：

    1） mysql强制使用索引:force index(索引名或者主键PRI)：select * from table force index(PRI,ziduan1_index) limit 2;(强制使用索引”PRI和ziduan1_index”)

    2） mysql禁止某个索引：ignore index(索引名或者主键PRI)：select * from table ignore index(PRI,ziduan1_index) limit 2;(禁止使用索引”PRI,ziduan1_index”)

 

2.4）【事务】：

    【概念】：事务是指逻辑上的一组操作，组成这组操作的各个单元，要不全成功要不全失败。其特点是ACID(原子性，一致性，隔离性，持久性)

    【实现】：

1）事务开启：START TRANSACTION; 或者 BEGIN;

2）事务提交：COMMIT;

3）事务回滚：ROLLBACK;

 

2.5）【mysql 命令行】：

   【命令行执行mysql】:使用mysql的-e参数可以执行各种sql的(创建，删除，增，删，改、查)等各种操作

例如：#创建数据库

create_db_sql="create database IF NOT EXISTS ${DBNAME}”

mysql -h${HOSTNAME}  -P${PORT}  -u${USERNAME} -p${PASSWORD} -e "${create_db_sql}"

2.6）【主从复制】：

   【一主多从】：在一主多从的数据库体系中，多个从服务器采用异步的方式更新主数据库的变化，业务服务器在执行写或者相关修改数据库的操作是在主服务器上进行的，读操作则是在各从服务器上进行


galera mysql集群安装 mysql集群框架_galera mysql集群安装_04

MySQL-MySQL的主从复制


 


   【原理】 ：MySQL之间数据复制的基础是二进制日志文件（binary log file）。一台MySQL数据库一旦启用二进制日志后，其作为master，它的数据库中所有操作都会以“事件”的方式记录在二进制日志中，其他数据库作为slave通过一个I/O线程与主服务器保持通信，并监控master的二进制日志文件的变化，如果发现master二进制日志文件发生变化，则会把变化复制到自己的中继日志中，然后slave的一个SQL线程会把相关的“事件”执行到自己的数据库中，以此实现从数据库和主数据库的一致性，也就实现了主从复制。

2.7）【索引】：

   【概述】：索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点

   【种类】：普通索引，唯一索引，全文索引，单列/多列索引，组合索引(最左前缀)

   【B+树】：

 


galera mysql集群安装 mysql集群框架_galera mysql集群安装_05

MySQL-索引B+树结构


     1）详解B+树：浅蓝色的块我们称之为一个磁盘块，可以看到每个磁盘块包含几个数据项（深蓝色所示）和指针（黄色所示），如磁盘块1包含数据项17和35，包含指针P1、P2、P3，P1表示小于17的磁盘块，P2表示在17和35之间的磁盘块，P3表示大于35的磁盘块。真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非叶子节点只不存储真实的数据，只存储指引搜索方向的数据项，如17、35并不真实存在于数据表中。

    2）查找B+树：如果要查找数据项29，那么首先会把磁盘块1由磁盘加载到内存，此时发生一次IO，在内存中用二分查找确定29在17和35之间，锁定磁盘块1的P2指针，内存时间因为非常短（相比磁盘的IO）可以忽略不计，通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存，发生第二次IO，29在26和30之间，锁定磁盘块3的P2指针，通过指针加载磁盘块8到内存，发生第三次IO，同时内存中做二分查找找到29，结束查询，总计三次IO。真实的情况是，3层的b+树可以表示上百万的数据，如果上百万的数据查找只需要三次IO，性能提高将是巨大的，如果没有索引，每个数据项都要发生一次IO，那么总共需要百万次的IO，显然成本非常非常高。

 

2.8）【数据备份/恢复】：

   【数据备份】：

     1）使用mysqldump命令备份mysqldump -u username -p --databases dbname2 dbname2 > Backup.sql

     2）直接复制整个数据库目录 ： 需要停止服务，不支持InnoDB引擎

     3）热备份：使用mysqlhotcopy工具快速备份，不用停止服务。 mysqlhotcopy [option] dbname1 dbname2 backupDir/

 

 【数据还原】：

    1）还原使用mysqldump命令备份的数据库： mysql -u root -p < C:\backup.sql

    2）还原直接复制目录的备份： 必须保证两个MySQL数据库的版本号是相同的。MyISAM类型的表有效，对于InnoDB类型的表不可用

 

2.9）【mysql的集群】：

     【概念】：MySQL 集群(MySQL Cluster )是mysql适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎，允许在1个 Cluster 中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。


galera mysql集群安装 mysql集群框架_mysql_06

MySQL-MySQL集群架构图


 


      【分类】：分为同步集群和异步集群。

1）同步集群：（mysql cluster）

      结构：（data + sql + mgm节点）

      特点：

        1. 1) 内存级别的，对硬件要求较低，但是对内存要求较大。换算比例为：1：1.1；

        1.2) 数据同时放在几台服务器上，冗余较好；

        1.3) 速度一般；

        1.4) 建表需要声明为engine=ndbcluster

        1.5) 扩展性强；

        1.6) 可以实现高可用性和负载均衡，实现对大型应用的支持；

        1.7) 必须是特定的mysql版本，如：已经编译好的max版本；

        1.8) 配置和管理方便，不会丢失数据

 

2)异步集群（mysql replication）

   结构：（master + slave）

   特点：

      2.1) 主从数据库异步数据；

      2.2) 数据放在几台服务器上，冗余一般；

      2.3) 速度较快；

      2.4) 扩展性差；

      2.5) 无法实现高可用性和负载均衡（只能在程序级别实现读写分离，减轻对主数据库的压力）；

      2.6) 配置和管理较差，可能会丢失数据

 

2.10）【mysql的负载均衡】：

   【定义】： 通过director，将用户的请求分发到real server服务器上，然后返回给用户。负载均衡部署灵活、能够满足各种需求。

 


galera mysql集群安装 mysql集群框架_mysql_07

MySQL-LVS+Keepalived实现mysql负载均衡


 


  【实现方式】：

     硬件：BIG/IP、Cisco、IBM（昂贵）

     软件：LVS（免费）

     LVS系统将用户的请求的数据包在数据层和网络层进行了封装和转发，由三种方式满足各种需求。

    1) DR：直接路由

    2) Tuning：tcp/ip隧道

    3) NAT：网络地址转换

 

2.11）【mysql的监控】：

     【监控内容】：监控数据库的日常会话情况。碎片、剩余表空间监控，及时了解表空间的扩展情况、以及剩余空间分布情况

     【代码实现】：https://github.com/wozhuzaisi/shell-work/blob/master/mysqlmonitor.sh 

 

2.12）【mysql proxy】：

    【定义】：MySQL Proxy是一个处于你的client端和MySQL server端之间的简单程序，它可以监测、分析或改变它们的通信。它使用灵活，没有限制，常见的用途包括：负载平衡，故障、查询分析，查询过滤和修改等等

   【实现读写分离】：

   1）安装并配置mysql proxy.

   2）测试：主服务器mysql> grant all on *.* to'lin3615'@'192.168.179.142'identified by'123456’;

 

2.14）【mysql MMM架构】：

     【概述】：是一套支持双主故障切换和双主日常管理的脚本程序。由于MMM无法完全的保证数据一致性，所以MMM适用于对数据的一致性要求不是很高，但是又想最大程度的保证业务可用性的场景。对于那些对数据的一致性要求很高的业务，非常不建议采用MMM这种高可用架构。

 


galera mysql集群安装 mysql集群框架_galera mysql集群安装_08

MySQL-MMM架构图


 

2.15）【mysql 源码】：

   【内容】：MySQL是由C++写的,入口函数main()直接调用了mysqld_main()。Server启动的代码都在这里,直到最后的 handle_connections_sockets()。

 


galera mysql集群安装 mysql集群框架_运维_09

MySQL-MySQL的源码第一书


 


   【资料】：

下载pdf:《深入MySQL源码》

官网手册: https://dev.mysql.com/doc/internals/en/

阅读源码：https://zhuanlan.zhihu.com/p/26118810

书籍：《深入理解MySQL核心技术》

 

2.16）【DBA】：

【职责】：

 


galera mysql集群安装 mysql集群框架_运维_10

MySQL-DBA思维导图


 


   1）数据库安装；

   2）数据库配置和管理；

   3）权限设置和安全管理；

   4）监控和性能调节；

   5）备份和恢复；

   6）解决一般的问题；

 


galera mysql集群安装 mysql集群框架_mysql_11

MySQL-DBA的一天