mysql wal机制 mysql实现原理和机制

MySQL工作原理浅谈

一、MySQL简介

1. 一种关系型数据库管理系统
2. 支持大型的数据库。可以处理拥有上千万条记录的大型数据库
3. 支持多线程
4. 提供多种语言的调用API
5. … …

详细的介绍可以自行百度，这个不是本章重点

二、MYSQL工作原理

• connectors
  MySQL 对外的连接窗口。编程语言（如 java 等）通过调用 MySQL API 与 MySQL 的 connectors 交互
• Management Serveices & Utilities
  系统管理和控制工具
• Connection Pool
  连接池。管理和控制MySQL数据库连接数量和最大、最小连接数，详细可以看这篇文章的介绍：
  MySQL连接池简介
• SQL Interface
  SQL接口。接受来自用户的SQL指令，并返回根据SQL指令查询的结果
• Parser
  解析器。对SQL指令进行解析和验证，主要有两点作用：
  1.将SQL语句分解成数据结构，并将这个结构传递到后续步骤，后面SQL语句的传递和处理就是基于这个结构的
  2.如果在分解构成中遇到错误，那么就说明这个SQL语句是不合理的，语句将不会继续执行下去
• Optimizer
  查询优化器。对准备查询数据库的SQL语句进行优化，优化器会生成多种优化方案，然后选中最优的一种方案执行。优化器通过“选取-投影-联接”的查询策略进行查询。
  例如：select name,sex from person where age=25;
  优化器会先通过“where age=25”的查询条件查询person，而不是取出所有数据再过滤
  然后通过“name”和“sex”进行属性投影，只取出需要的字段信息，而不是去除所有字段再过滤
  最后联接上面的两个查询结果，生成最终结果
• Cache & Buffer
  查询缓存。如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据。
  这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等
• Engine
  存储引擎。数据库数据的读取引擎，存储引擎是MySql中具体的与文件打交道的子系统。也是Mysql最具有特色的一个地方。
  Mysql的存储引擎是插件式的。它根据MySql AB公司提供的文件访问层的一个抽象接口来定制一种文件访问机制（这种访问机制就叫存储引擎）

三、MYSQL执行过程

1. 首先程序的请求会通过mysql的connectors与其进行交互
2. 请求到后，请求会暂时存放在连接池（connection pool)中并由处理器（Management Serveices & Utilities）管理，当该请求从等待队列进入到处理队列，管理器会将该请求丢给SQL接口（SQL Interface）
3. SQL接口接收到请求后，它会将请求进行hash处理并与缓存中的结果进行对比，如果完全匹配则通过缓存直接返回处理结果；否则，丢给后面的解释器（Parser）
4. 解释器会判断SQL语句正确与否，若正确则将其转化为数据结构，错误这返回异常
5. 解释器处理完，便来到后面的优化器（Optimizer），它会产生多种执行计划,最终数据库会选择最优化的方案去执行,尽快返会结果
6. 确定最优执行计划后，SQL语句此时便可以交由存储引擎（Engine）处理，存储引擎将会到后端的存储设备中取得相应的数据，并原路返回给程序

三、MySQL工作原理的细节问题

(1)如何缓存查询数据
存储引擎处理完数据，并将其返回给程序的同时，它还会将一份数据保留在缓存中，以便更快速的处理下一次相同的请求。具体情况是，mysql会将查询的语句、执行结果等进行hash处理，并保留在cache中，等待下次查询。

(2)buffer与cache的区别
从mysql原理图可以看到，缓存那里实际上有buffer和cache两个，那它们之间的区别：简单的说就是，buffer是写缓存，cache是读缓存。

(3)如何判断缓存中是否已缓存需要的数据
这里可能有一个误区，觉得处理SQL语句的时候，为了判断是否已缓存查询结果，会将整个流程走一遍，取得执行结果后再与需要的进行对比，看看是否命中，并以此说，既然不管缓存中有没有缓存到查询内容，都要整个流程走一遍，那缓存的优势在哪？

其实并不是这样，在第一次查询后，mysql便将查询语句以及查询结果进行hash处理并保留在缓存中，SQL查询到达之后，对其进行同样的hash处理后，将两个hash值进行对照，如果一样，则命中，从缓存中返回查询结果；否则，需要整个流程走一遍