MySQL 通信协议介绍
1、数据类型
了解MySQL协议包之前必需先知道其数据类型
1.1 Integer Types 整数类型
（1）定长整型
固定长度, 小端编码, 有下面几种(括号内的代表所占字节数):
int<1>
int<2>
int<3>
int<4>
int<6>
int<8>
（2）变长整型
可能长度为1, 3, 4, 9 个字节, 实际长度取决于数值的大小.记为 int<lenenc>
编码过程, 记数值为N：
1.若 N < 251, 则编码为单字节
2.若 251 <= N < 2^16, 则编码为 0xfc + 2-byte integer
3.若 2^16 <= N < 2^24, 则编码为 0xfd + 3-byte integer
4.若 2^24 <= N < 2^64, 则编码为0xfe + 8-byte integer
解码过程, 先看第一个字节, 记其值为N1,
1.若 N1 <= 0xfb, 则说明该整数就是N1
2.若 N1 = 0xfc,则说明接下来2字节也是该整数的部分, 取出加上0xfc即为原数值
3.若 N1 = 0xfd, ...
4.若 N1 = 0xfe, ...
值得注意的是, 当协议包的第一个字节为0xfe时, 应该检查接下来是否有8个字节, 若没有则说明该协议包可能是EOF_PACKET
1.2 String Types 字符串类型
(1)FixedLengthString
定长字符串，记为 string<fix>
(2)NulTerminatedString
由NUL标识结束的字符串, NUL即0x00，记为string<NUL>
(3)VariableLengthString
变长字符串, 长度由别的其它字段决定或者运行时动态计算出来的，记为string<var>
(4)LengthEncodedString
长度编码的字符串, 即其前面有个整型int<lenenc>说明接下来的字符串的长度, 起始就是VariableLengthString，记为string<lenenc>
(5)RestOfPacketString
若一个字符串是一个协议包的最后一个字段, 那该字符串的长度当然就等于包长 - 当前位置，记为string<EOF>
2.MySQL协议包
客户端或服务端要发消息给对方时：
1.把消息分成若干个长度小于 2^24-1(即16 M)的消息
2.给每个消息前面加一个4字节包头.
如下：
Type | Name | Description |
int<3> | payload_length | payload字段的长度 |
int<1> | sequence_id | 序列号 |
string<var> | payload | payload包体 |
例如CMD_QUIT的整包字节序列为:01 00 00 00 01
1.通用响应报文
(1) OK_Packet
表示操作成功的报文，5.7开始用该报文替代EOF_Packet
报文格式：
判断时OK还是EOF规则：
OK: header = 0 and length of packet > 7
EOF: header = 0xfe and length of packet < 9
(2) ERR_Packet
表示操作失败的报文. It contains a SQL state value if CLIENT_PROTOCOL_41 is enabled.
报文格式:
(3) EOF_Packet
If CLIENT_PROTOCOL_41 is enabled, the EOF packet contains a warning count and status flags.
EOF报文用来表示多个报文组成的一个报文簇的结束，比如当客户端发送查询命令到mysql server时，mysql会按顺序回复以下报文：
1.ResultSetHeaderPacket --报文中携带了查询结果包含的字段的个数N，以及其它一些信息
2.FieldPacket * N -- N个FieldPacket，每一个都表示一个字段的定义
3.EOF Packet -- 表示字段定义的所有报文已发送完毕
4.RowDataPacket * M -- 每个报文表示一行数据
5.EOF Packet -- 表示行数据报文发送完毕。
报文格式：
EOF_Packet和OK_Packet 都是用来表示一个query的结果的尾包，5.7.5版本EOF_Packet就不在使用了
上面的报文中涉及到的statu_flag取值及含义如下：
2.连接建立阶段报文
(1) Handshake Packet(Server -> Client)
握手报文，当客户端连接服务端时，当TCP连接建立完成后，Server会主动向Client发送一个握手协议报文，里面携带了Server的相关信息和权能标识，关于权能标识(capabilities flag)，具体可以去这里查
1 [0a] protocol version -- 协议版本
string[NUL] server version -- Server版本
4 connection id
string[8] auth-plugin-data-part-1
1 [00] filler -- 填充，总是0x00
2 capability flags (lower 2 bytes) --Server权能标识
if more data in the packet:
1 character set -- 连接所使用的字符集
2 status flags
2 capability flags (upper 2 bytes)
if capabilities & CLIENT_PLUGIN_AUTH {
1 length of auth-plugin-data
} else {
1 [00]
}
string[10] reserved (all [00])
if capabilities & CLIENT_SECURE_CONNECTION {
string[$len] auth-plugin-data-part-2 ($len=MAX(13, length of auth-plugin-data - 8))
if capabilities & CLIENT_PLUGIN_AUTH {
string[NUL] auth-plugin name
}
(2)HandShake Response Packet(Client -> Server)
客户端收到Handshake Packet后，生成一个Response并发给Server，里面携带客户端的权能标识，用户名等相关的信息，如果Handshake Packet中的权能标识中带有client_protocol_41标识位，那么客户端将生成的Response为HandShake Response41，否则生成的为HandShake Response320，我们这里就不管HandShake Response320，因为现在的Server基本都会支持这个
HandShake Response41格式：
4 capability flags, CLIENT_PROTOCOL_41 always set -- 客户端的权能标识
4 max-packet size -- 最大包大小
1 character set -- 字符集
string[23] reserved (all [0]) -- 保留，总是0
string[NUL] username -- 用户名
if capabilities & CLIENT_PLUGIN_AUTH_LENENC_CLIENT_DATA { -- 看了mycat的源码才知道，这个其实是密码
lenenc-int length of auth-response
string[n] auth-response
} else if capabilities & CLIENT_SECURE_CONNECTION {
1 length of auth-response
string[n] auth-response
} else {
string[NUL] auth-response
}
if capabilities & CLIENT_CONNECT_WITH_DB { -- 连接默认数据库名
string[NUL] database
}
if capabilities & CLIENT_PLUGIN_AUTH {
string[NUL] auth plugin name
}
if capabilities & CLIENT_CONNECT_ATTRS {
lenenc-int length of all key-values
lenenc-str key
lenenc-str value
if-more data in 'length of all key-values', more keys and value pairs
}
3.普通请求/响应报文
在连接建立后，Client就可以发送普通的查询或者其它命令给Server了，下面对这些命令进行介绍
1.COM_SLEEP 请求
这个是Server内部的命令，不是客户端给服务端发的，忽略即可
1 [00] COM_SLEEP
2.COM_QUIT 请求
当客户端要关闭连接时，发送该命令到Server
1 [01] COM_QUIT
返回：要么是OK Packet，要么就连接关闭
3.COM_INIT_DB 请求
修改连接默认的schema
1 [02] COM_INIT_DB
string[EOF] schema name -- 数据库名
返回：OK Packet 或者ERR Packet
4.COM_QUERY 请求
发送普通查询请求，这个查询是立即执行的，因此预编译不是发这个命令的
1 [03] COM_QUERY
string[EOF] the query the server shall execute -- sql语句
返回：COM_QUERY_RESPONSE Packet
5.COM_QUERY_PACKET 响应
COM_QUERY的响应报文，该报文只是个逻辑上的报文，其组成为以下几个中的一个：
- ERR Packet
- OK Packet
- ResultSet Packet -- 普通查询结果
- LOAD DATA INFILE REQUEST Packet
6.ResultSetPacket 响应
普通查询结果，也是一个逻辑上的报文，其由以下部分组成：
1.ResultSetHeaderPacket -- 只包含一个int<lenenc>的整数(记为N，表示结果字段的个数)和一个8字节的extra附加信息
2.ColumnDefinitionPacket * N -- N个ColumnDefinitionPacket ，每个ColumnDefinitionPacket表示一个字段的信息，其格式如下：
lenenc_str catalog
lenenc_str schema
lenenc_str table
lenenc_str org_table
lenenc_str name
lenenc_str org_name
lenenc_int length of fixed-length fields [0c]
2 character set
4 column length
1 type
2 flags
1 decimals
2 filler [00] [00]
if command was COM_FIELD_LIST {
lenenc_int length of default-values
string[$len] default values
}3.EOF Packet 表示所有ColumnDefinitionPacket都发送完了，接下来将发行数据了
4.任意个RowDataPacket，每一个代表一行数据，其中NULL用0xfb(251)表示，其格式如下：
lenenc_str field1's value -- 第一个字段的值
lenenc_str field2's value -- 第二个字段的值
...
lenenc_str fieldN's value -- 第N个字段的值 5.EOF Packet，表示ResultSetPacket完毕，若此包中的SERVER_MORE_RESULT_EXISTS被设置，则则说明接下来还有ResultSetPacket，又回到第一步开始接收...
整个查询过程如下图：
7.COM_FIELD_LIST 请求
获取字段定义，5.7.11开始已弃用
1 [04] COM_FIELD_LIST
string[NUL] table -- 表名
string[EOF] field wildcard 字段通配符
返回：COM_FIELD_LIST RESPONSE Packet
8.COM_FIELD_LIST 响应
COM_FIELD_LIST的响应报文，该报文是一个逻辑报文，其组成为以下一种：
1.ERR packet
2.任意个ColumnDefinitionPacket加一个EOFPacket
9.COM_CREATE_DB 请求
创建数据库请求
1 [05] COM_CREATE_DB
string[EOF] schema name -- 数据库名返回：OK Packet或者ERR Packet
10.COM_DROP_DB 请求
删除数据库请求
1 [06] COM_DROP_DB
string[EOF] schema name -- 数据库名
返回：OK Packet 或者 ERR Packet
11.COM_REFRESH 请求
Flush ... 和RESET ... 语句的实现命令，从5.7.11版本开始已弃用，改用COM_QUERY，执行FLUSH语句或者
1 [07] COM_REFRESH
1 sub_command -- 命令，取值见下sub_command取值：
返回：OK Packet或者ERR Packet
12.COM_SHUTDOWN 请求
shutdown mysql server的请求，5.7.9已弃用，8.0已移除，执行mysqladmin shutdown时发送该命令
1 [08] COM_SHUTDOWN
if more data {
1 shutdown type
}
shutdown type取值：
返回：OK Packet或者ERR packet
13.COM_STATISTICS 请求
获取human readable的mysql server统计信息，执行mysqladmin status时发送该命令
1 [09] COM_STATISTICS
返回：string<EOF>
14.COM_PROCESS_INFO 请求
get a list of active threads，执行show processlist 或者 mysqladminproesslist时发送该命令
1 [0a] COM_PROCCESS_INFO
返回：ResultSetPacket 或者ERR Packet
15.COM_CONNECT 请求
mysql server 内部命令，5.7.11版本弃用，使用COM_QUERY替代
16.COM_PROCESS_KILL 请求
关闭连接
1 [0c] COM_PROCCESS_KILL
4 connection id -- 连接ID，这个是在HandShake Packet传过来的
返回：OK Packet或者ERR Packet
16.COM_DEBUG 请求
COM_DEBUG triggers a dump on internal debug info to stdout of the mysql-server.The SUPER privilege is required for this operation.执行mysqladmin debug时发送该命令
1 [0d] COM_DEBUG
返回：EOF Packet或者ERR Packet
17.COM_PING 请求
心跳检测
1 [0e] COM_PING
返回：OK Packet
18.COM_TIME
mysql server内部命令
19.COM_DELAYED_INSERT
mysql server内部命令
20.COM_CHANGE_USER 请求
更改当前连接的用户并重置连接状态，包括user variables、临时表和预编译语句等等...
1 [11] COM_CHANGE_USER
string[NUL] user
if capabilities & SECURE_CONNECTION {
1 auth-response-len
string[$len] auth-response
} else {
string[NUL] auth-response
}
string[NUL] schema-name
if more data {
2 character-set
if capabilities & CLIENT_PLUGIN_AUTH {
string[NUL] auth plugin name
}
if capabilities & CLIENT_CONNECT_ATTRS) {
lenenc-int length of all key-values
lenenc-str key
lenenc-str value
if-more data in 'length of all key-values', more keys and value pairs
}
}
21.COM_RESET_CONNECTION 请求
Resets the session state; more lightweight than COM_CHANGE_USER because it does not close and reopen the connection, and does not re-authenticate
1 [1f] COM_RESET_CONNECTION
返回：OK Packet或者ERR Packet
22.COM_DAEMON 请求
mysql server内部命令
23.COM_STMT_PREPARE 请求
预编译语句，执行conn.preparedStatement(sql)时发送该命令
1 the COM_STMT_PREPARE command
string<EOF> query statement -- sql语句
返回：COM_STMT_PREPARED OK Packet或者Err Packet
24.COM_STMT_PREPARE Response 响应
预编译成功时的响应报文，时逻辑报文，其由多个报文组成：
1.第一个报文包含预编译成功信息，其格式如下：
1 status, [00]=OK --成功标志
4 statementId -- 预编译的语句ID
2 number of columns -- 字段个数
2 number of params -- 参数个数
1 reserved, always 00 -- 保留
2 number of warnings -- 警告个数
2.如果上面的参数个数(记为N)大于0的话，那么接下来会有N个ColumnDefinitionPacket加上一个EOF Packet会被发送
3.如果上面的字段个数(记为M)大于0的话，那么接下来会有M个ColumnDefinitionPacket加上一个EOF Packet会被发送
25.COM_STMT_SEND_LONG_DATA请求
发送参数值给预编译语句，预编译中有几个?就得发几个该请求，并且都得在COM_STMT_EXECUTE之前发送
1 [18] COM_STMT_SEND_LONG_DATA
4 statement-id -- 预编译语句ID
2 param-id -- 参数ID
n data -- 参数值
返回：无返回
26.COM_STMT_EXECUTE请求
执行预编译语句
1 [17] COM_STMT_EXECUTE
4 stmt-id -- 语句ID
1 flags
4 iteration-count, always 1
if num-params > 0:
n NULL-bitmap, length: (num-params+7)/8
1 new-params-bound-flag
if new-params-bound-flag == 1:
n type of each parameter, length: num-params * 2
n value of each parameterflags取值：
返回：COM_STMT_EXECUTE Response
27.COM_STMT_EXECUTE Response响应
COM_STMT_EXECUTE 的响应报文，是下面三者之一：
1.OK Packet -- 执行update时
2.Err Packet
3.Binary Protocol ResultSet Packet --执行查询时
Binary Protocol ResultSet
binary protocol result和之前讲的ResultSetPacket相似，
28.COM_STMT_CLOSE请求
关闭预编译语句，该请求无响应
1 [19] COM_STMT_CLOSE
4 statement-id -- 预编译语句ID
29.COM_STMT_RESET请求
清空由COM_STMT_SEND_LONG_DATA发送的所有参数值，并关闭由COM_STMT_EXECUTE打开的CURSOR
1 [1a] COM_STMT_RESET
4 statement-id
返回：OK Packet或者ERR Packet
// TODO 未完待补充
