理解qps和tps

1.TPS
TPS 即TransactionsPer Second的缩写,每秒处理的事务数目。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程**(完整处理,即客户端发起请求到得到响应)**。客户机在发送请求时开始计时,收到服务器响应后结束计时,以此来计算使用的时间和完成的事务个数,最终利用这些信息作出的评估分。一个事务可能对应多个请求,可以参考下数据库的事务操作。
2. QPS
QPS 即Queries Per Second的缩写,每秒能处理查询数目(完整处理,即客户端发起请求到得到响应)。是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。

3.区别
区别及理解:

  • TPS即每秒处理事务数,包括:”用户请求服务器”、”服务器自己的内部处理”、”服务器返回给用户”,这三个过程,每秒能够完成N个这三个过程,TPS也就是3;
  • QPS基本类似于TPS,但是不同的是,对于一个页面的一次访问,形成一个TPS;但一次页面请求,可能产生多次对服务器的请求,服务器对这些请求,就可计入QPS之中。
  • 一般的,评价系统性能均以每秒钟完成的技术交易的数量来衡量。系统整体处理能力取决于处理能力最低模块的TPS值。
  • QPS对应fetches/sec,即每秒的响应请求数,也即是最大吞吐能力。

mysql自身连接数

MySQL是单进程,多线程的架构,通过创建多个线程来服务于不同的用户连接。通常情况下,随着用户连接数的增加,MySQL内部用于处理用户连接的线程也会同步的增加,在一定范围内,增加用户并发连接,对提高系统的吞吐量有一定的帮助,然而用户并发连接数超过某个阈值,MySQL的性能反而会降低。

设置合适的连接数

MySQL能够处理的最大连接数量由参数 max_connections 决定,但是如何设置 max_connections 的值才是最合适的呢?一般来说需要根据具体的机器配置和业务要求。通常我们需要MySQL能够并发处理的用户连接数越多越好,并发用户数增加的情况下,SQL的执行响应时间不能增长太多,同时内存占用也不能太高,因此需要在并发连接数、响应时间、内存占用等方面做出平衡,并且要能满足业务的对SQL执行的吞吐量和响应时间要求。

如何确定MySQL的最大负载和最大并发度?通过压测,不断增加客户端并发数。比如起始客户端并发数为2,依次递增到4,8,16,32等等,每次递增,在没有达到性能瓶颈前,压测的TPS会随着客户端并发数的增加而增大,响应时间通常会随着客户端并发数的增加而增加,但是增加的幅度并不明显。当客户端并发数达到某个阈值时,比如128,或者256甚至更大时,TPS不再增长,反而出现下降,响应时间则会出现跳跃式的增长,此时则可以认为MySQL已经达到了当前配置的最大性能。不同的硬件配置下,MySQL最大性能的并发连接数也不相同,需要根据具体的环境测试,一般的原则是最大并发连接数等于CPU逻辑核心数的4倍。

此外,如果业务对响应时间有一定的要求,比如业务要求响应时间50ms,在低于50ms的响应时间之内,TPS越高越好。这时就需要通过压测来确定最合适的并发连接数,在响应时间不超过50ms的前提下,不断提高并发数,获取最佳性能。然而不同的机器配置,不同的业务类型,可能会有不同的结果。

下图展示了某个测试环境下,MySQL最佳性能的并发数,在并发128之前,随着并发数的增加,TPS也相应增加,响应时间平稳,然而超过128,可以看到TPS出现下降,并且响应时间增加明显。

mysql一台机器每秒写入多少条 mysql每秒处理请求数量_mysql

问题

很多开发人员都会遇见”MySQL: ERROR 1040: Too many connections”的异常情况,造成这种情况的一种原因是访问量过高,MySQL服务器抗不住,这个时候就要考虑增加从服务器分散读压力;另一种原因就是MySQL配置文件中max_connections值过小。

首先,我们来查看mysql的最大连接数:

mysql一台机器每秒写入多少条 mysql每秒处理请求数量_数据库_02

其次,查看服务器响应的最大连接数:

mysql一台机器每秒写入多少条 mysql每秒处理请求数量_数据库_03

可以看到服务器响应的最大连接数为2,远远低于mysql服务器允许的最大连接数值。

对于mysql服务器最大连接数值的设置范围比较理想的是:服务器响应的最大连接数值占服务器上限连接数值的比例值在10%以上,如果在10%以下,说明mysql服务器最大连接上限值设置过高。

代码里连接数设置

添加链接描述