在使用pymysql作为MySQL驱动时,在多线程模型下,如果我们没有为每个线程创建一个单独的连接的话,就会遇到下列错误
pymysql.err.InternalError: Packet sequence number wrong - got 0 expected 1
这是因为pymysql的threadsafety级别为 1: Threads may share the module, but not connections.
但是为每个线程创建单独的连接的话,如果任务量比较大同时使用线程池的场景下,会造成client和MySQL server之间的频繁“连接-登录-退出”,这显然是不优雅的。所以我们需要一个“连接池”,以达到client和MySQL之间只需维持较少的连接,即可完成任务的效果。
笔者实现了一个基于pymysql的连接池模块pymysql_pool
,包含两个类
-
pymysql_pool.Connection类,继承自
pymysql.connections.Connection
类,在保证使用方法一致的前提下,增加了对连接池的维护 -
pymysql_pool.ConnectionPool类,代表连接池,其中包含指定数目的
pymysql_pool.Connection
对象。这里的pymysql_pool.Connection
对象相比pymysql.connections.Connection
对象,增加了一个属性来标明该连接所属的连接池,也正是通过该属性来区分一个普通连接和一个池中的连接,进而对连接对象的close()
方法和Context Manager Protocol
进行不同的处理
项目详情请移步github