在日常的程序序开发过程中,经常要跟关系数据库打交道。python异步连接数据库用aiomysql,笔者就在使用此库过程中的一些心得和技巧记录如下。

我们先看一下同步数据库连接方法,PyMySQL官方给的使用方法如下:


在日常使用过程序中,如果均采用这样的方法来操作数据库,代码的编写量很大,而且容易出错,现就异步程序数据库连接解决办法归纳如下,如果是同步程序,就可以依据异步程序相应做修改即可,思路是一模一样的:

创建连接池

我们需要创建一个全局的连接池,每个HTTP请求都可以从连接池中直接获取数据库连接。使用连接池的好处是不必频繁地打开和关闭数据库连接,而是能复用就尽量复用。缺省情况下将编码设置为utf8,自动提交事务:

import logging
import aiomysql #这是异步操作pymysql的库
DATABASES = { 'host':'127.0.0.1',
'port':3306,
'user':'root',
'password':'',
'db':'mydb',
'charset':'utf8mb4',
# 'cursorclass':pymysql.cursors.DictCursor }
async def create_pool(loop, **kw):
"""定义mysql全局连接池"""
logging.info('create database connection pool...')
global _mysql_pool
_mysql_pool = await aiomysql.create_pool(host=DATABASES['host'], port=DATABASES['port'], user=DATABASES['user'],
password=DATABASES['password'], db=DATABASES['db'], loop=loop,
charset=kw.get('charset', 'utf8'), autocommit=kw.get('autocommit', True),
maxsize=kw.get('maxsize', 10), minsize=kw.get('minsize', 1))
return _mysql_pool

封装增删改查

访问数据库需要创建数据库连接、游标对象,然后执行SQL语句,最后处理异常,清理资源。这些访问数据库的代码如果分散到各个函数中,势必无法维护,也不利于代码复用。所以,我们要首先把常用的SELECT、INSERT、UPDATE和DELETE操作用函数封装起来。由于Web框架使用了基于asyncio的aiohttp,这是基于协程的异步模型。在协程中,不能调用普通的同步IO操作,因为所有用户都是由一个线程服务的,协程的执行速度必须非常快,才能处理大量用户的请求。而耗时的IO操作不能在协程中以同步的方式调用,否则,等待一个IO操作时,系统无法响应任何其他用户。这就是异步编程的一个原则:一旦决定使用异步,则系统每一层都必须是异步,“开弓没有回头箭”。幸运的是 aiomysql 为MySQL数据库提供了异步IO的驱动。

1. 要执行SELECT语句,我们用select函数执行,需要传入SQL语句和SQL参数:

async def fetchone(sql, args=(), size=None):
"""封装select,查询单个,返回数据为字典"""
log(sql, args)
async with _mysql_pool.acquire() as conn:
async with conn.cursor(aiomysql.DictCursor) as cur:
await cur.execute(sql, args)
result = await cur.fetchone()
return result
async def select(sql, args=(), size=None):
"""封装select,查询多个,返回数据为列表"""
log(sql, args)
async with _mysql_pool.acquire() as conn:
async with conn.cursor(aiomysql.DictCursor) as cur:
await cur.execute(sql, args)
if size:
result = await cur.fetchmany(size)
else:
result = await cur.fetchall()
logging.info('rows returned: %s' % len(result))
return result
注意要始终坚持使用带参数的SQL,而不是自己拼接SQL字符串,这样可以防止SQL注入攻击。如果传入size参数,就通过fetchmany()获取最多指定数量的记录,否则,通过fetchall()获取所有记录。
2. 封装Insert, Update, Delete
要执行INSERT、UPDATE、DELETE语句,可以定义一个通用的execute()函数,因为这3种SQL的执行都需要相同的参数,以及返回一个整数表示影响的行数:
async def execute(sql, args=()):
"""封装insert, delete, update"""
log(sql, args)
async with _mysql_pool.acquire() as conn:
async with conn.cursor() as cur:
try:
await cur.execute(sql, args)
except BaseException:
await conn.rollback()
return
else:
affected = cur.rowcount
return affected
execute()函数和select()函数所不同的是,cursor对象不返回结果集,而是通过rowcount返回结果数。