Python数据库操作技巧

在日常的程序序开发过程中,经常要跟关系数据库打交道。python异步连接数据库用aiomysql,笔者就在使用此库过程中的一些心得和技巧记录如下。
我们先看一下同步数据库连接方法,pymysql官方给的使用方法如下:
在日常使用过程序中,如果均采用这样的方法来操作数据库,代码的编写量很大,而且容易出错,现就异步程序数据库连接解决办法归纳如下,如果是同步程序,就可以依据异步程序相应做修改即可,思路是一模一样的:
创建连接池
我们需要创建一个全局的连接池,每个http请求都可以从连接池中直接获取数据库连接。使用连接池的好处是不必频繁地打开和关闭数据库连接,而是能复用就尽量复用。缺省情况下将编码设置为utf8,自动提交事务:
import logging
import aiomysql #这是异步操作pymysql的库
databases = { 'host':'127.0.0.1',
'port':3306,
'user':'root',
'password':'',
'db':'mydb',
'charset':'utf8mb4',
# 'cursorclass':pymysql.cursors.dictcursor }
async def create_pool(loop, **kw):
定义mysql全局连接池
logging.info('create database connection pool...')
global _mysql_pool
_mysql_pool = await aiomysql.create_pool(host=databases['host'], port=databases['port'], user=databases['user'],
password=databases['password'], db=databases['db'], loop=loop,
charset=kw.get('charset', 'utf8'), autocommit=kw.get('autocommit', true),
maxsize=kw.get('maxsize', 10), minsize=kw.get('minsize', 1))
return _mysql_pool
封装增删改查
访问数据库需要创建数据库连接、游标对象,然后执行sql语句,最后处理异常,清理资源。这些访问数据库的代码如果分散到各个函数中,势必无法维护,也不利于代码复用。所以,我们要首先把常用的select、insert、update和delete操作用函数封装起来。由于web框架使用了基于asyncio的aiohttp,这是基于协程的异步模型。在协程中,不能调用普通的同步io操作,因为所有用户都是由一个线程服务的,协程的执行速度必须非常快,才能处理大量用户的请求。而耗时的io操作不能在协程中以同步的方式调用,否则,等待一个io操作时,系统无法响应任何其他用户。这就是异步编程的一个原则:一旦决定使用异步,则系统每一层都必须是异步,“开弓没有回头箭”。幸运的是 aiomysql 为mysql数据库提供了异步io的驱动。
1. 要执行select语句,我们用select函数执行,需要传入sql语句和sql参数:
async def fetchone(sql, args=(), size=none):
封装select,查询单个,返回数据为字典
log(sql, args)
async with _mysql_pool.acquire() as conn:
async with conn.cursor(aiomysql.dictcursor) as cur:
await cur.execute(sql, args)
result = await cur.fetchone()
return result
async def select(sql, args=(), size=none):
封装select,查询多个,返回数据为列表
log(sql, args)
async with _mysql_pool.acquire() as conn:
async with conn.cursor(aiomysql.dictcursor) as cur:
await cur.execute(sql, args)
if size:
result = await cur.fetchmany(size)
else:
result = await cur.fetchall()
logging.info('rows returned: %s' % len(result))
return result
注意要始终坚持使用带参数的sql,而不是自己拼接sql字符串,这样可以防止sql注入攻击。如果传入size参数,就通过fetchmany()获取最多指定数量的记录,否则,通过fetchall()获取所有记录。
2. 封装insert, update, delete
要执行insert、update、delete语句,可以定义一个通用的execute()函数,因为这3种sql的执行都需要相同的参数,以及返回一个整数表示影响的行数:
async def execute(sql, args=()):
封装insert, delete, update
log(sql, args)
async with _mysql_pool.acquire() as conn:
async with conn.cursor() as cur:
try:
await cur.execute(sql, args)
except baseexception:
await conn.rollback()
return
else:
affected = cur.rowcount
return affected
execute()函数和select()函数所不同的是,cursor对象不返回结果集,而是通过rowcount返回结果数。