Pymysql 连接池操作

问题

在用python写后端服务时候，需要与mysql数据库进行一些数据查询或者插入更新等操作。启动服务后接口运行一切正常，
隔了第二天去看服务日志就会报错，问题如下：

1	pymysql.err.OperationalError: (2006, "MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))")

MySQL默认的wait_timeout时间28800秒，即8小时，超过8小时，MySQL就会放弃连接。MySQL默认设置的时间是8小时，可以通过运行show variables like ‘%timeout%’;这个SQL即可查看到，时间根据自己业务而定。

因此，当第二天早上前端调用接口时候，mysql连接失败，无法获取数据或者更新数据。

解决办法

1.修改MySQL默认的wait_timeout时间，更改为24小时；但治标不治本，长时间占用连接，总会有把mysql连接占满，导致其它的请求连接无法进行；
2.使用连接池的方式，自定义执行SQL，只需要在每次操作前，从连接池中连接，操作数据结束后，关闭连接即可。

代码

最终采用连接池的方式避免出现这种问题，写一个操作数据库的工具函数，后续需要处理的时候直接调用即可。

定义连接池

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

import os
import pymysql
import configparser
from DBUtils.PooledDB import PooledDB

MODULE_REAL_DIR = os.path.dirname(os.path.realpath(__file__))

config = configparser.ConfigParser()
config.read(MODULE_REAL_DIR + '/../conf/config.conf')

host = config.get('MYSQL_FORMAL_DB', 'host')
user = config.get('MYSQL_FORMAL_DB', 'user')
pwd = config.get('MYSQL_FORMAL_DB', 'pwd')
db = config.get('MYSQL_FORMAL_DB', 'db')

POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数，0和None表示不限制连接数
mincached=2, # 初始化时，链接池中至少创建的空闲的链接，0表示不创建
maxcached=5, # 链接池中最多闲置的链接，0和None不限制
maxshared=1, # 链接池中最多共享的链接数量，0和None表示全部共享
blocking=True, # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数，None表示无限制
setsession=[], # 开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]
ping=0,
# ping MySQL服务端，检查是否服务可用。
# 如：0 = None = never,
# 1 = default = whenever it is requested,
# 2 = when a cursor is created,
# 4 = when a query is executed,
# 7 = always
host=host,
port=3306,
user=user,
password=pwd,
database=db,
charset='utf8'
)

定义基本操作：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80

from db_utils import POOL
import pymysql

def create_conn():
conn = POOL.connection()
# cursor = conn.cursor(pymysql.cursors.DictCursor)
cursor = conn.cursor()
return conn, cursor

def close_conn(conn, cursor):
conn.close()
cursor.close()

def select_one(sql, args):
conn, cur = create_conn()
try:
cur.execute(sql, args)
result = cur.fetchone()
close_conn(conn, cur)
return result
except Exception as e:
print("select one except ", args)
close_conn(conn, cur)
return None

def select_all(sql, args):
conn, cur = create_conn()
try:
cur.execute(sql, args)
result = cur.fetchall()
close_conn(conn, cur)
return result
except Exception as e:
print("select all except ", args)
close_conn(conn, cur)
return None

def insert_one(sql, args):
conn, cur = create_conn()
try:
result = cur.execute(sql, args)
conn.commit()
close_conn(conn, cur)
return True
except Exception as e:
print("insert except ", args)
conn.rollback()
close_conn(conn, cur)
return False

def delete_one(sql, args):
conn, cur = create_conn()
try:
result = cur.execute(sql, args)
conn.commit()
close_conn(conn, cur)
return True
except Exception as e:
print("delete except ", args)
conn.rollback()
close_conn(conn, cur)
return False

def update_one(sql, args):
conn, cur = create_conn()
try:
result = cur.execute(sql, args)
conn.commit()
close_conn(conn, cur)
return True
except Exception as e:
print("update except ", args)
conn.rollback()
return False

参考

https://www.coder.work/article/500786
https://www.jianshu.com/p/53262bb292e5
https://blog.51cto.com/lookingdream/2449109
https://blog.csdn.net/jacke121/article/details/79852146
https://blog.csdn.net/u010939285/article/details/71088145
https://www.letianbiji.com/python/python-pymysql.html