Python資料庫連線池DButils

轉載自：https://www.cnblogs.com/wupeiqi/articles/8184686.html

 

安裝

pip install DBUtils

注意：只要寫原生SQL，就要用資料庫連線池！！

 

此連線池有兩種連線模式：

• 模式一：為每個執行緒建立一個連線，執行緒即使呼叫了close方法，也不會關閉，只是把連線重新放到連線池，供自己執行緒再次使用。當執行緒終止時，連線自動關閉。

import pymysql
from dbutils.persistent_db import PersistentDB

PooL = PersistentDB(
    creator=pymysql,  # 使用連結資料庫的模組
    maxusage=None,  # 一個連結最多被使用的次數，None表示無限制
    setsession=[],  # 開始會話前執行的命令
    ping=0,  # ping MySQL服務端,檢查服務是否可用
    closeable=False,  # conn.close()實際上被忽略，供下次使用，直到執行緒關閉，自動關閉連結，而等於True時，conn.close()真的被關閉
    threadlocal=None,  # 本執行緒獨享值的物件，用於儲存連結物件
    host='127.0.0.1',
    port=3306,
    user='root',
    password='mysql',
    database='mvc',
    charset='utf8'
)


def func():
    conn = PooL.connection()
    cursor = conn.cursor()
    cursor.execute('select * from user_tb')
    result = cursor.fetchall()
    print(result)
    cursor.close()
    conn.close()


import threading

for i in range(5):
    t = threading.Thread(target=func)
    t.start()

模式二：建立一批連線到連線池，供所有執行緒共享使用。
由於pymysql、MySQLdb等threadsafety值為1，所以該模式連線池中的執行緒會被所有執行緒共享。

import pymysql
import threading
from dbutils.pooled_db import PooledDB, SharedDBConnection
POOL = PooledDB(
    creator=pymysql,  # 使用連結資料庫的模組
    maxconnections=6,  # 連線池允許的最大連線數，0和None表示不限制連線數
    mincached=2,  # 初始化時，連結池中至少建立的空閒的連結，0表示不建立
    maxcached=5,  # 連結池中最多閒置的連結，0和None不限制
    maxshared=3,  # 連結池中最多共享的連結數量，0和None表示全部共享。PS: 無用，因為pymysql和MySQLdb等模組的 threadsafety都為1，所有值無論設定為多少，_maxcached永遠為0，所以永遠是所有連結都共享。
    blocking=True,  # 連線池中如果沒有可用連線後，是否阻塞等待。True，等待；False，不等待然後報錯
    maxusage=None,  # 一個連結最多被重複使用的次數，None表示無限制
    setsession=[],  # 開始會話前執行的命令列表。如：["set datestyle to ...", "set time zone ..."]
    ping=0,
    # ping MySQL服務端，檢查是否服務可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
    host='127.0.0.1',
    port=3306,
    user='root',
    password='mysql',
    database='mvc',
    charset='utf8'
)


def func():
    # 檢測當前正在執行連線數的是否小於最大連結數，如果不小於則：等待或報raise TooManyConnections異常
    # 否則
    # 則優先去初始化時建立的連結中獲取連結 SteadyDBConnection。
    # 然後將SteadyDBConnection物件封裝到PooledDedicatedDBConnection中並返回。
    # 如果最開始建立的連結沒有連結，則去建立一個SteadyDBConnection物件，再封裝到PooledDedicatedDBConnection中並返回。
    # 一旦關閉連結後，連線就返回到連線池讓後續執行緒繼續使用。
    conn = POOL.connection()

    # print(th, '連結被拿走了', conn1._con)
    # print(th, '池子裡目前有', pool._idle_cache, '\r\n')

    cursor = conn.cursor()
    cursor.execute('select * from user_tb')
    result = cursor.fetchall()
    conn.close()
    print(result)

func()

 

如果沒有連線池，使用pymysql來連線資料庫時，單執行緒應用完全沒有問題，但如果涉及到多執行緒應用那麼就需要加鎖，一旦加鎖那麼連線勢必就會排隊等待，當請求比較多時，效能就會降低了。

#加鎖
import pymysql
import threading
from threading import RLock

LOCK = RLock()
CONN = pymysql.connect(host='127.0.0.1',
                       port=3306,
                       user='root',
                       password='mysql',
                       database='mvc',
                       charset='utf8')


def task(arg):
    with LOCK:
        cursor = CONN.cursor()
        cursor.execute('select * from user_tb')
        result = cursor.fetchall()
        cursor.close()

        print(result)


for i in range(10):
    t = threading.Thread(target=task, args=(i,))
    t.start()

無鎖會報錯！！！下面程式碼會報錯！！！ 

# 無鎖

import pymysql
import threading
CONN = pymysql.connect(host='127.0.0.1',
                       port=3306,
                       user='root',
                       password='mysql',
                       database='mvc',
                       charset='utf8')


def task(arg):
    cursor = CONN.cursor()
    cursor.execute('select * from user_tb')
    result = cursor.fetchall()
    cursor.close()

    print(result)


for i in range(10):
    t = threading.Thread(target=task, args=(i,))
    t.start()