Python 併發程式設計(四):詳解 Python 執行緒訊息通訊機制

寫程式碼的明哥發表於2020-10-22

前面我已經向大家介紹了,如何使用建立執行緒,啟動執行緒。相信大家都會有這樣一個想法,執行緒無非就是建立一下,然後再start()下,實在是太簡單了。

可是要知道,在真實的專案中,實際場景可要我們舉的例子要複雜的多得多,不同執行緒的執行可能是有順序的,或者說他們的執行是有條件的,是要受控制的。如果僅僅依靠前面學的那點淺薄的知識,是遠遠不夠的。

那今天,我們就來探討一下如何控制執行緒的觸發執行。

要實現對多個執行緒進行控制,其實本質上就是訊息通訊機制在起作用,利用這個機制傳送指令,告訴執行緒,什麼時候可以執行,什麼時候不可以執行,執行什麼內容。

經過我的總結,執行緒中通訊方法大致有如下三種:

  • threading.Event
  • threading.Condition
  • queue.Queue

接下來我們來一一探討下。


2.4.1 Event事件

Python提供了非常簡單的通訊機制 Threading.Event,通用的條件變數。多個執行緒可以等待某個事件的發生,在事件發生後,所有的執行緒都會被啟用

關於Event的使用也超級簡單,就三個函式

event = threading.Event()

# 重置event,使得所有該event事件都處於待命狀態
event.clear()

# 等待接收event的指令,決定是否阻塞程式執行
event.wait()

# 傳送event指令,使所有設定該event事件的執行緒執行
event.set()

舉個例子來看下。

import time
import threading


class MyThread(threading.Thread):
    def __init__(self, name, event):
        super().__init__()
        self.name = name
        self.event = event

    def run(self):
        print('Thread: {} start at {}'.format(self.name, time.ctime(time.time())))
        # 等待event.set()後,才能往下執行
        self.event.wait()
        print('Thread: {} finish at {}'.format(self.name, time.ctime(time.time())))


threads = []
event = threading.Event()

# 定義五個執行緒
[threads.append(MyThread(str(i), event)) for i in range(1,5)]

# 重置event,使得event.wait()起到阻塞作用
event.clear()

# 啟動所有執行緒
[t.start() for t in threads]

print('等待5s...')
time.sleep(5)

print('喚醒所有執行緒...')
event.set()

執行一下,看看結果

Thread: 1 start at Sun May 13 20:38:08 2018
Thread: 2 start at Sun May 13 20:38:08 2018
Thread: 3 start at Sun May 13 20:38:08 2018
Thread: 4 start at Sun May 13 20:38:08 2018

等待5s...

喚醒所有執行緒...
Thread: 1 finish at Sun May 13 20:38:13 2018
Thread: 4 finish at Sun May 13 20:38:13 2018
Thread: 2 finish at Sun May 13 20:38:13 2018
Thread: 3 finish at Sun May 13 20:38:13 2018

可見在所有執行緒都啟動(start())後,並不會執行完,而是都在self.event.wait()止住了,需要我們通過event.set()來給所有執行緒傳送執行指令才能往下執行。

2.4.2 Condition

Condition和Event 是類似的,並沒有多大區別。

同樣,Condition也只需要掌握幾個函式即可。

cond = threading.Condition()

# 類似lock.acquire()
cond.acquire()

# 類似lock.release()
cond.release()

# 等待指定觸發,同時會釋放對鎖的獲取,直到被notify才重新佔有瑣。
cond.wait()

# 傳送指定,觸發執行
cond.notify()

舉個網上一個比較趣的捉迷藏的例子來看看

import threading, time

class Hider(threading.Thread):
    def __init__(self, cond, name):
        super(Hider, self).__init__()
        self.cond = cond
        self.name = name

    def run(self):
        time.sleep(1)  #確保先執行Seeker中的方法
        self.cond.acquire()

        print(self.name + ': 我已經把眼睛蒙上了')
        self.cond.notify()
        self.cond.wait()
        print(self.name + ': 我找到你了哦 ~_~')
        self.cond.notify() 

        self.cond.release()
        print(self.name + ': 我贏了')

class Seeker(threading.Thread):
    def __init__(self, cond, name):
        super(Seeker, self).__init__()
        self.cond = cond
        self.name = name

    def run(self):
        self.cond.acquire()
        self.cond.wait()
        print(self.name + ': 我已經藏好了,你快來找我吧')
        self.cond.notify()
        self.cond.wait()
        self.cond.release()
        print(self.name + ': 被你找到了,哎~~~')

cond = threading.Condition()
seeker = Seeker(cond, 'seeker')
hider = Hider(cond, 'hider')
seeker.run()
hider.run()

通過cond來通訊,阻塞自己,並使對方執行。從而,達到有順序的執行。 看下結果

hider:   我已經把眼睛蒙上了
seeker:  我已經藏好了,你快來找我吧
hider:   我找到你了 ~_~
hider:   我贏了
seeker:  被你找到了,哎~~~

2.4.3 Queue佇列

最後一個,佇列,它是本節的重點,因為它是我們日常開發中最使用頻率最高的。

從一個執行緒向另一個執行緒傳送資料最安全的方式可能就是使用 queue 庫中的佇列了。建立一個被多個執行緒共享的 Queue 物件,這些執行緒通過使用put()get() 操作來向佇列中傳送和獲取元素。

同樣,對於Queue,我們也只需要掌握幾個函式即可。

from queue import Queue
# maxsize預設為0,不受限
# 一旦>0,而訊息數又達到限制,q.put()也將阻塞
q = Queue(maxsize=0)

# 預設阻塞程式,等待佇列訊息,可設定超時時間
q.get(block=True, timeout=None)

# 傳送訊息:預設會阻塞程式至佇列中有空閒位置放入資料
q.put(item, block=True, timeout=None)

# 等待所有的訊息都被消費完
q.join()


# 通知佇列任務處理已經完成,當所有任務都處理完成時,join() 阻塞將會解除
q.task_done()

以下三個方法,知道就好,一般不需要使用

# 查詢當前佇列的訊息個數
q.qsize()

# 佇列訊息是否都被消費完,返回 True/False
q.empty()

# 檢測佇列裡訊息是否已滿
q.full()

函式會比之前的多一些,同時也從另一方面說明了其功能更加豐富。

我來舉個老師點名的例子。

# coding=utf-8
# /usr/bin/env python

'''
Author: wangbm
Email: wongbingming@163.com
Wechat: mrbensonwon
Blog: python-online.cn
公眾號:Python程式設計時光


date: 2020/9/20 下午7:30
desc: 
'''

__author__ = 'wangbm'


from queue import Queue
from threading import Thread
import time

class Student:
    def __init__(self, name):
        self.name = name

    def speak(self):
        print("{}:到!".format(self.name))


class Teacher:
    def __init__(self, queue):
        super().__init__()
        self.queue=queue

    def call(self, student_name):
        if student_name == "exit":
            print("點名結束,開始上課..")
        else:
            print("老師:{}來了沒?".format(student_name))
            # 傳送訊息,要點誰的名
        self.queue.put(student_name)

class CallManager(Thread):
    def __init__(self, queue):
        super().__init__()
        self.students = {}
        self.queue = queue

    def put(self, student):
        self.students.setdefault(student.name, student)

    def run(self):
        while True:
            # 阻塞程式,時刻監聽老師,接收訊息
            student_name = queue.get()
            if student_name == "exit":
                break
            elif student_name in self.students:
                self.students[student_name].speak()
            else:
                print("老師,我們班,沒有 {} 這個人".format(student_name))

queue = Queue()
teacher = Teacher(queue=queue)

s1 = Student(name="小明")
s2 = Student(name="小亮")

cm = CallManager(queue)
cm.put(s1)
cm.put(s2)
cm.start()

print('開始點名~')
teacher.call('小明')
time.sleep(1)
teacher.call('小亮')
time.sleep(1)
teacher.call("exit")

執行結果如下

開始點名~
老師:小明來了沒?
小明:到!
老師:小亮來了沒?
小亮:到!
點名結束,開始上課..

其實 queue 還有一個很重要的方法,Queue.task_done()

如果不明白它的原理,我們在寫程式,就很有可能卡死。

當我們使用 Queue.get() 從佇列取出資料後,這個資料有沒有被正常消費,是很重要的。

如果資料沒有被正常消費,那麼Queue會認為這個任務還在執行中,此時你使用 Queue.join() 會一直阻塞,即使此時你的佇列裡已經沒有訊息了。

那麼如何解決這種一直阻塞的問題呢?

就是在我們正常消費完資料後,記得呼叫一下 Queue.task_done(),說明佇列這個任務已經結束了。

當佇列內部的任務計數器歸於零時,呼叫 Queue.join() 就不會再阻塞了。

要理解這個過程,請參考 http://python.iswbm.com/en/latest/c02/c02_06.html 裡自定義執行緒池的的例子。

2.4.4 總結一下

學習了以上三種通訊方法,我們很容易就能發現EventCondition 是threading模組原生提供的模組,原理簡單,功能單一,它能傳送 TrueFalse 的指令,所以只能適用於某些簡單的場景中。

Queue則是比較高階的模組,它可能傳送任何型別的訊息,包括字串、字典等。其內部實現其實也引用了Condition模組(譬如putget函式的阻塞),正是其對Condition進行了功能擴充套件,所以功能更加豐富,更能滿足實際應用。

相關文章