使用Python佇列和多執行緒實現生產者消費者

gaopengtttt發表於2018-03-30
Python佇列執行緒

這個模型使用python來實現相比POSIX來做簡單太多太多了，輪子python都可以寫好了直接呼叫即可，佇列就已經封裝好了對共享資料的安全訪問。在POSIX多執行緒中考慮Mutex和條件變數是一個重點。這是我以前用POSIX pthread函式實現的一個生產者和消費者模型：

一、實現方式

下面是Python實現的方法，實際上就是使用佇列作為共享資料的中間價這是模組封裝好的，不需要在使用Mutex保護執行緒之間共享資料訪問的
安全性。附帶佇列的測試程式碼，程式碼簡單如下：


點選(此處)摺疊或開啟

  1. import threading
  2. import time
  3. import queue
  4. from global_par import global_par
  5. #queue is especially useful in threaded programming when information must be exchanged safely between multiple threads.

  7. def Prod(global_data):
  8.     """生產者執行緒"""
  9.     i = 1
  10.     qfifo = global_data.get_global_pars("CusQue")
  11.     while 1:
  12.         qfifo.put(i)
  13.         print("生產產品: {} ".format(i))
  14.         i +=1;
  15.     return 0

  17. def Cust(global_data,detail):
  18.     """消費者執行緒"""
  19.     qfifo = global_data.get_global_pars("CusQue")
  20.     while 1:
  21.         print("{}:消費產品:{}".format(detail,qfifo.get()))
  22.         time.sleep(1)
  23.     return 0

  25. def main():
  26.     pthread_list = []
  27.     global_data = global_par()
  28.     qfifo = queue.Queue(maxsize=10)
  29.     global_data.set_global_pars("CusQue",qfifo)

  31.     ##建立1個生產者執行緒
  32.     thread_pro = threading.Thread(target=Prod,args=(global_data,))
  33.     pthread_list.append(thread_pro)

  35.     ##建立10個消費者執行緒
  36.     for i in range(10):
  37.         thread_cus = threading.Thread(target=Cust, args=(global_data, "消費執行緒{}".format(i+1),))
  38.         pthread_list.append(thread_cus)

  40.     for i in pthread_list:
  41.         i.start()

  43.     for i in pthread_list:
  44.         i.join

  46.     return 0

  48. if __name__ == '__main__':
  49.     main()

二、佇列測試程式碼


點選(此處)摺疊或開啟

  1. import threading
  2. import queue
  3. #http://www.cnblogs.com/alex3714/articles/5230609.html

  5. def my_format(x, y):
  6.     """par one: what des your print
  7.        par two: value
  8.     """
  9.     x = "-->" + x + " {}"
  10.     print(x.format(y))
  11.     return

  13. qfifo = queue.Queue(maxsize=2) ##先進先出佇列 如果達到最大值預設Queue.put()會堵塞 如果為空預設Queue.get()會堵塞
  14. qlifo = queue.LifoQueue(maxsize=2) ##後入先出佇列 如果達到最大值預設Queue.put()會堵塞 如果為空預設Queue.get()會堵塞
  15. qpri = queue.PriorityQueue(maxsize=2) ##根據優先順序判斷順序小的為優先順序高 如果達到最大值預設Queue.put()會堵塞 如果為空預設Queue.get()會堵塞

  17. ##part0:在佇列增加元素Queue.put(item, block=True, timeout=None) 可以設定是否堵塞
  18. my_format("##part0:在佇列增加元素Queue.put(item, block=True, timeout=None):","")
  19. qfifo.put(1)
  20. qfifo.put(2)
  21. ##part1:佇列滿了會報queue.Full異常
  22. try:
  23.     qfifo.put(2,timeout=1)
  24. except queue.Full as e:
  25.     my_format("##part1:佇列滿了如果不堵塞會報queue.Full異常", "")

  27. ##part2:出佇列Queue.get(block=True, timeout=None) 可以設定是否堵塞

  29. my_format("##part2:出佇列Queue.get(block=True, timeout=None) 可以設定是否堵塞:","")
  30. qfifo.get()
  31. qfifo.get()

  33. ##part3:佇列空如果不堵塞會報異常queue.Empty
  34. try:
  35.     qfifo.get(timeout=1)
  36. except queue.Empty as e:
  37.     my_format("##part3:佇列空如果不堵塞會報異常queue.Empty", "")


  40. ##part4:返回佇列的大小Queue.qsize()
  41. my_format("##part0:返回佇列的大小Queue.qsize():",qfifo.qsize())

  43. ##part5:返回是否為空的bool值Queue.empty()
  44. my_format("##part1:返回是否為空的bool值Queue.empty():",qfifo.empty())

  46. ##part6:返回是否滿的bool值Queue.full()

  48. my_format("##part1:返回是否為空的bool值Queue.full():",qfifo.full())

作者微信：

使用Python佇列和多執行緒實現生產者消費者


來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/7728585/viewspace-2152432/，如需轉載，請註明出處，否則將追究法律責任。

相關文章