python 學習 -- 分散式程式

伺服器端：

import random,time,queue

from multiprocessing.managers import BaseManager

# 傳送任務的佇列
task_queue = queue.Queue()
# 接收結果的佇列
result_queue = queue.Queue()

class QueueManager(BaseManager):
    pass

# 定義一個返回task_queue的函式
def return_task_queue():
    global task_queue
    return task_queue

# 定義一個返回結果佇列的函式
def return_result_queue():
    global result_queue
    return result_queue

# 測試函式
def test():
    # 將兩個queue註冊到網路上
    QueueManager.register('get_task_queue', callable=return_task_queue)
    QueueManager.register('get_result_queue', callable=return_result_queue)
    # 繫結埠，同時設定驗證碼
    manager = QueueManager(address=('127.0.0.1', 5000), authkey=b'abc')
    # 啟動queue
    manager.start()

    # 獲得通過網路訪問的queue物件
    task = manager.get_task_queue()
    result = manager.get_result_queue()

    # 放幾個任務進去
    for i in range(10):
        n = random.randint(0, 100)
        print('Put task %d...' % n)
        task.put(n)

    # 從result佇列中取出結果
    print("Try get results...")
    for i in range(10):
        r = result.get(timeout=10)
        print("Result: %s" % r)

    # 關閉(之前一直阻塞)
    manager.shutdown()
    print("master exit.")

# main函式
if __name__=="__main__":
    test()

測試端：

import time,sys,queue
from multiprocessing.managers import BaseManager

class QueueManager(BaseManager):
    pass

# 從網路上獲取queue ,註冊時候提供名字
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')

# 連線到伺服器
server_addr = '127.0.0.1'
print('Connect to server %s...' % server_addr)
m = QueueManager(address=(server_addr,5000),authkey=b'abc')
m.connect()

# 獲取queue物件
task = m.get_task_queue()
result = m.get_result_queue()
for i in range(10):
    try:
        n = task.get(timeout=1)
        print('run task %d*%d...' % (n,n))
        r = '%d * %d = %d' %(n,n,n*n)
        time.sleep(1)
        result.put(r)
    except BaseException:
        print('error')
print("worker exit.")