python3.x pool.map方法的實質

踏破凌霄城發表於2019-01-15
Python

我使用多程式的一般方式，都是multiprocessing模組中的Pool.map()方法。下面寫一個簡單的示例和解析。至於此種方法使用多程式的效率問題，還希望大佬予以指正。

示例：

"""
探索pool.map多程式執行方式的實質
"""

from multiprocessing import Pool
from time import sleep
from datetime import datetime

class forMap:
    def __init__(self):
        self.name = `沒啥用的初始化`

    def forPrinit(self, i):
        sleep(i)
        print(i)
        return i ** 2

基本的程式碼已經寫好，下面看看怎麼使用多程式去執行。

  • 執行示例1：
if __name__ == `__main__`:
    s = datetime.now()
    tt = forMap()
    # 程式池中建立兩個程式，呼叫計算機的兩個核心去幫我做事。
    p = Pool(2)

    l = [2, 4, 6]
    rList = p.map(tt.forTest, l)
    print(rList)

    p.close()
    p.join()

    e = datetime.now()
    print(`多程式執行時間：`, e - s)

執行結果：

2
4
6
[4, 16, 36]
多程式執行時間： 0:00:08.191251

由於在程式池中建立了兩個程式，所以程式碼會呼叫計算機的兩個核心。而列表l中的三個元素中的前兩個（“2”和“4”），會依次傳入函式中，由計算機核心A和B去執行。當某一個核心執行完，會繼續接收下一個傳入引數“6”函式。而且核心A執行的函式，只會sleep兩秒，所以，傳入引數“6”的函式會由核心A去執行。所以A一共執行了2 + 6 為8秒，又由於是並行，所以總的執行時間是8秒（多的那零點幾是初始化、賦值、列印等操作）。

  • 執行示例2：
if __name__ == `__main__`:
    s = datetime.now()
    tt = forMap()
    # 程式池中建立三個程式
    p = Pool(3)

    l = [2, 4, 6]
    rList = p.map(tt.forTest, l)
    print(rList)

    p.close()
    p.join()

    e = datetime.now()
    print(`多程式執行時間：`, e - s)

執行結果：

2
4
6
[4, 16, 36]
多程式執行時間： 0:00:06.273263

建立了三個程式 ，並行執行，所以執行時間是6秒

  • 執行示例3：
if __name__ == `__main__`:
    s = datetime.now()
    tt = forMap()
    # 程式池中建立三個程式
    p = Pool(3)

    l = [2, 4, 6, 8]
    rList = p.map(tt.forTest, l)
    print(rList)

    p.close()
    p.join()

    e = datetime.now()
    print(`多程式執行時間：`, e - s)

執行結果：

2
4
6
8
[4, 16, 36, 64]
多程式執行時間： 0:00:10.211451

在列表中新增一個元素，首先核心A、B、C分別執行2， 4， 6。A先結束，所以8也會由A來執行。

  • 執行示例4：
if __name__ == `__main__`:
    s = datetime.now()
    tt = forMap()
    # 程式池中建立三個程式
    p = Pool(2)

    l = [2, 4, 8, 6]
    rList = p.map(tt.forTest, l)
    print(rList)

    p.close()
    p.join()

    e = datetime.now()
    print(`多程式執行時間：`, e - s)

執行結果：

2
4
8
6
[4, 16, 64, 36]
多程式執行時間： 0:00:10.200389

還是建立兩個程式，將列表中第3和第4個元素交換位置，執行結果為10秒多，而且返回值也是交換過位置之後的，說明map方法中，可迭代物件傳入函式是從前到後逐個提取元素。

相關文章