自帶的 print 函式居然會報錯？

crossoverJie發表於2021-05-18

函式

前言

最近用 Python 寫了幾個簡單的指令碼來處理一些資料，因為只是簡單功能所以我就直接使用 print 來列印日誌。

任務執行時偶爾會出現一些異常：

因為我在不同地方都有列印日誌，導致每次報錯的地方都不太一樣，從而導致程式執行結果非常詭異；有時候是這段程式碼沒有執行，下一次就可能是另外一段程式碼沒有觸發。

雖說當時有注意到 Broken pipe 這個關鍵異常，但沒有特別在意，因為程式碼中也有一些傳送 http 請求的地方，一直以為是網路 IO 出現了問題，壓根沒往 print 這個最基本的列印函式上思考?。

直到這個問題反覆出現我才認真看了這個異常，定睛一看 print 不也是 IO 操作嘛，難道真的是自帶的 print 函式都出問題了？

但在本地、測試環境我執行無數次也沒能發現異常；於是我找運維拿到了線上的執行方式。

原來為了方便維護大家提交上來的指令碼任務，運維自己有維護一個統一的指令碼，在這個指令碼中使用：

cmd = 'python /xxx/test.py'
os.popen(cmd)

來觸發任務，這也是與我在本地、開發環境的唯一區別。

popen 原理

為此我在開發環境模擬出了異常：

test.py:

import time
if __name__ == '__main__':
    time.sleep(20)
    print '1000'*1024

task.py:

import os
import time
if __name__ == '__main__':
    start = int(time.time())
    cmd = 'python test.py'
    os.popen(cmd)
    end = int(time.time())
    print 'end****{}s'.format(end-start)

執行:

python task.py

等待 20s 必然會復現這個異常：

Traceback (most recent call last):
  File "test.py", line 4, in <module>
    print '1000'*1024
IOError: [Errno 32] Broken pipe

為什麼會出現這個異常呢？

首先得了解 os.popen(command[, mode[, bufsize]]) 這個函式的執行原理。

根據官方文件的解釋，該函式會執行 fork 一個子程式執行 command 這個命令，同時將子程式的標準輸出通過管道連線到父程式；

也就該方法返回的檔案描述符。

這裡畫個圖能更好地理解其中的原理：

在這裡的使用場景中並沒有獲取 popen() 的返回值，所以 command 的執行本質上是非同步的；

也就是說當 task.py 執行完畢後會自動關閉讀取端的管道。

如圖所示，關閉之後子程式會向 pipe 中輸出 print '1000'*1024，由於這裡輸出的內容較多會一下子填滿管道的緩衝區；

於是寫入端會收到 SIGPIPE 訊號，從而導致 Broken pipe 的異常。

從維基百科中我們也可以看出這個異常產生的一些條件：

其中也提到了 SIGPIPE 訊號。

解決辦法

既然知道了問題原因，那解決起來就比較簡單了，主要有以下幾個方案：

使用 read() 函式讀取管道中的資料，全部讀取之後再關閉。
如果不需要子程式中的輸出時，也可以將 command 的標準輸出重定向到 /dev/null。
也可以使用 Python3 的 subprocess.Popen 模組來執行。

這裡使用第一種方案進行演示：

import os
import time
if __name__ == '__main__':
    start = int(time.time())
    cmd = 'python test.py'
    with os.popen(cmd) as p:
        print p.read()
    end = int(time.time())
    print 'end****{}s'.format(end-start)