監控 Python 記憶體使用情況和程式碼執行時間！

大话性能發表於2024-04-08
Python記憶體

我的程式碼的哪些部分執行時間最長、記憶體最多？我怎樣才能找到需要改進的地方？”

在開發過程中，我很確定我們大多數人都會想知道這一點，在本文中總結了一些方法來監控 Python 程式碼的時間和記憶體使用情況。

本文將介紹 4 種方法，前 3 種方法提供時間資訊，第 4 個方法可以獲得記憶體使用情況。

  • time 模組
  • %%time 魔法命令
  • line_profiler
  • memory_profiler

1. time 模組

這是計算程式碼執行所需時間的最簡單、最直接 (但需要手動開發) 的方法。他的邏輯也很簡單:記錄程式碼執行之前和之後的時間，計算時間之間的差異。這可以實現如下:

 import time

 start_time = time.time()
 result = 5+2
 end_time = time.time()

 print('Time taken = {} sec'.format(end_time - start_time))

下面的例子顯示了 for 迴圈和列表推導式在時間上的差異:

 import time

 # for loop vs. list comp
 list_comp_start_time = time.time()
 result = [i for i in range(0,1000000)]
 list_comp_end_time = time.time()
 print('Time taken for list comp = {} sec'.format(list_comp_end_time - list_comp_start_time))

 result=[]
 for_loop_start_time = time.time()
 for i in range(0,1000000):
     result.append(i)
 for_loop_end_time = time.time()
 print('Time taken for for-loop = {} sec'.format(for_loop_end_time - for_loop_start_time))

 list_comp_time = list_comp_end_time - list_comp_start_time
 for_loop_time = for_loop_end_time - for_loop_start_time
 print('Difference = {} %'.format((for_loop_time - list_comp_time)/list_comp_time * 100))

我們都知道 for 會慢一些

 Time taken for list comp = 0.05843973159790039 sec
 Time taken for for-loop = 0.06774497032165527 sec
 Difference = 15.922795107582594 %

2. %%time 魔法命令

魔法命令是 IPython 核心中內建的方便命令，可以方便地執行特定的任務。一般情況下都實在 jupyter notebook 種使用。

在單元格的開頭新增%%time ，單元格執行完成後，會輸出單元格執行所花費的時間。

 %%time
 def convert_cms(cm, unit='m'):
     '''
    Function to convert cm to m or feet
    '''
     if unit == 'm':
         return cm/100
     return cm/30.48

 convert_cms(1000)

結果如下：

 CPU times: user 24 µs, sys: 1 µs, total: 25 µs
 Wall time: 28.1 µs

 Out[8]: 10.0

這裡的 CPU times 是 CPU 處理程式碼所花費的實際時間，Wall time 是事件經過的真實時間，在方法入口和方法出口之間的時間。

3. line_profiler

前兩個方法只提供執行該方法所需的總時間。透過時間分析器我們可以獲得函式中每一個程式碼的執行時間。

這裡我們需要使用 line_profiler 包。使用 pip install line_profiler。

 import line_profiler

 def convert_cms(cm, unit='m'):
     '''
    Function to convert cm to m or feet
    '''
     if unit == 'm':
         return cm/100
     return cm/30.48

 # Load the profiler
 %load_ext line_profiler

 # Use the profiler's magic to call the method
 %lprun -f convert_cms convert_cms(1000, 'f')

輸出結果如下：

 Timer unit: 1e-06 s

 Total time: 4e-06 s
 File: /var/folders/y_/ff7_m0c146ddrr_mctd4vpkh0000gn/T/ipykernel_22452/382784489.py
 Function: convert_cms at line 1

 Line #     Hits         Time Per Hit   % Time Line Contents
 ==============================================================
      1                                           def convert_cms(cm, unit='m'):
      2                                               '''
      3                                               Function to convert cm to m or feet
      4                                               '''
      5         1         2.0     2.0     50.0     if unit == 'm':
      6                                                   return cm/100
      7         1         2.0     2.0     50.0     return cm/30.48

可以看到 line_profiler 提供了每行程式碼所花費時間的詳細資訊。

  • Line Contents :執行的程式碼
  • Hits:行被執行的次數
  • Time:所花費的總時間 (即命中次數 x 每次命中次數)
  • Per Hit:一次執行花費的時間，也就是說 Time = Hits X Per Hit
  • % Time:佔總時間的比例

可以看到，每一行程式碼都詳細的分析了時間，這對於我們分析時間相當的有幫助。

4. memory_profiler

與 line_profiler 類似，memory_profiler 提供程式碼的逐行記憶體使用情況。

要安裝它需要使用 pip install memory_profiler。我們這裡監視 convert_cms_f 函式的記憶體使用情況

 from conversions import convert_cms_f
 import memory_profiler

 %load_ext memory_profiler

 %mprun -f convert_cms_f convert_cms_f(1000, 'f')

convert_cms_f 函式在單獨的檔案中定義，然後匯入。結果如下:

 Line #   Mem usage   Increment Occurrences   Line Contents
 =============================================================
      1     63.7 MiB     63.7 MiB           1   def convert_cms_f(cm, unit='m'):
      2                                             '''
      3                                             Function to convert cm to m or feet
      4                                             '''
      5     63.7 MiB     0.0 MiB           1       if unit == 'm':
      6                                                 return cm/100
      7     63.7 MiB     0.0 MiB           1       return cm/30.48memory_profiler 提供對每行程式碼記憶體使用情況的詳細瞭解。

這裡的 1 MiB (MebiByte) 幾乎等於 1MB。1 MiB = 1.048576 1MB

但是 memory_profiler 也有一些缺點：它透過查詢作業系統記憶體，所以結果可能與 python 直譯器略有不同，如果在會話中多次執行 %mprun，可能會注意到增量列報告所有程式碼行為 0.0 MiB。這是因為魔法命令的限制導致的。

雖然 memory_profiler 有一些問題，但是它就使我們能夠清楚地瞭解記憶體使用情況，對於開發來說是一個非常好用的工具

5. 總結一下

雖然 Python 並不是一個以執行效率見長的語言，但是在某些特殊情況下這些命令對我們還是非常有幫助的。

更多內容可以學習《測試工程師 Python 工具開發實戰》書籍、《大話效能測試 JMeter 實戰》書籍

相關文章