(資料科學學習手札91)在Python中妥善使用進度條

費弗裡發表於2020-07-31

本文示例程式碼已上傳至我的Github倉庫https://github.com/CNFeffery/DataScienceStudyNotes

1 簡介

  在日常執行程式的過程中常常涉及到迴圈迭代過程,對於執行時間很短的程式來說倒無所謂,但對於執行過程有明顯耗時的涉及迴圈迭代的程式,為其加上進度條progress bar),是幫助我們監測程式碼執行進度以及處理中間異常錯誤非常實用的技巧。

(資料科學學習手札91)在Python中妥善使用進度條
圖1

  本文就將為大家介紹Python中非常實用又風格迥異的兩個進度條相關庫——tqdmalive-progress的主要用法。

2 tqdm常用方法

  tqdmPython中所有進度條相關庫中最出名的,既然是最出名的,自然有它獨到之處。

  tqdm不僅可以生成基礎的可在終端中顯示的進度條,還可以配合jupyter notebookjupyter lab生成更加美觀的網頁互動部件形式的進度條,更是和pandas強強聯手,為pandas中的一些操作提供專有的進度條功能。

  下面我們來對tqdm的主要功能進行介紹。

2.1 基礎用法

  因為是第三方庫,首先需要利用pip install tqdmconda install -c conda-forge tqdm對其進行安裝,安裝完成後先來看看它最基本的用法:

(資料科學學習手札91)在Python中妥善使用進度條
圖2

  利用tqdm.tqdm,將for迴圈過程中進行迭代的物件簡單包裹,就實現了為迴圈過程新增進度條以及列印執行速度、已執行時間與預估剩餘執行時間等實用資訊的功能,同樣也可用於列表推導

(資料科學學習手札91)在Python中妥善使用進度條
圖3

  而針對迭代物件是range()的情況,tqdm還提供了簡化版的trange()來代替tqdm(range())

(資料科學學習手札91)在Python中妥善使用進度條
圖4

  其附帶的引數desc還可以幫助我們設定進度條的說明文字:

(資料科學學習手札91)在Python中妥善使用進度條
圖5

  而如果想要在迭代過程中變更說明文字,還可以預先例項化進度條物件,在需要重新整理說明文字的時候執行相應的程式:

(資料科學學習手札91)在Python中妥善使用進度條
圖6

  但當迭代的物件長度一開始未知時,譬如對pandas中的DataFrame.itertuples()進行迭代,我們就只能對其執行速度等資訊進行估計,但無法看到進度條遞增情況,因為tqdm不清楚迭代的終點如何:

(資料科學學習手札91)在Python中妥善使用進度條
圖7

2.2 配合jupyter notebook/jupyter lab的美觀進度條

  tqdmjupyter notebookjupyter lab有著特殊的支援,且使用方法非常簡單,只需要將原有的from tqdm import XXX的相應功能匯入格式修改為from tqdm.notebook import XXX就可以了,以trange為例:

(資料科學學習手札91)在Python中妥善使用進度條
圖8

2.3 配合pandas中的apply

  tqdmpandas中的apply()過程提供了特殊的支援,因為pandas中的apply()本質上就是序列迴圈運算,你可以將pandas中的任何apply操作替換為progress_apply,並且記住每個單獨的progress_apply前要先執行tqdm.pandas(),就像下面的例子一樣:

(資料科學學習手札91)在Python中妥善使用進度條
圖9

3 alive-progress常用方法

  雖然與tqdm一樣都是為了給迴圈過程加上進度條而誕生的庫,但alive-progress相比tqdm增加了更多花樣繁多的動態效果,我們通過呼叫其專門提供的showtime()函式可以檢視所有可用的動態進度條樣式:

(資料科學學習手札91)在Python中妥善使用進度條
圖10

  同樣類似地可以檢視所有進度條樣式:

(資料科學學習手札91)在Python中妥善使用進度條
圖11

  使用起來也是非常簡單,但與tqdm用法區別很大,需要配合with關鍵詞,譬如下面我們使用到alive_progress中的alive_bar來生成動態進度條:

(資料科學學習手札91)在Python中妥善使用進度條
圖12

  通過修改bar引數來改變進度條的樣式:

(資料科學學習手札91)在Python中妥善使用進度條
圖13

  更多關於alive-progress的內容感興趣的朋友可以檢視官方說明:(https://github.com/rsalmei/alive-progress),但比較遺憾的是目前的alive-progress只能在終端中執行,還沒有為jupyter開發更美觀的互動式部件,但你可以在譬如網路爬蟲等任務中使用它,效果也是很不錯的。


  以上就是本文的全部內容,如有疑問歡迎在評論區與我討論~

相關文章