使用 parallel 利用起你的所有 CPU 資源
bash 命令通常單執行緒執行。這意味著所有的處理工作只在單個 CPU 上執行。隨著 CPU 規模的擴大以及核心數目的增加,這意味著只有一小部分的 CPU 資源用於處理你的工作。
當我們的工作受制於 CPU 處理資料的速度時,這些未使用的 CPU 資源能產生很大的效用。這種情況在進行多媒體轉換(比如圖片和視訊轉換)以及資料壓縮中經常遇到。
本文中,我們將會使用 parallel 程式。parallel 會接受一個列表作為輸入,然後在所有 CPU 核上並行地執行命令來處理該列表。Parallel 甚至會按順序將結果輸出到標準輸出中,因此它可以用在管道中作為其他命令的標準輸入。
如何使用 parallel
parallel 在標準輸入中讀取一個列表作為輸入,然後建立多個指定命令的程式來處理這個列表,其格式為:
list | parallel command
這裡的 list 可以由任何常見的 bash 命令建立,例如:cat
、grep
、find
。這些命令的結果通過管道從它們的標準輸出傳遞到 parallel 的標準輸入,像這樣:
find . -type f -name "*.log" | parallel
跟 find
中使用 -exec
類似,parallel
使用 {}
來表示輸入列表中的每個元素。下面這個例子中,parallel
會使用 gzip
壓縮所有 find
命令輸出的檔案:
find . -type f -name "*.log" | parallel gzip {}
下面這些實際的使用 parallel
的例子可能會更容易理解一些。
使用 parallel 來進行 JPEG 壓縮
在這個例子中,我收集了一些比較大的 .jpg
檔案(大約 10MB 大小),要用 Mozilla 出品的 JPEG 影像壓縮工具 MozJPEG 來進行處理。該工具會在嘗試保持影像質量的同時減少 JPEG 影像檔案的大小。這對降低網頁載入時間很重要。
下面是一個普通的 find
命令,用來找出當前目錄中的所有 .jpg
檔案,然後通過 MozJPEG 包中提供的影像壓縮工具 (cjpeg
) 對其進行處理:
find . -type f -name "*.jpg" -exec cjpeg -outfile LoRes/{} {} ';'
總共耗時 0m44.114s
。該命令執行時的 top
看起來是這樣的:
你可以看到,雖然有 8 個核可用,但實際只有單個執行緒在用單個核。
下面用 parallel
來執行相同的命令:
find . -type f -name "*.jpg" | parallel cjpeg -outfile LoRes/{} {}
這次壓縮所有影像的時間縮減到了 0m10.814s
。從 top
顯示中可以很清楚地看出不同:
所有 CPU 核都滿負荷執行,有 8 個執行緒對應使用 8 個 CPU 核。
parallel 與 gzip 連用
如果你需要壓縮多個檔案而不是一個大檔案,那麼 parallel
就能用來提高處理速度。如果你需要壓縮單個檔案而同時又想要利用所有的 CPU 核的話,那麼你應該 gzip
的多執行緒替代品 pigz。
首先,我用隨機資料建立了 100 個大約 1GB 的檔案:
for i in {1..100}; do dd if=/dev/urandom of=file-$i bs=1MB count=10; done
然而我用 find -exec
命令來進行壓縮:
find . -type f -name "file*" -exec gzip {} ';'
總共耗時 0m28.028s
,而且也是隻利用了單核。
換成 parallel
版本:
find . -type f -name "file*" | parallel gzip {}
耗時減少到了 0m5.774s
。
parallel 是一款非常好用的工具,應該加入到你的系統管理工具包中,在合適的場合它能幫你節省大量的時間。
via: https://bash-prompt.net/guides/parallell-bash/
作者:Elliot Cooper 譯者:lujun9972 校對:wxy
相關文章
- 如何利用多核CPU來加速你的Linux命令Linux
- Docker CPU資源限制Docker
- 利用Oracle GoldenGate記錄源系統所有表的操作OracleGo
- Docker CPU 資源限制——CPU分片功能測試Docker
- 使用此開源工具在一起收取你的 RSS 訂閱源和播客開源工具
- Docker CPU 資源限制——CPU固定核功能測試Docker
- 利用Kubernetes名稱空間來管理記憶體和CPU資源(二)記憶體
- 利用Kubernetes名稱空間來管理記憶體和CPU資源(一)記憶體
- docker的資源控制(CPU、記憶體、IO)Docker記憶體
- 檢視伺服器系統資源(cpu,內容)利用率前幾位的程式的方法伺服器
- 【PROFILE】使用Oracle PROFILE限制會話中每一次呼叫所使用的CPU資源Oracle會話
- 如何使用 Docker 來限制 CPU、記憶體和 IO等資源?Docker記憶體
- Msbuild利用cpu多核加速UI
- .netcore利用perf分析高cpu使用率NetCore
- Linux下資源利用率監測利器—nmon使用Linux
- 核心是如何給容器中的程式分配CPU資源的?
- 使用parallel注意事項Parallel
- NVIDIA Jetson平臺GPU/CPU/RAM等硬體資源利用率資料獲取及視覺化GPU視覺化
- oracle佔用os的cpu資源的多少算是健康的!Oracle
- HCE:提升資源利用率的MapReduce框架框架
- 27 款 iOS 開源庫,讓你的開發溜到飛起iOS
- 資料庫伺服器CPU不能全部利用原因分析資料庫伺服器
- 深入理解Kubernetes資源限制:CPU
- [譯] 你需要知道的 CSS 中所有 hyphenation 的使用CSS
- aix/linux下監控主機資源(cpu 記憶體等)使用的工具nmonAILinux記憶體
- CPU資源佔用100%怎麼辦?cpu佔用率高的解決辦法
- 你要偷偷學會排查線上CPU飆高的問題,然後驚豔所有人!
- 實時查詢最耗CPU資源的SQL語句SQL
- 讓你的 EditText 所有清除
- 使用開源工具WarShield保護你的檔案和資料開源工具
- 站在巨人的肩上,利用開源專案提高你的技術水平
- 助力企業資源的合理利用,華為雲資料庫RDS for MySQL使用更經濟省心資料庫MySql
- 如何利用多核CPU來加速你的Linux命令 — awk, sed, bzip2, grep, wc等Linux
- 五年Android工作總結整理的所有面試資源Android面試
- Oracle資料庫經常會遇到CPU利用率很高的情況Oracle資料庫
- 實時獲得最耗CPU資源的SQL語句(zt)SQL
- 使用Elastic Job的分片配置加速任務執行和提高資源利用率AST
- 利用資源限制效能診斷resource limitMIT