【雲星資料---Apache Flink實戰系列(精品版)】:Apache Flink高階特性與高階應用011-Slot和Parallelism的深入分析006

雲星資料-大資料團隊發表於2017-11-19

七、在webUI上分析parallelism

1.叢集情況

3個taskManager,每個taskmanager有4個slot,共12slot,完全被佔用,0個Available。

這裡寫圖片描述

2.job使用parallelism情況

Reduce操作和DataSink操作都是12個parallelism,正好佔完所有的slot.

這裡寫圖片描述

3.檢視具體的操作執行情況

不難看出,每個機器上有4個subtask在執行,實際上就是thread

這裡寫圖片描述

4.檢視具體的操作排程情況

可以分析出,各個subtask在相應的機器上的排程時間。

這裡寫圖片描述

5.job在terminal中的執行情況

從terminal輸出的日誌不難看出各個操作符號的subtask的執行情況

這裡寫圖片描述

相關文章