氣象氣候應用在Intel最新處理器Icelake上的效能測評

  浪潮 HPC實驗室

 

一、 Intel第三代至強可擴充套件處理器(Icelake)效能大升級

Intel於今年釋出了第三代至強可擴充套件處理器系列產品（代號Ice Lake），與上一代至強可擴充套件處理器系列產品（代號Cascade Lake）相比，第三代至強可擴充套件處理器的改變是從裡到外的，其主要升級點包括：

（1）製造工藝從 14nm 升級到了 10nm ，理論電晶體密度提升了 2.7 倍；

（2）微架構升級， IPC 大幅提升 20% ；

（3）最高核心數從之前的 28 核提升到了 40 核， AVX2/AVX512 指令集持續優化， L3 快取也從每核 1.375MB 增加到了 1.5MB ；

（4）IO 效能獲得大幅提升，記憶體從 6 通道升級到了 8 通道，改善記憶體訪問延遲。 PCIE 協議也從之前的 PCIe 3.0 升級到了 PCIe 4.0 。此外， UPI 匯流排頻寬 也有小幅的提升。

這些硬體效能的提升是否也會對應用的效能起到正面的促進作用呢？特別是針對氣象氣候這類需要大量的 CPU核做大規模平行計算才能完成任務的應用。我們知道，一般氣象氣候類應用的BF Ratio都比較高，即氣象氣候類應用的效能非常依賴於記憶體頻寬，以及浮點計算能力。因此，對於氣象氣候領域的應用而言，第三代至強可擴充套件處理器這些升級無疑是讓人充滿驚喜和期待的，尤其是其AVX指令集的優化帶來的浮點計算速度的提升和記憶體通道的增加帶來的記憶體頻寬的釋放。那麼第三代至強可擴充套件處理器對於氣象氣候應用的效能提升相對於Intel 之前的處理器到底怎麼樣呢？在此我們選取氣象氣候領域常用的幾個天氣預報和氣候預報模式，包括WRF中尺度天氣預報模式、MPAS-A跨尺度大氣模式、CESM地球系統模式進行了評測分析。

在下面的測試對比中，我們針對不同的應用，在浪潮的 HPC實驗室裡面構建了測試環境，計算節點分別使用了第二代至強可擴充套件處理器系列中的6230、6248、以及6258R等三款處理器；第三代至強可擴充套件處理器系列中的8358處理器，來做對比分析。

 

二、中尺度預報模式 WRF效能對比

WRF簡介

中尺度預報模式 WRF（Weather Research and Forecasting model）是由美國大氣研究中心（NCAR）、美國大氣海洋局（NOAA）和美國空間氣象局（AFWA）等共同開發的。 WRF 模式可用於數值天氣預報的研究與業務化、物理引數化方案研究、資料同化、驅動空氣質量模式、中小尺度氣候模擬以及海洋大氣模式的耦合等。

 

WRF測試算例

表 1給出了 WRF 算例的網格範圍和計算規模。模擬區域為兩層巢狀，空間解析度分別為 12km 和 4km，水平方向格點數分別為 425*300 和 1150*802，時間步長為 30s 和 10s，垂直方向均為 35 層。預報時間為 3h。模式每 3h 輸出一次資料。

巢狀層數	2
預報時間	3 h
水平網格數	425*300、 1150*802
垂直網格數	35
水平網格解析度	12 km、 4 km
積分步長	30 s、 10 s
輸出頻率	3 h

表 1 WRF算例的時間和網格設定

 

WRF效能測試結果

我們分別在 6230處理器平臺和8358處理器平臺上測試了WRF使用224核執行時的效能。WRF算例在6230處理器平臺的執行時間為695 s，在8358處理器平臺的執行時間為489 s，與6230處理器平臺相比，WRF在8358處理器平臺效能提升42%（圖1）。這主要是因為WRF為計算密集型和記憶體頻寬限制型應用，得益於第三代至強可擴充套件處理器架構的八記憶體通道設計，使記憶體頻寬得以釋放。此外浮點計算速度的增加以及低延遲的記憶體訪問，使得在8358處理器平臺上執行 WRF，效能會有很大的提升。

 

圖 1 6230處理器平臺和8358處理器平臺WRF效能對比

 

三、跨尺度預報模式 MPAS-A效能對比

MPAS-A簡介

MPASA （Model for Prediction Across ScalesAtmosphere）模式是由美國國家大氣研究中心（NCAR）主導研發的全球非靜力平衡的跨尺度預測模式。該模式採用非結構質心 Voronoi 多邊形網格和 ArakawaC 離散化方案。非結構化網格避免了結構經緯度網格中兩極的奇異點和極區網格過密的問題。另外， MPASA 可由低解析度區域較為平滑地過渡到高解析度區域，使得模擬關鍵區域有較高解析度同時還避免了邊界處物理量的突變。

 

MPAS-A測試算例

在我們的測試中， MPAS-A算例使用的是全球60 km解析度網格（圖2），積分步長為360 s，預報時間為2 h。

 

圖 2 MPAS-A非結構網格

 

MPAS-A效能測試結果

我們分別在 6230處理器平臺和8358處理器平臺上測試了MPAS-A使用320核執行時的效能。MPAS-A算例在6230處理器平臺執行時間為26.5 s，在8358處理器平臺執行時間為15.5 s，與6230處理器平臺相比，MPAS-A在8358處理器平臺上的效能提升了71%（圖3）。MPAS-A與WRF相似，也是記憶體頻寬限制型應用。因此8358處理器記憶體通道的增加也有助於提升MPAS-A的效能。

圖 4為MPAS-A算例在6230處理器平臺和8358處理器平臺執行時單計算節點內的實時浮點計算速度和記憶體頻寬對比。從圖中可以看出，與在6230處理器平臺相比，MPAS-A在8358處理器平臺上的浮點計算速度和記憶體頻寬都大幅提升，從而使得在8358處理器平臺上的MPAS-A效能大幅提升。另外，從BF Ratio來看，在6230處理器平臺MPAS-A的BF Ratio值約為2.55，而在8358處理器平臺MPAS-A的BF Ratio值約為2.40。這與6230處理器平臺相比BF Ratio值略有下降，其中的原因主要是與8358處理器平臺每核心L3快取增加從而降低了LLC miss率有關。

 

圖 3 6230處理器平臺和8358處理器平臺MPAS-A效能對比

 

 

圖 4 MPAS-A算例在6230處理器平臺和8358處理器平臺執行時單計算節點內的實時浮點計算速度和記憶體頻寬對比

 

四、地球氣候系統模式 CESM效能對比

CESM簡介

CESM由美國國家科學基金會和美國能源部支援開發，由國家大氣研究中心的氣候和全球動力實驗室維護的一個氣候系統模式。CESM由模擬地球大氣，海洋，陸地，陸冰、海冰、徑流和波浪7種子模組組成，中間通過一個耦合器連線，用來模擬地球的過去，現在和未來的氣候狀態。

 

CESM測試算例

在本次測試中， CESM所使用的算例為全耦合模式，網格是f19_g16，預報時間為1年。

 

	大氣模組	陸地模組	海洋模組	海冰模組	陸冰模組	徑流模組	波浪模組	耦合器
子模組	cam	clm	pop	cice	sglc	rtm	swav	cpl
工作狀態	active	active	active	active	stub	active	stub	active
水平網格	1.9*2.5	1.9*2.5	gx1v6	gx1v6	null	r05	null	null

表 2 f19_g16算例各模組狀態及解析度

 

CESM效能測試結果

我們選取第三代至強可擴充套件處理器 8358，並在由其構建的HPC叢集上對CESM進行了測試和優化。與第二代至強可擴充套件處理器系列相比，CESM在8358處理器平臺上有了較大的效能提升。單節點效能提升分別為94.1%（6230處理器）、82.7%（6248處理器）和64.5%（6258R處理器）。這主要是因為CESM的BF Ratio接近1，記憶體頻寬不受限制，且應用主要受限於IO和通訊的影響，故效能提升不能達到理想的線性提升，會有一定的降低，但也可以達到82.7%(6248處理器)和94.1%（6230處理器）。

 

圖 5 不同處理器平臺下的CESM效能對比

 

五、測評總結

結合 Intel 今年新發布的第三代至強可擴充套件處理器(Icelake)的記憶體通道增加，以及AVX2/AVX512指令集的進一步優化等種種令人驚喜的升級，和氣象氣候領域應用高BF Ratio的特點，我們在第三代至強可擴充套件處理器8358構建的HPC叢集上對幾種常用氣象氣候應用包括WRF、MPAS-A、以及CESM進行了測試分析，並與Intel之前的第二代至強可擴充套件處理器進行了對比。從效能來看，使用相同核數時，與在Cascadelake 6230處理器平臺相比，在Icelake 8358處理器平臺WRF效能提升42%，MPAS-A效能提升71%。這主要是因為WRF為計算密集型和記憶體頻寬限制型應用、MPAS-A為記憶體頻寬限制型應用。正是得益於Icelake的八記憶體通道設計，使得記憶體頻寬得以釋放，此外浮點計算速度的提升以及低延遲的記憶體訪問，促使在8358處理器平臺上WRF和MPAS-A的效能都獲得了大幅提升。而對於氣候模式CESM，記憶體頻寬不受限制，但同樣得益於Icelake的記憶體頻寬和浮點計算速度的大幅提升，效能更是分別提升了82.7%(6248處理器)和94.1%（6230處理器）。