微軟釋出首個大氣AI基礎模型Aurora

ScienceAI發表於2024-06-04
微軟AI模型
圖片

編輯 | ScienceAI

2023 年 11 月，風暴「夏蘭」（Ciarán）襲擊歐洲西北部，造成嚴重破壞。與風暴 Ciarán 相關的低壓系統為英格蘭創下了新紀錄，這是一次極為罕見的氣象事件。

那場風暴的強度讓許多人措手不及，暴露了當前天氣預報模型的侷限性，並突顯出面對氣候變化需要更準確的預測。當大家努力應對後果時，一個緊迫的問題出現了：我們如何才能更好地預測和準備應對這種極端天氣事件？

最近的一項研究表明，即使是最先進的 AI 天氣預測模型在捕捉風暴 Ciarán 的快速增強和峰值風速方面也面臨的挑戰。

為了幫助應對這些挑戰，微軟研究團隊開發了首個大氣 AI 基礎模型 Aurora，基於超過一百萬小時的各種天氣和氣候資料進行訓練。

Aurora 提出了一種新的天氣預報方法，它可以改變我們預測和減輕極端事件影響的能力，包括能夠預測像 Ciarán 風暴這樣的事件的急劇升級。

在不到一分鐘的時間內，Aurora 就可以生成 5 天的全球空氣汙染預測和 10 天的高解析度天氣預報，其表現優於最先進的傳統模擬工具和最好的專業深度學習模型。這些結果表明基礎模型可以改變環境預測。

靈活的大氣 3D 基礎模型

圖片

圖 1：Aurora 是一個 13 億引數的基礎模型，用於高解析度天氣和大氣過程預報。Aurora 是一個靈活的 3D Swin Transformer，具有基於 3D Perceiver 的編碼器和解碼器。在預訓練時，Aurora 經過最佳化，以最大限度地減少具有不同解析度、變數和壓力水平的多個異構資料集的損失。然後分兩個階段對模型進行微調：(1) 對預訓練權重進行短時間微調和 (2) 使用低秩自適應 (LoRA) 進行長時間 (推出) 微調。然後部署經過微調的模型來處理不同解析度的各種運營預測場景。

Aurora 的有效性在於它對超過一百萬小時的各種天氣和氣候模擬進行了訓練，這使其能夠全面瞭解大氣動力學。這使得該模型能夠在廣泛的預測任務中表現出色，即使在資料稀疏的地區或極端天氣場景中也是如此。

Aurora 以 0.1°（赤道處約 11 公里）的高空間解析度執行，可以捕捉大氣過程的複雜細節，提供比以往更準確的執行預報，而且計算成本僅為傳統數值天氣預報系統的一小部分。據估計，與最先進的數值預報系統綜合預報系統 (IFS) 相比，Aurora 的計算速度可提高約 5,000 倍。

除了令人印象深刻的準確性和效率之外，Aurora 還因其多功能性而脫穎而出。該模型可以預測各種大氣變數，從溫度和風速到空氣汙染水平和溫室氣體濃度。Aurora 的架構旨在處理異構的黃金標準輸入，並以不同的解析度和保真度生成預測。

該模型由一個靈活的 3D Swin Transformer 和基於感知器的編碼器和解碼器組成，使其能夠處理和預測一系列跨空間和壓力水平的大氣變數。透過在大量不同資料上進行預訓練並針對特定任務進行微調，Aurora 學會了捕捉大氣中複雜的模式和結構，即使在針對特定任務進行微調時訓練資料有限，它也能夠表現出色。

大氣化學和空氣汙染的快速預測

圖片

圖 2：Aurora 在許多目標上的表現優於運營中的 CAMS。(a) Aurora 對總柱狀二氧化氮的樣本預測與 CAMS 分析的比較。Aurora 於 2022 年 9 月 1 日 00 UTC 使用 CAMS 分析初始化。由於大氣氣體的空間異質性，正確預測大氣氣體極具挑戰性。特別是，與 CAMS 中的大多數變數一樣，二氧化氮在人為排放量較大的地區（例如東亞人口稠密的地區）偏向高值。此外，它表現出強烈的晝夜迴圈；例如，陽光透過稱為光解的過程降低背景水平。Aurora 準確捕捉了極端值和背景值。(b) Aurora 相對於 CAMS 的緯度加權均方根誤差 (RMSE)，其中負值（藍色）表示 Aurora 更好。RMSE 是在 2022 年 6 月至 2022 年 11 月期間計算的。Aurora 在 74% 的目標上與 CAMS 相當或優於 CAMS。

Aurora 多功能性的一個典型例子是它能夠使用哥白尼大氣監測服務 (CAMS) 的資料預測空氣汙染水平，這是一項眾所周知的艱鉅任務，因為大氣化學、天氣模式和人類活動之間相互作用複雜，而且 CAMS 資料具有高度異構性。

透過利用其靈活的編碼器-解碼器架構和注意機制，Aurora 可以有效地處理和學習這些具有挑戰性的資料，捕捉空氣汙染物的獨特特徵及其與氣象變數的關係。這使 Aurora 能夠以 0.4° 的空間解析度生成準確的五天全球空氣汙染預報，在 74% 的所有目標上的表現優於最先進的大氣化學模擬，展示了其非凡的適應性和解決各種環境預測問題的潛力，即使在資料稀疏或高度複雜的場景中也是如此。

資料多樣性和模型縮放最佳化大氣預測

這項研究的一項重要發現是，與在單個資料集上進行訓練相比，在不同的資料集上進行預訓練可以顯著提高 Aurora 的效能。透過整合來自氣候模擬、再分析產品和運營預報的資料，Aurora 可以學習更穩健、更通用的大氣動力學表示。正是由於其規模和多樣化的預訓練資料語料庫，Aurora 能夠在廣泛的任務和解析度中超越最先進的數值天氣預報模型和專門的深度學習方法。

圖片

圖 3：對不同資料進行預訓練並增加模型大小可提高效能。(a) 在不同資料集配置（即無微調）上預訓練的模型（標記為 C1-C4）在 6 小時提前時間與 ERA5 2021 相比的效能。均方根誤差 (RMSE) 由 ERA5 預訓練模型的效能歸一化 (C1)。新增來自 CMIP6（即 CMCC 和 IFS-HR）的低保真模擬資料幾乎可以均勻地提高效能 (C2)。新增更多模擬資料可以進一步提高大多數表面變數和此新新增資料中存在的大氣水平的效能 (C3)。最後，配置 C4 可以很好地覆蓋整個大氣層，還包含來自 GFS 的分析資料，從而實現最佳整體效能，全面提升。(b) 對許多不同的資料來源進行預訓練可以提高 IFS-HRES 2022 所有表面變數在 6 小時提前期內對極值的預測。此外，結果也適用於風速，它是 10U 和 10V 的非線性函式。(c) 更大的模型在相同數量的 GPU 小時數下獲得更低的驗證損失。我們擬合了一個冪律，大致相當於模型大小每增加一倍，訓練損失就會減少 5%。

Aurora 的規模（無論是在架構設計和訓練資料語料庫方面，還是在預訓練和微調協議方面）的直接結果是，它的效能優於當下最好的專業深度學習模型。

為了進一步驗證對在許多資料集上預訓練的大型模型進行微調的優勢，研究人員將 Aurora 與 GraphCast 進行了比較——僅在 ERA5 上進行預訓練，目前被認為是解析度為 0.25 度、交付週期長達五天的最熟練的 AI 模型。

此外，該團隊在本次比較中加入了 IFS HRES，這是數值天氣預報的黃金標準。結果表明，Aurora 在與分析、氣象站觀測和極值進行衡量時均表現優異。

圖片

圖 4：Aurora 在絕大多數目標上的表現優於操作型 GraphCast。(a) Scorecard 與 GraphCast 在 0.25 度解析度下的對比。在 94% 的目標上，Aurora 的表現與 GraphCast 相當或優於 GraphCast。在高層大氣中，Aurora 比 GraphCast 的增益最大 (40%)，而 GraphCast 在這方面的表現眾所周知較差。在短時間和長交付週期內，可以觀察到高達 10%-15% 的大幅改進。在 2-3 天交付週期內，這兩個模型在低層大氣中彼此最接近，這對應於 GraphCast 推出時微調的交付週期。同時，GraphCast 在長達五天的時間內以及在特定溼度 (Q) 的大多數水平上都表現出略微更好的效能。(b) 2022 年全球氣象站測量的 Aurora、GraphCast 和 IFS-HRES 的風速（左側兩個皮膚）和地表溫度（右側兩個皮膚）的均方根誤差 (RMSE) 和平均絕對誤差 (MAE)。(c) Aurora、GraphCast 和 IFS-HRES 的閾值 RMSE，由 IFS-HRES 效能歸一化。Aurora 對錶面變數分佈的極值或尾部的預測有所改善。在每個圖中，中心線右側的值是發現高於閾值的目標的累積 RMSE，左側的值表示低於閾值的目標值。

地球系統建模的正規化轉變

Aurora 的意義遠遠超出了大氣預測。透過展示基礎模型在地球科學中的威力，這項研究為開發涵蓋整個地球系統的綜合模型鋪平了道路。

基礎模型在資料稀缺的下游任務中表現出色，可以使發展中國家和極地等資料稀缺地區能夠民主化地獲取準確的天氣和氣候資訊。這可能會對農業、交通、能源收集和災害防備等領域產生深遠影響，使社群能夠更好地適應氣候變化帶來的挑戰。

隨著基於人工智慧的環境預測領域的發展，研究人員希望 Aurora 能成為未來研究和開發的藍圖。這項研究強調了多樣化的預訓練資料、模型擴充套件和靈活的架構在構建強大的地球科學基礎模型方面的重要性。

隨著計算資源和資料可用性的不斷進步，科學家可以預見未來，像 Aurora 這樣的基礎模型將成為運營天氣和氣候預測系統的支柱，為全球決策者和公眾提供及時、準確和可操作的見解。

參考內容：https://www.microsoft.com/en-us/research/blog/introducing-aurora-the-first-large-scale-foundation-model-of-the-atmosphere/

相關文章