編輯 | ScienceAI
2023 年 11 月，風暴「夏蘭」（Ciarán）襲擊歐洲西北部，造成嚴重破壞。與風暴 Ciarán 相關的低壓系統為英格蘭創下了新紀錄，這是一次極為罕見的氣象事件。
那場風暴的強度讓許多人措手不及，暴露了當前天氣預報模型的侷限性，並突顯出面對氣候變化需要更準確的預測。當大家努力應對後果時，一個緊迫的問題出現了：我們如何才能更好地預測和準備應對這種極端天氣事件？
最近的一項研究表明，即使是最先進的 AI 天氣預測模型在捕捉風暴 Ciarán 的快速增強和峰值風速方面也面臨的挑戰。
為了幫助應對這些挑戰，微軟研究團隊開發了首個大氣 AI 基礎模型 Aurora，基於超過一百萬小時的各種天氣和氣候資料進行訓練。
Aurora 提出了一種新的天氣預報方法，它可以改變我們預測和減輕極端事件影響的能力，包括能夠預測像 Ciarán 風暴這樣的事件的急劇升級。
在不到一分鐘的時間內，Aurora 就可以生成 5 天的全球空氣汙染預測和 10 天的高解析度天氣預報，其表現優於最先進的傳統模擬工具和最好的專業深度學習模型。這些結果表明基礎模型可以改變環境預測。
靈活的大氣 3D 基礎模型
Aurora 的有效性在於它對超過一百萬小時的各種天氣和氣候模擬進行了訓練，這使其能夠全面瞭解大氣動力學。這使得該模型能夠在廣泛的預測任務中表現出色，即使在資料稀疏的地區或極端天氣場景中也是如此。
Aurora 以 0.1°（赤道處約 11 公里）的高空間解析度執行，可以捕捉大氣過程的複雜細節，提供比以往更準確的執行預報，而且計算成本僅為傳統數值天氣預報系統的一小部分。據估計，與最先進的數值預報系統綜合預報系統 (IFS) 相比，Aurora 的計算速度可提高約 5,000 倍。
除了令人印象深刻的準確性和效率之外，Aurora 還因其多功能性而脫穎而出。該模型可以預測各種大氣變數，從溫度和風速到空氣汙染水平和溫室氣體濃度。Aurora 的架構旨在處理異構的黃金標準輸入，並以不同的解析度和保真度生成預測。
該模型由一個靈活的 3D Swin Transformer 和基於感知器的編碼器和解碼器組成，使其能夠處理和預測一系列跨空間和壓力水平的大氣變數。透過在大量不同資料上進行預訓練並針對特定任務進行微調，Aurora 學會了捕捉大氣中複雜的模式和結構，即使在針對特定任務進行微調時訓練資料有限，它也能夠表現出色。
大氣化學和空氣汙染的快速預測
Aurora 多功能性的一個典型例子是它能夠使用哥白尼大氣監測服務 (CAMS) 的資料預測空氣汙染水平，這是一項眾所周知的艱鉅任務，因為大氣化學、天氣模式和人類活動之間相互作用複雜，而且 CAMS 資料具有高度異構性。
透過利用其靈活的編碼器-解碼器架構和注意機制，Aurora 可以有效地處理和學習這些具有挑戰性的資料，捕捉空氣汙染物的獨特特徵及其與氣象變數的關係。這使 Aurora 能夠以 0.4° 的空間解析度生成準確的五天全球空氣汙染預報，在 74% 的所有目標上的表現優於最先進的大氣化學模擬，展示了其非凡的適應性和解決各種環境預測問題的潛力，即使在資料稀疏或高度複雜的場景中也是如此。
資料多樣性和模型縮放最佳化大氣預測
這項研究的一項重要發現是，與在單個資料集上進行訓練相比，在不同的資料集上進行預訓練可以顯著提高 Aurora 的效能。透過整合來自氣候模擬、再分析產品和運營預報的資料，Aurora 可以學習更穩健、更通用的大氣動力學表示。正是由於其規模和多樣化的預訓練資料語料庫，Aurora 能夠在廣泛的任務和解析度中超越最先進的數值天氣預報模型和專門的深度學習方法。
圖 3：對不同資料進行預訓練並增加模型大小可提高效能。(a) 在不同資料集配置（即無微調）上預訓練的模型（標記為 C1-C4）在 6 小時提前時間與 ERA5 2021 相比的效能。均方根誤差 (RMSE) 由 ERA5 預訓練模型的效能歸一化 (C1)。新增來自 CMIP6（即 CMCC 和 IFS-HR）的低保真模擬資料幾乎可以均勻地提高效能 (C2)。新增更多模擬資料可以進一步提高大多數表面變數和此新新增資料中存在的大氣水平的效能 (C3)。最後，配置 C4 可以很好地覆蓋整個大氣層，還包含來自 GFS 的分析資料，從而實現最佳整體效能，全面提升。(b) 對許多不同的資料來源進行預訓練可以提高 IFS-HRES 2022 所有表面變數在 6 小時提前期內對極值的預測。此外，結果也適用於風速，它是 10U 和 10V 的非線性函式。(c) 更大的模型在相同數量的 GPU 小時數下獲得更低的驗證損失。我們擬合了一個冪律，大致相當於模型大小每增加一倍，訓練損失就會減少 5%。
Aurora 的規模（無論是在架構設計和訓練資料語料庫方面，還是在預訓練和微調協議方面）的直接結果是，它的效能優於當下最好的專業深度學習模型。
為了進一步驗證對在許多資料集上預訓練的大型模型進行微調的優勢，研究人員將 Aurora 與 GraphCast 進行了比較——僅在 ERA5 上進行預訓練，目前被認為是解析度為 0.25 度、交付週期長達五天的最熟練的 AI 模型。
此外，該團隊在本次比較中加入了 IFS HRES，這是數值天氣預報的黃金標準。結果表明，Aurora 在與分析、氣象站觀測和極值進行衡量時均表現優異。
地球系統建模的正規化轉變
Aurora 的意義遠遠超出了大氣預測。透過展示基礎模型在地球科學中的威力，這項研究為開發涵蓋整個地球系統的綜合模型鋪平了道路。
基礎模型在資料稀缺的下游任務中表現出色，可以使發展中國家和極地等資料稀缺地區能夠民主化地獲取準確的天氣和氣候資訊。這可能會對農業、交通、能源收集和災害防備等領域產生深遠影響，使社群能夠更好地適應氣候變化帶來的挑戰。
隨著基於人工智慧的環境預測領域的發展，研究人員希望 Aurora 能成為未來研究和開發的藍圖。這項研究強調了多樣化的預訓練資料、模型擴充套件和靈活的架構在構建強大的地球科學基礎模型方面的重要性。
隨著計算資源和資料可用性的不斷進步，科學家可以預見未來，像 Aurora 這樣的基礎模型將成為運營天氣和氣候預測系統的支柱，為全球決策者和公眾提供及時、準確和可操作的見解。
參考內容：https://www.microsoft.com/en-us/research/blog/introducing-aurora-the-first-large-scale-foundation-model-of-the-atmosphere/