全球頂尖天氣預報系統被AI擊敗,DeepMind新模型登Nature,8分鐘搞定未來15天預測

ScienceAI發表於2024-12-05

圖片

編輯 | 蘿蔔皮

天氣預報從根本上來說具有不確定性,因此預測可能發生的天氣情景範圍對於重要決策至關重要,從警告公眾注意危險天氣到規劃可再生能源的使用。

傳統上,天氣預報基於數值天氣預報 (NWP),它依賴於基於物理學的大氣模擬。基於機器學習 (ML) 的天氣預報 (MLWP) 的最新進展產生了基於 ML 的天氣模型,其預測誤差比單一 NWP 模擬要小。

但是,這些進展主要集中在單一的確定性預測上,這些預測無法反映不確定性和估計風險。總體而言,MLWP 的準確性和可靠性仍然低於最先進的 NWP 集合預報。

Google DeepMind 的研究人員提出了 GenCast,這是一種機率天氣模型,其技巧和速度比世界上頂級的中期天氣預報、ENS(歐洲中期天氣預報中心的集合預報)更高。

GenCast 是一種機器學習天氣預報方法,基於數十年的再分析資料進行訓練。GenCast 可在 8 分鐘內生成一組隨機的 15 天全球預報,步長為 12 小時,經緯度解析度為 0.25°,涵蓋 80 多個地表和大氣變數。

在團隊評估的 1,320 個目標中,有 97.2% 的目標顯示出比 ENS 更穩健的預測,並且能更好地預測極端天氣、熱帶氣旋軌跡和風力發電。

這項工作有助於開啟實用天氣預報的下一篇章,其中關鍵的天氣相關決策將更加準確和高效。

該研究以「Probabilistic weather forecasting with machine learning」為題,於 2024 年 12 月 4 日釋出在《Nature》。

圖片

天氣預報在日常生活中發揮著重要作用,協助人們在生產生活中做出關鍵決策。但是,由於當前天氣部門只能部分觀測氣候,且氣象模型存在不完美性,預報總是帶有不確定性。

傳統的數值天氣預報(NWP)方法透過求解大氣動力學方程來預測天氣,而集合預報(ENS)則透過生成多個預報情景來描述未來可能的天氣情況。儘管集合預報能夠提供更為精準的機率分佈,但它仍存在誤差大、計算慢且執行工程複雜等問題。

最近,基於機器學習的天氣預報(MLWP)方法,在非機率性預報方面已經表現出比 NWP 更為精準和高效的效能。但是已有的方法通常側重於預測機率軌跡的均值而非不確定性,並且在長時間預報中效果較差。某些混合 NWP-MLWP 方法如 NeuralGCM 在效能上與傳統集合預報相當,但空間解析度較低。

在最新的研究中,Google DeepMind 的研究人員提出了 GenCast,這是一種全新的 MLWP 方法,其效能明顯優於頂級整合 NWP 模型 ENS。它可以生成逼真的單個天氣軌跡整合,提供比 ENS 更好的邊際預報分佈和聯合預報分佈。

GenCast模型

GenCast 是一種機率天氣模型,可生成解析度為 0.25° 的全球 15 天集合預報,其準確度高於頂級業務集合系統 ECMWF 的 ENS。在 Cloud TPUv5 裝置上生成單個 15 天 GenCast 預報大約需要 8 分鐘,並且可以並行生成一組預報。

GenCast 根據當前和之前的天氣狀態對未來天氣狀態 Xt+1 的條件機率分佈 P(Xt+1|Xt, Xt−1) 進行建模。長度為 T 的預測軌跡 X1:T 以初始狀態和之前的狀態 (X0, X−1) 為條件,並分解連續狀態圖片的聯合分佈,每個狀態都以自迴歸方式取樣。

全球天氣狀況 X 的表示由等角 0.25° 緯度-經度網格上的 13 個垂直氣壓水平上的六個地表變數和六個大氣變數組成。預報期為 15 天,連續步驟 t 和 t + 1 之間間隔 12 小時,因此 T = 30。

研究人員使用 X 的分析來訓練 GenCast,它代表了從觀測中推斷出的天氣狀況的最佳估計值。

GenCast 是一種條件擴散模型,它是一種生成式 ML 方法,可以對複雜資料的機率分佈進行建模並生成新樣本。擴散模型是生成式 AI 領域中許多最新自然影像、聲音和影片建模進展的基礎。擴散模型透過迭代細化過程進行工作。未來的大氣狀態 Xt+1 是透過迭代細化候選狀態(初始化為純噪聲圖片)而產生的,該候選狀態以之前的兩個大氣狀態(Xt、Xt-1)為條件。

圖 1 中的藍色框顯示瞭如何從初始條件生成第一個預測步驟以及如何自迴歸生成完整軌跡 X1:T。由於預測中的每個時間步驟都用噪聲初始化,因此可以使用不同的噪聲樣本重複該過程以生成軌跡集合。

圖片

圖 1:GenCast 如何產生預測的示意圖。(來源:論文)

在迭代細化過程的每個階段,GenCast 都會使用降噪神經網路,該網路經過訓練,可使用論文中描述的損失函式消除人為新增到大氣狀態中的噪聲。降噪器的架構包括編碼器、處理器和解碼器。

GenCast 是基於 1979 年至 2018 年 40 年的最佳估計分析進行訓練的,這些分析取自公開可用的 ERA5(第五代 ECMWF 再分析)再分析資料集。

再分析透過計算歷史日期和時間的分析來重建過去的天氣。在評估 GenCast 時,研究人員使用 ERA5 分析對其進行初始化。

圖片

圖 2:預報和熱帶氣旋路徑的視覺化。(來源:論文)

作為一個說明性示例,圖 2 b-d、h-j 展示了 GenCast 預測樣本,圖 2 n-q 提供了一個示例,說明如何將它們用於重要的下游應用,例如預測熱帶氣旋的路徑。颱風哈吉比斯(2019 年最昂貴的熱帶氣旋)是一個代表性案例研究。

在臺風哈吉比斯登陸前 7 天初始化時,GenCast 預測的軌跡表現出較高的不確定性,涵蓋了多種可能情景。在較短的預測時間內,GenCast 對氣旋路徑的不確定性較低,反映出對登陸時間和地點的信心更高。

評估結果

研究人員進行了一系列評估,結果表明,基於 MLWP 的機率天氣預報比頂級的基於 NWP 的集合預報 ECMWF 的 ENS 更熟練、生成速度更快。GenCast 在機率天氣模型的三個關鍵要求方面取得了成功:

首先,GenCast 會生成具有真實功率譜的清晰單個天氣軌跡集合,而不是條件均值等彙總統計資料集。

圖片

圖 3 :GenCast 的邊際預測分佈非常巧妙且經過良好校準。(來源:論文)

其次,GenCast 的邊際預報分佈(即針對給定地點和時間的預報)經過精心校準,可提供比 ENS 更精準的預報,包括對極端事件的更準確預報。

第三,GenCast 在幾項需要捕捉聯合分佈中的空間和時間依賴性的評估中表現優於 ENS:彙集評估、區域風電預測和熱帶氣旋路徑預測。

圖片

圖 4:GenCast 在區域風力和熱帶氣旋路徑預測方面優於 ENS。(來源:論文)

展望未來

展望未來,GenCast 可以透過多種方式進一步改進其執行設定。GenCast 的解析度為 0.25°,這是目前全球再分析資料的最大解析度。但是,將其擴充套件到更高的解析度以支援更多應用並匹配升級後的 ENS 解析度(截至 2023 年中)0.1° 可能會很有用。

作為一種擴散模型,GenCast 在計算上比等效的確定性 MLWP 架構更昂貴,因為它需要多個函式評估來對每個預測時間步進行取樣。

為了有效地擴充套件到更高的解析度或朝著與 GenCast-Perturbed 和類似模型的計算平價邁進,應該探索提煉和其他效率技術。

此外,先前的研究表明,透過使用運算元據(例如 HRES 分析輸入和目標)進行微調,可以進一步提高在再分析上訓練的 MLWP 模型的效能。這強調了傳統基於 NWP 的資料同化對於 GenCast 提供訓練和初始化資料的重要性。

結語

總之,這項研究結果開闢了天氣預報的新領域,有望在各種環境下提高準確性、效率和可訪問性。

更廣泛地說,該工作證明,尖端的生成式人工智慧方法可以捕捉豐富的時間動態中非常高維和複雜的分佈,具有足夠的準確性和可靠性,從而支援關鍵應用中的有效決策。

論文連結:https://www.nature.com/articles/s41586-024-08252-9

相關文章