編輯 | 枯葉蝶
在解決具有任意形狀域的偏微分方程問題時，現有的神經運算元方法致力於學習從幾何形狀到解的對映，但這通常需要龐大的（幾何，解）二元組資料集來訓練神經運算元以確保準確性。
然而，對於如工程設計最佳化等工業應用，因單次模擬可能耗時數小時乃至數天，滿足此資料需求極為困難。
針對這一挑戰，博世人工智慧中心（BCAI）的研究人員提出了參考神經運算元（RNO）的概念，作為一種新穎的神經運算元實現方式，旨在學習解對幾何形變的平滑依賴。
具體而言，給定一個參考解，RNO 能夠預測該參考幾何形狀任意微小擾動下的對應解，此方法極大地提高了資料利用效率。RNO 在準確度方面大幅領先基準模型，並實現高達 80% 的誤差減少。
該研究「Reference Neural Operators: Learning the Smooth Dependence of Solutions of PDEs on Geometric Deformations」被收錄在 ICML 2024。
RNO 方法概述
RNO 的核心在於，給定一個參考解和相應的幾何形狀，模型能夠預測在任意微小形變下該幾何形狀的解。相比於直接預測解本身，RNO 透過預測解的變化量 δu 來降低學習複雜度。具體而言，給定參考區域到查詢區域的光滑形變 φ，可以計算參考解的前推 ur ◦ φ-1，再結合 RNO 預測的變化量 δu 就可以得到預測解 。
為了實現這一目標，RNO 採用了一種分層架構，包括編碼器 P、積分運算元層 L 以及解碼器 Q。編碼器 P 能夠處理不同數量的幾何物件，透過共享編碼器對每個幾何元件進行編碼並彙總輸出。積分運算元層則構建了從輸入到隱藏表示的轉換，而解碼器 Q 負責將隱藏表示對映回解空間。其中 P、Q 由 MLP 實現，積分運算元層L由交叉注意力層實現。
損失函式設計上，RNO 最小化預測解與真實解之間的差異，假設存在從參考域到查詢域的平滑形變及其逆對映。值得注意的是，RNO 對形狀變化的應用前提是形變保持拓撲一致性，即不涉及孔洞的增減等導致的拓撲結構變化。
總之，RNO 透過創新地學習解跟隨形變的平滑變化，以較少的資料量實現了高效的解預測，展示了在多種幾何配置和少量樣本情況下的優越效能，減輕了傳統方法對大資料集的依賴。
RNO 的有效性和優勢
研究者透過一系列實驗驗證了參考神經運算元（RNO）的有效性和優勢。
首先，他們將 RNO 與多種基線模型進行了比較，包括傳統的無參考解輸入的 G-S 神經運算元（幾何到解的神經運算元）例如 GNOT，以及加入了參考解資訊的 G-S 神經運算元（增加 R-字首）R-GNOT 等。
結果顯示，RNO 在所有測試問題上的表現均優於所有基線模型，尤其是與直接使用參考解推前變形結果相比，RNO 能顯著降低 50% 到 80% 的相對誤差，表明其成功學習瞭解的差異而非簡單幾何變換。
實驗中採用的評估指標是 L2 相對誤差，訓練過程使用了 AdamW 最佳化器配合迴圈學習率策略。RNO 在不同數量和型別的幾何物件上展現了良好的泛化能力，且即便是在資料量較小的情況下也能保持高效學習。
進一步的擴充套件實驗中，RNO 被應用於具有複雜幾何形狀變化（如擠壓、拉伸、旋轉）的 Airfoil-Euler 和 Airfoil-RANS 資料集，模擬了實際應用場景中對測試查詢找到訓練集中最近鄰參考解的過程。
RNO 不僅在這些複雜場景中保持了高精度，而且顯示出處理自由形式變形的能力，進一步證明了其作為高效、靈活工具的潛力，特別是在那些單次模擬成本高昂的工程設計最佳化場景中。
討論
在相關研究中，神經運算元領域在學習偏微分方程解運算元方面已經取得了顯著進展，其中 DeepONet 透過深度學習直接從各類函式對映到解，而 Fourier 神經運算元（FNO）透過傅立葉變換在規則網格上有效運作。儘管這些模型在固定域問題上表現出色，但對於變化幾何形狀的處理能力有限。
Geo-FNO 和 GINO 分別嘗試結合形變對映和 FNO、圖神經網路來應對不規則幾何問題，但仍需大量資料訓練以覆蓋各種幾何形態。
此外，一些融合方法將機器學習與傳統數值求解器結合，以加速求解過程，但它們往往依賴於特定問題或需要與數值方法緊密結合。
與之相比，該團隊提出的參考神經運算元（RNO）專注於學習幾何形變導致的解的變化，並透過引入距離感知交叉注意力機制（DACA），在資料效率和模型泛化能力上取得顯著提升，尤其是在處理小資料集下的多型別、多數量幾何物件問題時，展現出了超越基線模型的效能。