論文作者來自杭州北航國新院、北航，主要作者：陶來發、劉海菲、寧國澳、曹文燕、黃博昊、呂琛（通訊作者）。呂琛教授：國家級領軍人才、英國皇家航空學會會士；陶來發教授：國家級青年人才。
近日，《Mechanical System and Signal Processing》（MSSP）線上發表刊登北航 PHM 團隊最新研究成果：基於大語言模型的軸承故障診斷框架（LLM-based Framework for Bearing Fault Diagnosis）。
- 這是北航 PHM 實驗室在健康管理大模型領域的成功嘗試，研究團隊提出了基於大語言模型的軸承故障診斷框架，提升預訓練大模型對振動資料的解析與泛化能力。
- 以軸承為例，他們探索並打通了基於預訓練大語言模型解決泛化故障診斷難題的技術路線，初步展現了對跨工況、小樣本、跨物件等泛化診斷任務的綜合解決能力。
- 北航 PHM 實驗室為業界學者應對故障診斷領域泛化痛點問題提供了新思路，也是深入開展大模型與健康管理交叉研究並建立健康管理大模型的重要基礎與參考。
- 論文原文：https://doi.org/10.1016/j.ymssp.2024.112127（MSSP 期刊）
- https://arxiv.org/abs/2411.02718（arXiv 預印）
背景介紹
健康管理（Prognostics and Health Management，PHM）是避免裝置故障導致人員安全和經濟財產損失的重要技術手段，而演算法模型泛化性不足等瓶頸問題嚴重製約著 PHM 技術的發展應用。作為健康管理的重要環節，傳統故障診斷也面臨著跨工況適應能力、小樣本學習能力和跨物件泛化能力等諸多挑戰。
大語言模型（LLM）透過千億級引數化的先驗知識與深層次的模式識別能力，為提升故障診斷模型的泛化性提供了新的可能性。因此，團隊整合 LLM 與傳統故障診斷技術優勢，以軸承為例探索並打通基於預訓練大語言模型解決泛化故障診斷難題的可能性和技術路線，初步展現了對跨工況、小樣本、跨物件等泛化診斷任務的綜合解決能力。
分別開展了單資料集跨工況實驗和全量及少量樣本的跨資料集遷移實驗，驗證所提出框架同時完成三種泛化故障診斷任務的能力，證明 LLM 對輸入的模式和形式具有良好的適應性。
主要創新及成果
為解決泛化診斷難題，論文提出基於 LLM 的軸承故障診斷框架，創新點主要包括振動資料特徵的文字化處理和預訓練模型微調方法。
針對軸承故障診斷中振動資料難以挖掘語義資訊的問題，基於傳統故障診斷的統計學分析框架，提出了一種融合時域和頻域特徵提取的訊號特徵量化方法，將時序資料進行文字化處理，旨在透過精簡的特徵選擇高效學習小樣本和多工況下的共性特徵。
針對 LLM 在解析振動資料特徵時泛化能力不足的問題，該團隊採用基於 LoRA 和 QLoRA 的振動資料微調方法，有效利用預訓練模型的深層語義理解能力，提高故障診斷的精確度並增強模型的泛化效能。
針對創新點的實驗驗證。透過單資料集實驗、單資料集跨工況實驗以及全量、少量跨資料集實驗，該團隊證明了所提出框架同時具備跨工況、小樣本、跨資料集故障診斷能力。
研究團隊採用 CWRU、MFPT、JNU、PU 四個軸承故障診斷公開資料集，分別針對基於特徵的 LLM 故障診斷和基於資料的 LLM 故障診斷方法進行驗證。
案例實驗驗證了所提出框架在三種泛化任務上的適應性，且經過跨資料集學習的模型同比獲得 10% 左右的精度提升。
未來研究方向
1. 該框架更多地在特徵提取和故障模式判別階段將 LLM 與故障診斷相結合，未來可充分利用診斷領域知識和大模型架構知識，實現大模型與裝備故障診斷的深度融合。
2. 論文以軸承為例，探索了預訓練 LLM 解決泛化故障診斷難題新思路。未來可將其作為基礎與參考，特異性設計模型結構，將框架擴充至其他領域物件，如動力、控制系統的電源、功能電路等。
3. 論文以故障診斷為例展示了 LLM 對傳統健康管理手段的擴充套件能力，未來還可將技術延拓到預測、評估等典型健康管理領域，打通 PHM 開發方案生成、資料生成、能力生成、解決方案生成、驗證評價、方案更新等技術流程，支撐裝備 PHM 設計、診斷、評估、預測、決策、推薦、驗證、更新等下游任務。
4. 論文利用 LLM 的文字處理能力及泛化效能，初步實現了基於預訓練 LLM 的泛化故障診斷功能；未來將在此基礎上，構建以健康管理領域多模態資訊為基礎、以 PHM 各種功能需求為主要業務、以生成湧現能力為目標的垂直領域健康管理大模型，實現以通用化、判別式、實戰性為主要特點的健康管理領域新生態及根本性技術轉變（參考 An Outline of Prognostics and Health Management Large Model: Concepts, Paradigms, and Challenges, https://arxiv.org/abs/2407.03374）。
也歡迎關注北航 PHM 團隊提出的健康管理大模型進階研究正規化 roadmap！
- 論文連結：https://arxiv.org/abs/2407.03374