華為聯合團隊斬獲AI頂會NeurIPS 2021 ML4CO求解器超參優化賽道冠軍

近日，華為雲企業智慧（EI）創新孵化實驗室OROAS與華為諾亞決策推理實驗室聯合團隊（以下簡稱“華為聯合團隊”）參加了由人工智慧頂級學術會議NeurIPS 2021承辦的Machine Learning for Combinatorial Optimization（ML4CO）競賽，並斬獲求解器超參優化賽道冠軍，成績大幅度領先於第二名。

該競賽聚焦特定問題與歷史資料資訊，與參賽者共同探討如何通過機器學習方法來提升求解器的效能。在華為供應鏈演算法工作組的支援下，華為聯合團隊針對“增強通用求解器在特定混合整數規劃（MIP）問題上的求解效能”，提出了離線引數整定、線上引數推薦兩大解決方案，在三類問題上均實現了最佳效能。華為聯合團隊在本次賽事中沉澱的技術將對幫助行業客戶高效計算最優方案、提升資源利用率和運轉效率、突破業界運籌優化極限有重要意義。

NeurIPS 2021 （ML4CO）競賽榜單

混合整數規劃（Mixed Integer Programming, MIP）問題（如資源排程、生產排產、路徑優化、運營管理、研發設計、財經管理等）是企業運籌優化時面臨的最常見的問題型別，覆蓋商業決策優化的大部分流程， 在求解器應用場景中的佔比超75%。混合整數規劃求解器(MIP Solver)是數學規劃（mathematical programming）演算法的集大成者，內嵌原/對偶單純形、內點法等線性規劃（LP）演算法、分支定界演算法、各類割平面演算法、各類原啟發演算法、各類預處理演算法、各類域傳播演算法等。這些演算法在MIP求解器內的實現涉及到大量超引數，如開源MIP求解器中效能最為強勁的SCIP求解器提供了2617個超引數，其中超過2000個超引數與求解過程中的決策強相關。

通常，這些超引數由求解器開發者依據人工經驗整定，面向通用問題提供一套適用性最為廣泛的引數作為預設值。但面向細分行業特定場景，首先，預設引數難以發揮求解器的最佳效能。第二，求解器使用門檻相對較高，要求使用者對組合優化、數學規劃演算法和場景問題本身有較為深入的理解。第三，即使是行業領域的專家，在求解器的海量引數組合中為特定場景問題選擇最佳引數的過程中，也存在著人工調參耗時耗力的挑戰。

NeurIPS 2021 （ML4CO）競賽的超參優化賽道直面上述痛點，號召全球研究者探索機器學習在求解器引數整定、引數推薦中的應用，以“多維揹包問題、流量均衡問題、面向實際問題且包含多種型別問題的匿名問題集”為研究物件，徵集SCIP求解器的最佳引數推薦方案，從而幫助提升通用求解器在細分行業特定場景問題上的效能。

華為聯合團隊認為該任務可被解耦為“離線引數整定”與“線上引數推薦”兩個步驟。“離線引數整定”步驟是針對每一類同質問題整定出一套最佳效能的引數，即調參；“線上引數推薦”步驟是訓練一個機器學習模型來完成從問題用例特徵到問題用例類別的對映關係學習，即匹配。兩個步驟的關係如下圖所示：

華為聯合團隊在NeurIPS 2021（ML4CO）競賽中提出兩大解決方案

     應用“離線引數整定”技術，實現綜合BO調參

求解器調參是一類“單次效能評估的時間、資源代價昂貴”的黑箱優化問題。針對這一類問題的常用技術方案是貝葉斯優化（Bayesian Optimization，BO），但將該技術直接落地應用於求解器調參面臨以下三方面的挑戰：

l   引數空間規模大。 引數空間的規模與引數維數構成指數關係，即存在維數災問題。常規的BO方法通常適用於引數維數在30維以內的問題，如神經網路調參。面對2000多維的求解器引數空間，百餘次BO取樣如在浩渺宇宙中探索地球，難以建立起有效的代理模型。

l   引數依賴關係強。 常規的調參問題中，各維度上的引數相互獨立，構成正交的引數空間；而求解器引數構成樹狀空間，子級引數的作用依賴於父級引數的狀態，如原啟發的優先順序引數依賴於其開關引數。若忽視這種層級關係則會產生大量無效取樣，甚至引入觀測噪聲。

l   引數效能分佈正偏。 求解器在不同引數上的效能分佈呈現出正偏趨勢，即好引數帶來的效能提升幅度遠小於壞引數帶來的效能惡化幅度，進而在隨機種子引起的觀測噪聲上表現出較顯著的異方差特性，不符合高斯過程代理模型的前提假設，最終影響了代理模型的擬合效果。

針對上述挑戰，華為聯合團隊整合了在華為供應鏈供需雙向模擬和多工廠排產引擎等實際場景積累的多項關鍵技術，形成了一套面向求解器引數整定場景的綜合BO調參解決方案。

首先，依據團隊內華為雲天籌（OptVerse）AI求解器開發者的專家經驗，並結合XGBoost擬合隨機觀測的引數-效能對的代理模型所得到的Gini係數資訊，完成海量引數的預篩選，實現關鍵引數辨識目的。

然後，從引數型別、引數作用、依賴關係等多個維度對這些關鍵引數進行分層組合，將高維正交的引數空間轉換為若干低維樹狀引數空間的嵌入。在每個引數子空間的BO搜尋中，首先對已觀測樣本應用Box-Cox Transform實現自適應分佈變換，解決偏態分佈中潛在的異方差問題；在擬合代理模型環節，基於整合學習思想，使用高斯過程、隨機森林等方法，實現廣泛引數型別下的精準擬合；在採集函式優化環節，打破常規BO實現中單一採集函式的限制，整合UCB、PI、EI等多種採集函式進行多目標優化，並從Pareto前沿中取樣推薦引數，實現期望與方差的更優平衡。

     基於“線上引數推薦”，完成從特徵到類別的對映關係學習

對已知樣本的精確類別劃分與匹配是為未知樣本推薦正確引數的先決條件。華為聯合團隊基於天籌AI求解器開發的技術積累，從MIP問題用例中抽取出上百個引數特徵，並結合MIP問題三部圖的圖卷積特徵，建立起MIP問題的精確畫像。基於這些特徵，應用無監督學習方法對匿名資料集實現類別劃分，進一步結合賽方完全公開的Item Placement和Load Balancing資料集，為訓練問題類別匹配模型提供海量有效樣本。最後執深度學習方法之矛，實現MIP問題從用例到類別再到引數的準確對映。

根據NeurIPS 2021（ML4CO）競賽主辦方公佈的榜單結果所示，SCIP求解器的預設引數在Item Placement和Load Balancing兩個非匿名資料集上的平均效能指標分別約為17000和25000。華為聯合團隊推薦的引數效能指標則分別達到了8741和7856，效能提升幅度分別達到了2倍和3倍。

華為雲一站式AI開發平臺ModelArts為“離線引數整定”和“線上引數推薦”技術方案的實現提供了強有力的軟、硬體支援：ModelArts為華為聯合團隊提供了高效、穩定的大規模伺服器叢集、千餘顆CPU核心與TB級記憶體，保證了大量MIP用例的並行效能評估；此外，ModelArts預置的主流機器學習框架與便捷靈活的自定義映象環境極大地加速了上述方案的部署與落地。

當前，運籌優化技術已在華為供應鏈多工廠排產引擎等多個場景落地，不僅幫助實現系統底層完全自研，而且實現了分工廠計劃準確率、迴流調撥比例、計劃自動執行比例等一系列業務關鍵指標的顯著提升，並大幅提高了業務的作業效率。同時，華為聯合團隊在比賽當中突破的前沿技術及求解能力也已整合在天籌AI求解器和ModelArts等華為雲AI服務中，並計劃對外開放給更多AI開發者使用。

未來，華為聯合團隊將持續優化天籌AI求解器中的MIP求解效能，面向不同的業務場景，不斷創造更大價值。