陳左寧院士:人工智慧模型和演算法的七大#發展趨勢

在近日舉行的“第十六屆CCF全過高效能運算學術年會”上，中國工程院副院長、中國科協副主席、中國工程院院士陳左寧發表了題為《人工智慧進展對算力需求分析》的演講。在演講中，她闡述了人工智慧模型和演算法的七大#發展趨勢。

陳左寧表示，經典的HPC的算力環境可支援現有人工智慧的模型演算法，但效能功耗比和價效比都較低，並非最適合的，需要創新體系結構和軟體架構。

據介紹，人工智慧的發展經歷了三個歷程。從符合主義到連線主義再到行為主義。符號主義主要是用公理和邏輯體系搭建一套人工智慧系統。連線主義源於仿生學，主張模仿人類的神經元，用神經網路的連線機制連線人工智慧。行為主義控制論意為假設智慧取決於感知和行動。

陳左寧稱，三大流派日趨融合，協同發展，人工智慧的核心特徵之一是“關係”。

據介紹，“關係”計算的表現形式有三種。一是連線關係，神經網路中神經網元間的連線。反向傳播演算法中的梯度傳播；進化演算法中的變異。二是邏輯關係。RNN中的迴圈連線以及知識圖譜中的關聯關係。三是因果關係，貝葉斯、決策樹以及強化學習中的控制連線。

在演講中，陳左寧詳細介紹了人工智慧模型和演算法發展的七大趨勢。

趨勢一、 向無監督的方向發展。 主要表現為：適應“小資料”，減少標註需求，減少計算開銷。要向無監督方向發展要經歷幾個階段。人工智慧主動學習階段，演算法主動提出標註請求，將一些經過篩選的資料提交給專家標註。遷移學習階段，增強訓練好的模型，解決目標領域中僅有的少量有標籤樣本資料的問題。強化學習階段，用agents構成系統來描述行為並給予評價和反饋學習。

趨勢二、 可解釋（XAI）越來越重要。 深度學習如何進一步設計演算法和引數，提高泛化能力，需要模型演算法可解釋。對抗樣本導致模型失效，訓練資料不可理的被區域性放大。模型愈加複雜，失去了可調式性和透明度。

“此時，對於技術的需求就是將可解釋技術融入軟體環境中去。有兩個方法。第一為現有軟體框架增加可解釋技術介面。提供事後解釋的基本技術，比如視覺化能力，區域性資料分析，特徵關聯等。現有的軟體原生支援多種可解釋演算法。提供演算法或指標評估模型的可解釋能力。第二是“人—AI”系統結合。以人為中心，由決策理論驅動的XAI的概念框架。” 陳左寧表示。

趨勢三、 人工智慧的自學習、自演化。 這個過程有三個階段。一是自動化機器學習，主要是利用資料驅動方式來做決策。而是限制約束條件的AutoML。三是不捨初始條件，搜尋空間極大豐富的自演化AutoML。這一趨勢對於技術的需求有計算框架支撐、大算力支撐以及輔助裝置支撐。

趨勢四、多種演算法、模型的有機結合。 單一的演算法或模型難以解決實際問題。比如問題分解和多種模型有機組合。人工智慧模型的發展希望融入多種技術來解決已有問題。比如，透過貝葉斯技術增強因果關係分析；透過資料生成技術減少標註資料需求；透過AutoML技術提高搜尋和挖掘能力。與此同時，人工智慧的應用流程也越來越複雜，如，不同流程設計的裝置以及環境多樣；需要不同的演算法和模型組合。多種演算法、模型的有機組合的需求是計算儲存等可擴充能力。基礎軟體能力提升，支援複雜模型，不同型別軟體的協同和互動。

趨勢五、人工智慧應用需求需要關注全生命週期。 全週期不同人物具有不同時間，空間和計算需求。全生命週期都要考慮可解釋、公平等需求。

趨勢六、分散式、分散式的需求越來越突出。 首先，大型、複雜模型，海量資料需要並行，分散式計算。其次，聯邦學習等分散場景需要分散式ML原生演算法。使多個參與者可以在不共享資料的情況下構建通用的，健壯的機器學習模型，從而解決關鍵問題。不同節點上的資料集異構（分佈不相同），大小可跨越幾個數量級。節點可能不可靠，節點之間的互聯可能不穩定。類別優集中式、分散式以及迭代式。這一趨勢對安全性、架構、提升效率和效用、健壯性有需求。

趨勢七，深度推理。 從計算到感知再到認知和意識，人工智慧模型和演算法的發展趨勢七是認知理論的進一步突破。這一趨勢的需求有效應對多種形式的不確定性。其中機率計算根據不同精度計算需求設計硬體。根據資料和計算的稀疏分佈設計。另外，這一趨勢的需求還有類腦、仿腦體系結構以及模擬計算。

陳左寧總結說，總體來說，AI趨勢對算力的需求主要是對軟體棧的需求。從AI發展趨勢的特點來看，關係、機率、近似計算更突出；不要求高精度、高容錯；節點上計算簡單；人在環路中需求明顯。因此，對軟體棧的需求更加多樣，比如複雜、動態、分散式和分散；支撐新場景以及架構創新。目前AI演算法仍在基本計算模式中。

陳左寧坦言：“未來的複雜問題可能會超越此模式，目前的模型和演算法主要是低精度張量計算。”