AICC 2021 | 看巨量模型如何左右逢“源”

　　“雖非蟾宮謫降仙，何懼冰殿冷徹骨。窺簾斜視金屋小，多少俊才在此關。”這首精彩的七言絕句並非出自名家之手，而是浪潮人工智慧研究院釋出的全球最大規模中文人工智慧巨量模型——“源1.0”的傑作。

　　據瞭解，作為全球最大規模中文AI巨量模型，“源1.0”的引數規模高達2457億。在閱讀學習約2000個億詞後，其不僅在AI寫詩方面有了很大進步，同樣可以完成對話、寫對聯、生成新聞和故事續寫等工作。

　　 “源1.0”正式亮相AICC 2021

　　在AICC 2021大會上，全球最大規模中文AI巨量模型“源1.0”首次亮相。其單體模型引數量達2457億，訓練採用的中文資料集達5000GB，相比美國OpenAI組織研發的GPT-3模型1750億引數量和570GB訓練資料集，“源1.0”引數規模領先40%，訓練資料集規模領先近10倍，問鼎全球最大規模中文AI巨量模型。

　　 據瞭解，在衡量巨量模型最重要的三個層面上，“源1.0”都做到全球領先。

　　 在演算法層面：“源1.0”巨量模型共2457億的引數，超過1750億引數的GPT-3，問鼎全球最大的中文人工智慧巨量模型。

　　 在資料層面：爬取2017-2021近五年來，中文網際網路中的網頁資料、公開中文語料庫、中文百科及電子書等，經過清洗及處理，最終獲得5000GB高質量資料集，是GPT-3的近10倍，成為迄今業界最大的高質量中文資料集。

　　 在精度層面：“源1.0”在語言智慧方面表現優異，獲得權威中文語言理解評測基準CLUE榜單的零樣本學習和小樣本學習兩類總榜冠軍。在零樣本學習榜單中，“源1.0”超越業界最佳成績18.3%，在文獻分類、新聞分類，商品分類、原生中文推理、成語閱讀理解填空、名詞代詞關係6項任務中獲得冠軍；在小樣本學習的文獻分類、商品分類、文獻摘要識別、名詞代詞關係等4項任務獲得冠軍。在成語閱讀理解填空專案中，源1.0的表現已超越人類得分。

　　同時，在對“源1.0”進行的“圖靈測試”中，將源1.0模型生成的對話、小說續寫、新聞、詩歌、對聯與由人類創作的同類作品進行混合並由人群進行分辨，測試結果表明，人群能夠準確分辨人與“源1.0”作品差別的成功率已低於50%。

　　在這裡，筆者想強調一點：人工智慧的強大並不意味著未來完全取代人類，而是成為人類最得力的幫手。正如浪潮資訊副總裁、浪潮資訊AI&HPC產品線總經理劉軍所說，人工智慧是“助手”和“工具”，浪潮則希望站在人工智慧的肩膀上思考，也希望科技產業，能站在人工智慧的肩膀上完成創新。

　　 巨量化將成為AI發展的常態

　　人工智慧如何發展出像人類具備邏輯、意識和推理的認知能力，是人工智慧研究一直在探索的方向。目前來看，透過大規模資料訓練超大引數量的巨量模型，被認為是非常有希望實現通用人工智慧的一個重要方向。中國工程院院士、浪潮首席科學家王恩東認為，隨著巨量模型的興起，巨量化已成為未來人工智慧發展非常重要的一個趨勢。

中國工程院院士、浪潮首席科學家 王恩東

　　目前，全球知名的AI領先公司在巨量模型上都予以重兵投入，谷歌、微軟、英偉達、浪潮、智源研究院、百度、阿里等公司相繼推出了各自的巨量模型。巨量化的一個核心特徵就是模型引數多、訓練資料量大。此外，巨量化也表現在模型應用規模大。

　　網際網路頭部公司的AI開放平臺已經吸引了超百萬的AI開發者，這些AI開放平臺每天承載著數萬億次的呼叫量，數百萬小時的語音識別，超過百億張影像識別，超過萬億句自然語言理解等等。如此巨量的呼叫對算力中心的應用支撐能力帶來了極大的挑戰。

　　王恩東院士表示：“要想釋放多元算力價值、促進人工智慧創新，一是要重視智算系統的創新，加大人工智慧新型基礎設施建設，把從技術到應用的鏈條設計好，從體系結構、晶片設計、系統設計、系統軟體、開發環境等各個領域形成既分工明確又協同創新的局面；二是要加快推動開放標準建設，透過統一的、規範的標準，將多元化算力轉變為可排程的資源，讓算力好用、易用。”

　　 “源1.0”專注於自然語言處理，面向多場景AI任務

　　自然語言處理是指能夠理解人類語言的AI模型，在廣泛應用的智慧助手中，語言模型是其能夠與人類互動的根本驅動因素之一，被譽為“人工智慧皇冠上的明珠”。

　　“源1.0”大模型專注於自然語言處理領域，可以建立任何具有語言結構的東西，自動問答，撰寫論文、文章、詩歌、小說、新聞報導，提煉總結長文字，翻譯語言，甚至可以建立計算機程式碼。最為重要的是，“源1.0”大模型可以產生創作“靈感”，可以理解文字背後的含義，並從文字中抽取關鍵資訊，如從智慧客服對話中感知客戶情緒，以便更智慧的滿足客戶需求，提供更優質服務。

　　“源1.0”大模型將應用於殺手級的應用場景，比如運營商的智慧運維，在智慧辦公場景自動生成報告，在手機網際網路場景自動對話的智慧助手，在電商網際網路場景中的智慧客服,及文字識別、文字搜尋、翻譯等應用場景。

　　當前的“源1.0”聚焦在自然語言理解領域，後續“源1.0”將開展影像、多模態領域巨量模型的探索。

　　 “源1.0”已敞開懷抱

　　雖然大模型的價值已被普遍認可，但其征途依然充滿變數。比如深度學習的不可解釋性、資料擬合的統計學缺陷、訓練成本居高不下、能源消耗持續增長等，這些問題不會在短時間內找到答案，更不可能由單個廠商解決，開放合作是唯一出路。

　　在AICC 2021大會上，浪潮推出“源1.0”開放開源計劃，“源1.0”將面向學術研究單位和產業實踐使用者進行開源、開放、共享，降低巨量模型研究和應用的門檻，打造新型演算法基礎設施建設，面向社會共享AI模型演算法能力，加速企業數字化轉型，有效推進AI產業化和產業AI化的進步，促進數字經濟加速創新和發展，切實為國家在人工智慧研究創新和產業發展作出貢獻。

浪潮資訊副總裁、浪潮資訊AI&HPC產品線總經理 劉軍

　　劉軍表示，智算呈現多元化、巨量化、生態化的發展趨勢，平臺創新和開放生態是算力高效釋放的核心。“源1.0”倡導產、學、研、用攜手，共同建設健康的智慧生態。

　　全球最大的中文AI巨量模型誕生，得益於浪潮在人工智慧領域深厚的積累和不斷的探索實踐。浪潮一直活躍在AI前沿方向，在異構加速計算、深度學習框架、AI演算法等領域取得了一定的成績。未來，浪潮“源1.0”將推動創新企業及個人開發者基於大模型構建智慧化水平更高的場景應用，賦能實體經濟智慧化升級，促進經濟高質量發展。