如果中國要做自己的GPT-3,一定離不開這家公司的算力

AIBigbull2050發表於2020-09-27
2020-09-27 12:06:04

邊策 發自 凹非寺
量子位 報導 | 公眾號 QbitAI

今年AI領域最火的是什麼?

毫無疑問是GPT-3,它能寫小說、能與人聊天、能設計網頁、還能下象棋,堪稱迄今為止最“全能”的AI模型。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

但是這個強大的AI模型卻不被看做演算法的勝利,而是“暴力美學”、一場“富人的遊戲”。

有人估算過,GPT-3光是訓練成本就在460萬美元以上,還不包括微軟為訓練它建設了一個5億美元的超算中心。

微軟這個超算中心裝載了一萬張英偉達GPU,訓練GPT-3消耗了它355個GPU年的算力。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

如果中國也要開發自己的GPT-3,憑藉現在的技術能做出來?

答案是:我們已經具備一定的條件了。

AI軟體方面,國內有百度、阿里等開源框架,中國的NLP(自然語言處理)技術起步不算晚,甚至搜狗、第四正規化、百度NLP演算法已經多次佔據測試榜首,且成功商業化。

訓練AI的硬體中國也不缺乏,甚至在國際上還略有優勢。據2020年6月最新資料,中國擁有全球超算Top500中的226臺,佔比達45.2%,超過其他任何國家。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

有演算法、有硬體,那麼要做出GPT-3最大的障礙就是經濟成本了。

因為中國少有能像微軟那般“財大氣粗”組建一個超級算力中心,國內AI硬體又不夠開放,算力得不到有效的調配和釋放。

其實不僅是GPT-3,即使是規模更小的AI模型,動輒耗費幾十乃至上百張AI加速卡,對很多企業來說也是“不能承受之重”。

尤其是比開發GPT-3更現實的問題——AI產業化——方興未艾,大量使用AI硬體的場景只會更多。

對此問題的解決之道,國內最大的AI伺服器提供商浪潮給出的方法是:開放硬體,降低成本。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

據估計,未來人工智慧將佔據80%以上的計算需求,需要有開放的AI算力中心承載這種需求,即 智算中心

智算中心:做最開放AI基礎設施

開源這件事,在軟體行業已經取得了巨大成功。

開源軟體近二十年來為IT行業帶來了革命性的變化,比如Linux、Android一舉佔領市場,而很多閉源作業系統日漸式微乃至消亡。

而硬體開源在國際上才剛剛起步。

2011年,由於業務的飛速發展,國外社交網路巨頭Facebook牽頭髮起了OCP(開放計算專案)。

僅僅4年時間,OCP就為Facebook節省了20億美元的成本,資料中心電費降低了20%。谷歌、微軟、IBM、阿里、浪潮都加入了該社群。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

開放計算的優勢不僅僅是降低成本、節省電費、提高投資回報率,更重要的是,它作為一種新的協作模式,可以推動AI等前沿技術的標準化與產業化。

在GPT-3誕生前的幾個月,浪潮已經有了這樣改造AI產業的想法。4月9日,IPF2020浪潮雲資料中心合作伙伴大會上,浪潮首次提出了“智算中心”的概念。

浪潮認為,智算中心應該滿足三大條件: 開放標準、集約高效、普適普惠。就是每家企業都能以更低門檻用上高效能運算資源。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

當前AI硬體加速器處於各自為政的局面,不同廠商的產品介面、協議都不盡相同。

為了解決AI加速晶片的統一標準問題,讓不同加速器在同一塊伺服器上執行。浪潮4月推出了第一款符合OAM(OCP加速模組)標準的AI開放計算系統MX1,致力於推動開放計算與AI的融合。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

第二點集約高效,則是在開放標準基礎上的更高要求。開放標準會帶來規模空前的集約效應與高效的融合架構。

融合架構的最終目的是實現“智算中心即計算機”,CPU、記憶體、AI加速器、I/O等硬體資源完全池化,讓它們在軟體的統一調配下,實現超大規模的擴充套件。

這方面,國外的AI巨頭英偉達已經有相當豐富的經驗,甚至今年還開源了大規模平行計算模型“威震天”。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

作為AI時代最重要的晶片公司,英偉達顯然已經意識到,開源不僅不會損害自身利益,反而會形成規模效應,實現整個產業的共贏。開放標準後,普適普惠是必然的結果。

過去十年,手機行業正是憑藉軟體開放、硬體整合的能力,讓普通消費者享受到了智慧手機普及的福利。

AI產業也在經歷類似的過程,軟體與硬體的開源一定會讓每家意在用上AI的企業享受到實惠。

打造算力“免費午餐”

軟體開源最大的實惠即“免費”,這意味著任何人都可以免費檢視、修改、使用程式碼,而硬體開放的實惠,是小企業也可以免費使用昂貴的計算裝置執行其業務。

浪潮AI&HPC產品線總經理劉軍曾說過,算力是AI時代“免費的午餐”。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

回顧GPT-3的誕生,它只比前輩GPT-2晚一年,比前代的引數量增加了100倍,就能取得如此驚人的成就,靠的不是演算法的提升,而是算力的加成。

如果改進演算法,一定會投入大量的研發,相比之前,算力不就是簡單直接的“免費午餐”嗎?

之所以企業不覺得免費,那是因為算力的成本還不夠低。所以有些企業選擇了市場上成熟的AI解決方案,無需AI開發經驗就能快速部署AI模型。

劉軍表示,對於產業使用者來說,用上價效比更高的AI算力,開放的網路架構及服務是必須的,同時保證了未來的可擴充套件性。

就如同PC時代的組裝機,每個元件都掌握在使用者自己手中,在技術上可控,定製化程度高,成本低廉。

只有硬體成本低了,算力才會成為“免費的午餐”。

浪潮智算中心已嶄露頭角

智算中心推出半年,浪潮智算中心的算力得到權威標準認可,同時在各行各業發揮出重要作用。

面向智算中心,浪潮提出要生產算力、聚合算力、排程算力、釋放算力。

透過自研的AI框架LMS,浪潮訓練的NLP模型引數突破70億,超過了GPT-2三倍多。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

在今年7月29日公佈的全球權威AI測試基準,MLPerf v0.7訓練榜單上,浪潮NF5488A5伺服器創下了單伺服器最快效能記錄,高居榜首。

浪潮還東南大學合作,據張競慧教授介紹,東南大學依靠算力中心推動前沿科學研究,依託(CPU+Openstack+GPU)架構,提供高效能運算、雲端計算以及人工智慧計算等共享服務,處理太空觀測高解析度影像,已經在物理學頂級期刊PRL上發表了多篇論文。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

在金融領域,交通銀行透過浪潮AIStation開發平臺,資源利用效率提升30%;在智慧製造領域,百度與浪潮合作開發的裝置,將2~3天的鋼質檢系統工作量減少至2小時,識別準確率超過99%。

此外浪潮的智算中心與5G結合,提供了雲端訓練、邊緣推理的新應用場景。

浪潮智算中心建設的腳步沒有停歇,目前正在濟南建設的“中國算谷”,致力於成為全球算力產業新高地,帶動山東傳統企業智慧化改造和升級,計劃建成E級計算系統。

AI時代的“發電廠”

AI模型發展一日千里,模型越來越大,對算力要求也越高,硬體進步給演算法帶來福利。

OpenAI去年的報告指出,AI計算量每年增長10倍。從2012年至今,最先進AI模型對計算量的需求已經增長了30萬倍,若按照摩爾定理,與此同時晶片算力只增長了7倍。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

對算力的爆炸式一方面靠AI加速晶片的改進,另一方面靠硬體的“暴力”堆砌。

然而單個使用者難以自建強大算力,則需要智算中心來幫忙。未來,智算中心會像發電廠一樣,產生大量的算力輸送到“千家萬戶”。

電力時代有充足的發電量,就能驅動更多、更強的電氣設施。AI時代有更多低廉的算力資源,才能催生出更多像GPT-3一樣“暴力”AI模型,推動AI的產業化。

如果中國也要研發像GPT-3一樣的AI模型,用這樣的AI模型驅動產業變革,那麼一定要降低算力資源的TCO。

如果中國要做自己的GPT-3,一定離不開這家公司的算力

浪潮希望在這個中發揮主導作用,所以推出智算中心。浪潮也具有這樣的底氣,因為他們已經佔據了中國50%的AI計算中心算力,未來一定會是“新基建”的AI基石。

在這方面,國外已經有許多先進的經驗,英特爾、微軟、谷歌都在以開放的姿態融合更多新的AI硬體,把更強大的算力貢獻給產業。

回到國內,如果浪潮能把智算中心的算力供給全行業使用,以國內龐大市場,一定能催生更強大AI模型的誕生。

到時候,不僅能產生與GPT-3類似的AI模型,我們還會看到過更多AI技術的商業化,讓我們的生活處處充滿AI。

— 完 —




https://blog.csdn.net/weixin_42137700/article/details/108826046



來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946223/viewspace-2724462/,如需轉載,請註明出處,否則將追究法律責任。

相關文章