智慧計算的武俠美學,正在城市上空上演

naojiti發表於2020-11-15

對於喜歡看武俠片的讀者來說,武俠的魅力就在於透過藝術的加持,將那些誇張的、非常規的武學招式,用符號化的審美來進行消解,使其在具備感官刺激的同時,不會讓人產生不舒適感。

比如成龍電影中的一招一式輕盈敏捷,如同舞蹈一樣充滿節奏感;徐克則會透過科技和想象來演繹武俠中的超凡神功。

既能一力降十會,也要一巧破千斤,用來形容社會對智慧計算的渴盼,也並不為過。眾所周知,算力已經成為數字經濟時代重要的增長引擎,算力跟不上,意味著各種高效能的演算法無法規模化部署,眾多產業智慧化轉型會面臨停滯。

但解決方法顯然不是一味地按照傳統超腦和資料中心的思路來堆疊硬體,而是根據AI計算的特性來有的放矢地更新基礎設施。

在喜歡強調“有多少算力就有多少智慧”的計算領域裡,真的能產生這種反差萌嗎?以“智慧時代·算力賦能”為主題的第二屆中國超級算力大會ChinaSC,就有來自國內外產學研各界的大咖學者們,嘗試帶我們尋找未來的答案。

AI奇襲高效能運算,對壘需要連招

拆招之前,首先需要搞清楚的是,AI之於計算到底意味著何種變數。

如今,在小學生的科普讀物中開篇都會提到:演算法、算力、資料,構成了AI的三要素。而現實應用中,算力面臨的挑戰卻很複雜。

新基建、數智化、IoT等等這些技術趨勢落地,所表現出的就是資料量的規模無限擴大,資料更新頻次趨近實時,這些都意味著,需要被高效處理的資料越來越多了。OpenAI的行業報告顯示,AI算力需求每3.5個月就會翻一番。去哪裡尋找更多算力,廠商們給了不少答案,比如雲端計算、高效能運算等等。

但AI算力並不是一個將其他產業構建拿來東拼西湊,就可以完成的工作,它需要將計算與AI進行體系化的思考。舉個例子,AI發展也讓計算資源稀缺的情況愈加凸顯,如今,業內開始使用具備頂級計算能力的超算系統來為AI提供助力,這也對高效能運算提出了新的挑戰:

一是效能,越來越多的企業利用HPC來滿足海量資料和卷積神經網路的訓練需求,但受限於摩爾定律逐漸趨近天花板,以及半導體工藝對晶片功耗的影響,從2013年開始,全球超級計算機的效能提升速度開始變得平緩,很難繼續保持十年一千倍的發展速度。新基建龐大的數智化轉型需求,該如何保證算力供給,已經變得緊迫;

二是融合, AI面對的是許多種類的計算任務和計算架構,高效能運算也要解決傳統超算為數值計算設計的瓶頸,可以讓多種晶片協同工作、實現分散式訓練。而目前按照業內的共識,很多高效能運算都不是為人工智慧設計的,導致AI所需要的能力沒有提升上去,是需要迫切解決的。

三是功耗。經典高效能運算的效能功耗和價效比都比較低,事實上,登納德縮放比例定律(Dennard Scaling)從2007年開始放緩,到2012年幾乎變為零,也就是說,單個電晶體的功耗並不能伴隨著密度的增加而下降,依靠擴大並行規模來提高效能、打造“算力恐龍”的方法效率低下,需要花費更多的時間和能耗。要應對數智化浪潮,就必須尋找更合理的架構。

多樣性的算力,對計算基礎設施提出了全新的要求。如果用武俠電影來形容的話,智慧計算靠的不是一招一式的武打功夫,而是綜合了科技手段、電影表現、拍攝特技等等共同營造出的整體效果。

既要抗打,又要靈巧,各路招式融會貫通,顯然需要一次底層硬體和軟體的整體進化。想要回答這個時代命題,產業領軍者的戰略選擇與具體動作就十分值得關注了。

比武臺上的江湖:領軍者華為如何應對算力大考?

早在2017年,中國工程院院士李國傑就曾提到,人工智慧可能是中國在超算上彎道超車的一條途徑。在本屆超級算力大會上,中國工程院院士鄭緯民也進一步強調,高效能AI算力基礎設施對促進經濟發展、產業升級和科技進步具有重要意義。

而華為作為ICT產業的“頭雁”企業,在過去數年間正是按照這一發展方向佈局資料基礎設施。也憑藉其在“大國算力”領域所做出的成績,獲得“大資料和智慧計算領軍企業”這一榮譽。

這樣的重磅獎項,顯然不是無的放矢。根據評選標準我們發現,這個獎項是授予那些在計算領域開展架構創新,在通用計算與人工智慧計算產業的發展中做出巨大貢獻的企業。那麼,華為在計算領域的先進性到底體現在哪些方面,或許能夠幫我們解決當下關鍵歷史時期關於智慧計算的種種困惑。

目前看來,華為針對前面提到的三個關鍵算力問題,做了以下工作:

1.底層研發“基本功”,軟硬體協同突破算力效能瓶頸。

正如前面所說,單純地升級製造工藝或堆疊晶片硬體,並不足以打破高效能運算的效能增長放緩問題。華為所提供的解決方案,則從計算架構、處理器、基礎軟體,以及華為雲服務等一整個計算鏈條,透過長週期的研發投入,進而共同完成高效能運算叢集的效能突圍。

比如華為基於新一代2U雙插槽機架式伺服器,其功耗比競爭對手低20%。軟體層面,華為獨創IO智慧預取和SPARK機器學習演算法及圖增強演算法,使能鯤鵬在大資料場景獲得倍級效能提升。推出的開源資料虛擬化引擎openLooKeng,則支援跨資料格式、跨資料來源、跨資料中心的海量分析,華為合作伙伴北明軟體所打造的北明資料資產管理平臺V4.0,就基於openLooKeng大幅度提升了效能。

以江蘇電信為例,去年7月成功上線了全球首個基於鯤鵬處理器的運營商大資料平臺。經過雙方攜手完成基於鯤鵬處理器的開源Hadoop原始碼編譯,讓關鍵的大資料業務元件在華為TaiShan伺服器上的成功部署,實現了兩種不同架構的伺服器有效相容。

軟硬體的底層深度開發,是華為能夠在智慧計算領域厚積薄發的根本保障。

2.AI與HPC融會貫通,打造全面智慧的計算系統。

武俠迷可能都知道,混練兩種屬性不同的上乘武功,可不是一加一等於二那麼簡單,很容易走火入魔。融合的過程就如同“增熵”,在增加新事物的過程中也會讓原本無傷大雅的小問題持續疊加,不及時糾正最終會導致整個系統走向混亂、失序。

而人工智慧算力系統更是具備高度異構、複雜多樣、動態性強等等難題,極大地增加了系統的潛在不穩定性。如何將人工智慧AI與高效能運算HPC融會貫通,提供彈性、泛在的算力服務,對於ICT廠商來說並非易事。

華為的多樣性計算解決方案,則覆蓋了雲、邊、端的全棧AI,一方面,建構了全面的AI產品創新矩陣,包含著昇騰系列AI晶片、全場景AI計算框架MindSpore、Atlas全系列產品和基於昇騰雲服務等組成部分。無論是加速卡、加速模組、伺服器等終端計算硬體,還是智慧小站這樣可以在邊緣部署的產品,豐富的智慧計算產品讓不同場景各取所需。

同時,算力系統與人工智慧協同發揮各自優勢,實現統一的散熱設計、交換網路和運維管理。這種整體層面的規劃部署,透過有機整合,能夠較為容易地同時滿足科學性、先進性、穩定性、經濟性等需求,也更容易去適應政府、金融、電信、網際網路、大企業等不同行業應用需求,讓計算系統智慧化得以實現。

3.算力叢集規模化部署,提升產業落地效能。

如果說傳統武術與跆拳道搏擊等現代武術相比有什麼不同,那麼現代武術更接近工業化、標準化的培養模式,而傳統武術只能靠師傅教徒弟這種“人傳人”模式培養,從規模和效率角度看顯然不佔優勢。

同樣,數智化轉型也帶動了諸如智慧城市圈、智慧化工廠聚集區、大學高效能運算實驗室、電子商務產業園、大灣區數字經濟等等一批產業叢集,針對這些叢集提供針對性、極致效能的算力解決方案,無疑提升計算系統的功耗比。

因此,華為在2019年就開始打造鯤鵬、昇騰產業生態,透過AI算力叢集來賦能產業叢集,實現智慧計算的規模化、極致化應用。

比如華為Atlas 產品就因為具備良好的叢集性,可以將叢集損耗降到同類產品最低,能夠更好地支撐諸如智慧城市等規模化分散式平行計算的需求。

在實踐中,華為提供基於Atlas AI伺服器和ISV應用軟體的一體化解決方案,幫助深圳交警建構了城市交通大腦,透過Atlas硬體搭建了一朵影片雲,實現彈性排程和影片數資源池化,用來進行影片管理和影片分析。在邊緣部署攝像機,交管部門可廣泛採集人、車、物等資訊,提高城市立體化、動態化防控能力。

從“散裝模式”走向“叢集作戰”,也為智慧計算產業探索出了一種更加節能綠色的路徑。

經世致用,敢為人先:華為的算力武學

中國思想家黃宗羲曾經在《明夷待訪錄·兵制》篇中,著重提到武學的根本是“經世之學”“致用”。如今,多樣性算力就如同武學一樣,成為興國興邦的時代選擇。

如何讓算力基礎設施建以致用、賦能新基建,是擺在ICT產業面前的核心命題。

解決了傳統高效能運算與智慧需求融合的既有問題之後,多樣性算力想要走進千行萬業,變成“經世致用”,需要面對的現實是:

AI應用面對著無數差異化場景,意味著通用型解決方案力有不逮;複雜資料、邊緣硬體、雲端協作,需要對計算、儲存、網路在內的系統進行綜合考量,來架設計算系統等等。

對於華為來說,拿下“大資料和智慧計算領軍企業”殊榮固然重要,但更重要的是擔當起引領產業發展、提供破局密碼的責任。

因此在此次大會上,華為叢集計算產業發展總監謝海波博士也提出,應該重視應用的“可獲得算力”,形成“建以致用”的產業共識,以多樣性算力承載“新基建”多樣性業務需求。透過“政產學研用”五位一體的方式,共建“新基建”多樣性算力的生態。

具體應該怎麼做呢?我們在華為的新計算中看到了一種兼具現實主義和浪漫主義的“暴力美學”。

一是應用。讓大規模AI計算以一體化的資訊化解決方案,讓千行千面的算力需求攻無不克。目前,鯤鵬大資料解決方案已經廣泛部署和應用於電信、政府、金融等行業,以鯤鵬與浙江移動的合作為例,2019年,浙江移動相繼完成了IT雲鯤鵬伺服器測試,營業廳前臺系統、CRM、計費、大資料、CDN等系統的驗證及上線商用。這其中,浙江移動的CRM& BOSS系統在鯤鵬大資料方案支撐下,整體得到了較大提升,在規模承載網路運營支撐業務的情況下,該系統現在已經穩定執行一年。

目前,浙江移動圍繞網路雲,IT雲和移動雲,已經打造了全球首個運營商領域ICT全場景樣板點。

在政務雲平臺的建設過程中,也需要充分考慮不同類業務的實際需求,實現靈活部署。不久前上線的“壯美廣西·玉林政務雲(鯤鵬雲)”,就依託鯤鵬的大資料解決方案,推出了廣西首個市級公共資料開放管理辦法,在全市推廣數字政務一體化應用。

可以說,正是支援多種計算形態,從終端、邊緣、雲端全面的解決方案,將碎片化計算資源進行整合的通盤方案,讓AI算力有了落地各個產業的現實基礎。

二是開放。如果沒有軟體端、開發端等ISV夥伴來將AI算力進行有效落地,那麼再高效能也只能埋沒在資料中心裡。於是我們看到,華為透過支援鯤鵬和X86混合部署、基礎軟體生態開源等,為開發者提供覆蓋端、邊、雲的全場景開發框架。

上汽大眾就採用TaiShan伺服器構建研發HPC平臺,針對開源 OpenFOAM軟體進行調優,將研發效率提升了30%以上;日本U-NEXT基於TaiShan伺服器構建影片內容儲存平臺,三年TCO整體可降低約20%。

透過對開發生態的賦能與扶持,各行各業正在華為的算力土壤上運掉自如,凌空飛翔。開放化的作風,也讓華為得以在計算領域“開宗立派”,成為標杆。

而新基建所需要的算力,也得以用武俠般飄然若仙的姿態,飛揚在城市上空,並有希望將所有人帶入未來奇景之中。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2734299/,如需轉載,請註明出處,否則將追究法律責任。

相關文章