計算激變:當華為跨過一切走向星空
“恆有二者,餘畏敬焉。位我上者,燦爛星空;道德律令,在我心中。”
這句寫在《純粹理性批判》一書和康德墓碑上的話,可以被看作是康德哲學思想的精煉。其中康德將外部世界概括為Starry heaven——充滿星星的蒼穹。在很多時候,人們對於這個世界的探索精神,都被抽象成了對星辰大海的追逐。星星為什麼會閃耀?星河的黑暗之處,又隱藏著什麼祕密?這些疑問,是我們與生俱來的好奇心的最好表現。
在天性的指引之下人類不斷踏平一切阻礙,去踐行探索。例如用豐富的交通工具踏平物理距離,讓人類可以真正地踏步星雲之中,或是用數字化記錄踏平時間的阻隔,把一切轉瞬即逝記錄成永生的資料。
在跨越空間與時間障礙之後,下一個攔在我們與星空之間的障礙,便是計算了。
讓星光穿越大洋洲
故事要從一個天文望遠鏡說起。
從17世紀開始,天文望遠鏡就成了人們觀測宇宙星空的絕佳工具。隨著技術不斷髮展,直到今天,這一工具讓我們的目光更加深遠,透徹地瞭解到宇宙與星體。到了如今的射電天文觀測時代,我們已經能通過望遠鏡接受宇宙中的無線電波,捕捉光年之外的訊號。但從自然科學的角度來說,很多時候工具越發達、我們發現的資訊越多,也就愈發認識到自己的渺小。
想象一下,當考古學家們發現龐大的墓群時,除了驚喜與驚歎,他們所做的更多是潛心研究,不斷推翻自己的認知體系。同樣天文望遠鏡所捕捉到的每一點資訊,也都值得被分析研究。尤其和靜止於時空中的文物不同,無線電波處於動態之中,有時需要對大面積星空進行實時觀測,才能捕捉到天文現象。而這其中所需要的算力支援,幾乎是難以想象的。
基礎研究並不會因為配套設施的不足而停止,近年以來,我們進入了“SKA時代”。
所謂SKA既平方公里射電陣(Square Kilometre Array),由眾多碟形天線構成的巨型射電望遠鏡陣列。
憑藉超高靈敏度、超大視場、超快巡天速度和超高解析度來獲取、觀測到那些以往未知的資訊,甚至有望在宇宙起源、生命起源、宇宙磁場起源、引力本質、地外文明等“終極問題”中獲得突破。
而SKA望遠鏡所產生的資料也是巨大的,資料顯示SKA建成後每年存檔大約600PB的資料,遠超於今天的網際網路。
這樣龐大體量的資料,先不提計算,光是傳輸就是一個巨大的問題。曾經有一種說法稱,把100PB的資料從北京傳輸到上海,最快的速度是順豐快遞。這並非是笑談。
而目前SKA望遠鏡的兩個中心區域一個在澳大利亞一個在南非,我們要如何將這些資料跨越大洋洲與其他研究機構共享,是飛機?輪船?或是傳說中的6G網路?
資料熔爐中,宇宙與星空之祕
我們已經有了能力將宇宙中的訊號記錄成資料,但如果無法從這些資料中得出結論,它們便會塵封於資料庫之中,像一個個未解的謎團。
如何解開這些資料謎團,挖掘其中的價值資訊?上海天文臺給出了答案——華為雲AI。
如果參加過今年華為HC大會的人一定記得,在現場展示了華為雲與上海天文臺合作利用華為雲AI昇騰叢集服務對南半球星空的射電星系進行搜尋和識別, SKA先導專案所產生的海量資料被安置在了雲端,華為雲AI昇騰叢集服務如同一座鋼鐵熔爐,輸入資料燃料,煉出關於宇宙與星空的祕密。
在最近的SKA上海大會暨第六屆SKA工程大會上,我們得以瞥見有關這一答案的更多訊息,也能看到華為雲AI究竟是如何帶領人類破壁,解密星空。
作為當前全球最大的科研專案,SKA專案所面臨的問題其實也集科研領域於一處。
首要的,是計算能力本身。正如前文所說,科研資料往往體量巨大,甚至超出現有計算能力。對這些資料進行挖掘、將其訓練成AI模型以提升未來的研究效率更是困難;其次還有科研協作。龐大資料量不僅僅受計算能力影響,同時也在影響協作效率。很多天文類的科研專案都和SKA一樣,需要把望遠鏡或望遠鏡陣列建設在世界各地,對於這些科研專案來說,想要實現分散式的協作研究,往往要耗費大量成本在本地建立資料中心。最後還有軟體效率,面對深度學習這一新興工具,科研專案所建立的AI模型是否兼備高效能和高實用性,更重要的是是否具備可移植性。然而這一切都是伴隨海量資料而來的問題。
從計算宇宙到計算世界:華為給出的三層方法論
在和上海天文臺的合作上,華為雲給出了很好的解答樣本。我們不妨從雙方的合作中提煉出若干方法論,看看這些方法論是否能在人類探索世界的整個過程中奏效。
第一層方法論,是巨大計算引擎本身帶來的效率升級。
基於Atlas900,華為雲AI昇騰叢集服務在合作過程中起到重要作用。它是當前全球最快的AI訓練叢集,由上千顆有“最強AI處理器”之稱的昇騰910 AI處理器搭建而成。強大計算力匯聚之下,讓它獲得了世界頂級算力。當“地表最強”叢集服務碰撞上同樣“地表最強”的科研專案,帶來的結果是非常震撼的。
就拿宇宙中星體定位、分類這一項工作來說,在處理SKA先導專案星空觀測資料時,使用傳統方法天文學家需要169天才能完成一次對南半球星空中大約20多萬顆星體的定位和識別。而在上海天文臺與華為的合作中,通過深度學習方法訓練AI模型,並利用華為雲AI昇騰叢集服務,僅需10秒就能完成任務。
從169天到10秒,其效率提升的意義無異於穿梭於時空之間的時間機器。
第二層方法論,來自全新的部署未來。
華為雲之於SKA專案的意義,一方面來自於昇騰910帶來的強大算力,另一方面則來自於“雲”。我們都知道雲化對於產業帶來的意義——將資料跨越空間進行寫作部署,根據自身需求變化彈性化的購置資源,隨時在雲端共享軟體能力的更新……但一旦涉及科研這種資料量巨大的領域,似乎很難依賴於雲端。實際上昇騰叢集採用的100G以太高速叢集網際網路絡,可以讓星海高速行走於雲間,便於諸如澳洲-上海之間的科研協作。
這種彈性儲存的部署模式,相比建立資料庫成本更加低廉、效率也更高,同時也降低了資料的訪問門檻。或許未來其他科研機構也可以登入雲端平臺訪問SKA資料,從星海之中找到自己想要的答案。
第三層方法論,來自AI這一出發點。
海量天文資料,需要的是暴力的計算,同樣也需要“聰明的計算”。在華為雲的全棧AI能力之下,上海天文臺也得以將更多AI能力帶入科研之中。例如現在,華為雲和上海天文臺正在嘗試使用AI對射電望遠鏡接收的脈衝星訊號進行識別。倚仗華為雲AI能力和數以萬計脈衝星訊號資料,昇騰叢集在短時間內完成訓練並建立AI脈衝星識別模型,判斷影象是否為脈衝星訊號,精準率和召回率均高達98%以上。
暴力計算解放人力,讓科學家們將時間投入到更多有價值的研究領域中。而智慧則解放算力,算的更聰明,就能算的更高效。
探索之途,停在下個時代門前
這一系列方法論,顯然不只適用於天文一個領域。
康德將一切外物定義為“燦爛星空”,是因為人類探索一切,就像探索星空。實際上SKA專案上出現的巨大計算需求,僅僅是人類探索世界過程中的一個階段縮影。
之所以會出現算力需求的裂谷,是因為我們走向了數字化的頂峰。感測器與網際網路的遍佈,加上基礎科學的進步,讓我們有了將宇宙中的一切轉換成資料的能力。大到用射電望遠鏡捕捉光年之外的脈衝訊號,小到一條公路的智慧化,甚至一顆藥物的研發,幾乎都可以利用資料化模擬整個過程。自動駕駛、氣象研究、地質研究、工業數字孿生……這些領域正在各自形成資料洪流,滾滾向前。
更何況我們還有此前累積下的海量資料——2018年Forrest報告稱,大多數公司認為自己只分析了12%的大資料。也就是說,這個世界上有88%的大資料都被塵封了起來,在悶熱的機房中無聲嘆息。
這一切或許不會都像天文領域一樣,能夠通過暴力計算獲得如此巨大的改變。但當前的計算供應,與未來趨勢一定是不匹配的。
算力硬體不僅昂貴,從生產者到應用者之間還包含著多個複雜的產業環節。甚至即使其中加工者無數,最後的解決方案也不一定能很好的適應場景需求。更何況還有複雜的配套搭建過程——動輒佔地上百平米的資料中心和複雜的日常運維,無一不需要週期漫長的資金和人力投入。
萬事萬物的數字化明明到來的那麼自然,為什麼在下一個時代的門口會出現如此難以跨越的門檻?
激變發生、打破桎梏:觸碰星空的華為雲
這個世界的奇妙之處就在於,我們似乎一直在闖關升級,難以解決的矛盾一旦集中起來浮出水面,便會得以解決。
華為雲AI昇騰叢集服務的出現就是如此。
如果華為雲AI昇騰叢集服務提早幾年出現,我們可能會認為這隻“AI算力怪獸”有炫技之嫌。而在2019年,我們真正直觀的感受到了SKA專案帶來的海量天文資料,看到近在咫尺的自動駕駛,看到5G網路即將帶來的萬物互聯,才真正感知到,人類的計算力,還需要更強一點。
同樣華為也是在這一年釋出了他們的計算戰略——一邊是利用基礎研究創新架構,推出適應算力增長的達芬奇架構,另一邊推出了昇騰、鯤鵬、麒麟、鴻鵠四款分別應對AI計算、通用計算、移動終端和智慧屏需求的晶片。加上對於華為雲AI昇騰叢集服務在AI訓練計算的佈局,華為已經對未來計算市場形成了一種籠罩式的佈局,預判產業的下一步發展,然後做好準備。
就拿SKA專案為例,華為雲給出的三條方法論實際上已經顛覆了“算力”這種資源的獲取方式,將算力和儲存從資料中心、超算中心轉移到雲上,無異於把蘋果樹苗變成貨架上的蘋果。獲取地表最強的算力,不再需要漫長的植樹耕耘,只需隨手拿取。這種激變,如同刀耕火種與食品工業化的對照。
激變還發生在更多地方。
我們看到達芬奇架構在改變每一款晶片中矩陣計算的效率;看到不同領域的晶片正在鉚住產業關節,深深植入計算;看到工程能力、網路技術等等其他儲備也與計算叢集或晶片結合,去解決散熱、整合等等問題。
星空當前,華為雲正在集中一切力量去打破計算的桎梏。
或許在五年或十年之後,以華為云為代表的桎梏打破者會為我們的生活帶來天翻地覆的變化,我們可能在AI的幫助下從宇宙中捕捉到另一個種族的聲音,可能能夠預測很多自然災害,或是精準預知明年的天氣變化……但當我們把歷史的座標拉長,再回頭看看,可能早已對這一切習以為常。今天的一切幻想,總有一天會變成不起眼的日常細節。於是我們才不停探索,永遠嚮往未知。
但人們總會記得,在一次悄然無息或轟轟烈烈的計算升級後,我們距離頭頂的星空,又近了一點。
在這場旅途之中,我們每一個人都是探索者。而華為也提供了我們與其他探索者相遇的機會——2020年2月11日到12日,華為將在深圳面向開發者召開華為開發者大會2020(Cloud)。參與者可以與開發高手現場交流,並體驗豐富的黑科技。宇宙旅途,時刻發生。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2666114/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 華為:計算 2030(附下載)
- 華為鳳凰引擎:從GT走向RT
- 自此乾坤始:中國量子計算產業化的激變時刻產業
- “華為號”,決定穿越計算光年
- 華為跨界做電視
- 行算如將兵:智慧計算中的“華為兵法”
- 智慧計算,“芯”時代的華為雲
- 華為:預計2023年華為銷售收入超過7000億元
- 透過華為軍團看科技之變(六):智慧公路
- 透過華為軍團看科技之變(五):智慧園區
- 王恩東:智慧未來,一切皆計算
- 變相激發FileUpload事件事件
- 透過華為軍團看科技之變(一):廣域網路
- 透過華為軍團看科技之變(二):機場軌道
- 站在未來計算的交界線:中科曙光如何推動傳統計算走向智慧
- 飛鳥與風神:華為計算的悠悠長卷
- 跨過野蠻生長的直播電商下一步該走向何方?
- 易華錄與華為企業雲達成雲端計算戰略合作
- 透過華為軍團看科技之變(三):資料中心底座
- 剛剛,華為全場景 AI 計算框架MindSpore開源!AI框架
- 從“芯”出發 華為釋出智慧計算新戰略
- 【上海】上海華為招聘devops、雲端計算研發工程師dev工程師
- 當「轉型人工智慧」成為一個好公司走向失敗的原因……人工智慧
- 十萬行業質變正當時:華為雲解出了一道產業AI公式行業產業AI公式
- 激盪十年,從未來視窗 re:Invent 看雲端計算髮展變遷 | Q 推薦
- 透過華為軍團看科技之變(四):互動媒體(音樂)
- OPPO R15星空紫的真機圖賞:最有個性的星空漸變之美
- 合計為華人
- 時間可以改變一切
- 當頁面渲染遇上邊緣計算
- 當雲端計算飛向深空
- 【計算講談社】第十講|當雲端計算遇上碳中和
- 華為FusionCube超融合:滿足客戶未來一切雲化所需
- 華為HMS出海生態聯盟正式成立,10億美元耀星計劃已激勵1萬+應用
- 實現跨鏈支援的多節點計算去中心化計算網路中心化
- 滿足客戶多場景需求 華為讓智慧計算無死角
- 普惠AI,華為面向多場景釋出智慧計算平臺AI
- 年報首提“雲與計算”:華為的“新基建”成績如何?