計算激變:當華為跨過一切走向星空

naojiti發表於2019-11-28

“恆有二者,餘畏敬焉。位我上者,燦爛星空;道德律令,在我心中。”

這句寫在《純粹理性批判》一書和康德墓碑上的話,可以被看作是康德哲學思想的精煉。其中康德將外部世界概括為Starry heaven——充滿星星的蒼穹。在很多時候,人們對於這個世界的探索精神,都被抽象成了對星辰大海的追逐。星星為什麼會閃耀?星河的黑暗之處,又隱藏著什麼秘密?這些疑問,是我們與生俱來的好奇心的最好表現。

在天性的指引之下人類不斷踏平一切阻礙,去踐行探索。例如用豐富的交通工具踏平物理距離,讓人類可以真正地踏步星雲之中,或是用數字化記錄踏平時間的阻隔,把一切轉瞬即逝記錄成永生的資料。

在跨越空間與時間障礙之後,下一個攔在我們與星空之間的障礙,便是計算了。

讓星光穿越大洋洲

故事要從一個天文望遠鏡說起。

從17世紀開始,天文望遠鏡就成了人們觀測宇宙星空的絕佳工具。隨著技術不斷髮展,直到今天,這一工具讓我們的目光更加深遠,透徹地瞭解到宇宙與星體。到了如今的射電天文觀測時代,我們已經能透過望遠鏡接受宇宙中的無線電波,捕捉光年之外的訊號。但從自然科學的角度來說,很多時候工具越發達、我們發現的資訊越多,也就愈發認識到自己的渺小。

想象一下,當考古學家們發現龐大的墓群時,除了驚喜與驚歎,他們所做的更多是潛心研究,不斷推翻自己的認知體系。同樣天文望遠鏡所捕捉到的每一點資訊,也都值得被分析研究。尤其和靜止於時空中的文物不同,無線電波處於動態之中,有時需要對大面積星空進行實時觀測,才能捕捉到天文現象。而這其中所需要的算力支援,幾乎是難以想象的。

基礎研究並不會因為配套設施的不足而停止,近年以來,我們進入了“SKA時代”。

所謂SKA既平方公里射電陣(Square Kilometre Array),由眾多碟形天線構成的巨型射電望遠鏡陣列。

憑藉超高靈敏度、超大視場、超快巡天速度和超高解析度來獲取、觀測到那些以往未知的資訊,甚至有望在宇宙起源、生命起源、宇宙磁場起源、引力本質、地外文明等“終極問題”中獲得突破。

而SKA望遠鏡所產生的資料也是巨大的,資料顯示SKA建成後每年存檔大約600PB的資料,遠超於今天的網際網路。

這樣龐大體量的資料,先不提計算,光是傳輸就是一個巨大的問題。曾經有一種說法稱,把100PB的資料從北京傳輸到上海,最快的速度是順豐快遞。這並非是笑談。

而目前SKA望遠鏡的兩個中心區域一個在澳大利亞一個在南非,我們要如何將這些資料跨越大洋洲與其他研究機構共享,是飛機?輪船?或是傳說中的6G網路?

資料熔爐中,宇宙與星空之秘

我們已經有了能力將宇宙中的訊號記錄成資料,但如果無法從這些資料中得出結論,它們便會塵封於資料庫之中,像一個個未解的謎團。

如何解開這些資料謎團,挖掘其中的價值資訊?上海天文臺給出了答案——華為雲AI。

如果參加過今年華為HC大會的人一定記得,在現場展示了華為雲與上海天文臺合作利用華為雲AI昇騰叢集服務對南半球星空的射電星系進行搜尋和識別, SKA先導專案所產生的海量資料被安置在了雲端,華為雲AI昇騰叢集服務如同一座鋼鐵熔爐,輸入資料燃料,煉出關於宇宙與星空的秘密。

在最近的SKA上海大會暨第六屆SKA工程大會上,我們得以瞥見有關這一答案的更多訊息,也能看到華為雲AI究竟是如何帶領人類破壁,解密星空。

作為當前全球最大的科研專案,SKA專案所面臨的問題其實也集科研領域於一處。

首要的,是計算能力本身。正如前文所說,科研資料往往體量巨大,甚至超出現有計算能力。對這些資料進行挖掘、將其訓練成AI模型以提升未來的研究效率更是困難;其次還有科研協作。龐大資料量不僅僅受計算能力影響,同時也在影響協作效率。很多天文類的科研專案都和SKA一樣,需要把望遠鏡或望遠鏡陣列建設在世界各地,對於這些科研專案來說,想要實現分散式的協作研究,往往要耗費大量成本在本地建立資料中心。最後還有軟體效率,面對深度學習這一新興工具,科研專案所建立的AI模型是否兼備高效能和高實用性,更重要的是是否具備可移植性。然而這一切都是伴隨海量資料而來的問題。

從計算宇宙到計算世界:華為給出的三層方法論

在和上海天文臺的合作上,華為雲給出了很好的解答樣本。我們不妨從雙方的合作中提煉出若干方法論,看看這些方法論是否能在人類探索世界的整個過程中奏效。

第一層方法論,是巨大計算引擎本身帶來的效率升級。

基於Atlas900,華為雲AI昇騰叢集服務在合作過程中起到重要作用。它是當前全球最快的AI訓練叢集,由上千顆有“最強AI處理器”之稱的昇騰910 AI處理器搭建而成。強大計算力匯聚之下,讓它獲得了世界頂級算力。當“地表最強”叢集服務碰撞上同樣“地表最強”的科研專案,帶來的結果是非常震撼的。

就拿宇宙中星體定位、分類這一項工作來說,在處理SKA先導專案星空觀測資料時,使用傳統方法天文學家需要169天才能完成一次對南半球星空中大約20多萬顆星體的定位和識別。而在上海天文臺與華為的合作中,透過深度學習方法訓練AI模型,並利用華為雲AI昇騰叢集服務,僅需10秒就能完成任務。

從169天到10秒,其效率提升的意義無異於穿梭於時空之間的時間機器。

第二層方法論,來自全新的部署未來。

華為雲之於SKA專案的意義,一方面來自於昇騰910帶來的強大算力,另一方面則來自於“雲”。我們都知道雲化對於產業帶來的意義——將資料跨越空間進行寫作部署,根據自身需求變化彈性化的購置資源,隨時在雲端共享軟體能力的更新……但一旦涉及科研這種資料量巨大的領域,似乎很難依賴於雲端。實際上昇騰叢集採用的100G以太高速叢集網際網路絡,可以讓星海高速行走於雲間,便於諸如澳洲-上海之間的科研協作。

這種彈性儲存的部署模式,相比建立資料庫成本更加低廉、效率也更高,同時也降低了資料的訪問門檻。或許未來其他科研機構也可以登入雲端平臺訪問SKA資料,從星海之中找到自己想要的答案。

第三層方法論,來自AI這一出發點。

海量天文資料,需要的是暴力的計算,同樣也需要“聰明的計算”。在華為雲的全棧AI能力之下,上海天文臺也得以將更多AI能力帶入科研之中。例如現在,華為雲和上海天文臺正在嘗試使用AI對射電望遠鏡接收的脈衝星訊號進行識別。倚仗華為雲AI能力和數以萬計脈衝星訊號資料,昇騰叢集在短時間內完成訓練並建立AI脈衝星識別模型,判斷影像是否為脈衝星訊號,精準率和召回率均高達98%以上。

暴力計算解放人力,讓科學家們將時間投入到更多有價值的研究領域中。而智慧則解放算力,算的更聰明,就能算的更高效。

探索之途,停在下個時代門前

這一系列方法論,顯然不只適用於天文一個領域。

康德將一切外物定義為“燦爛星空”,是因為人類探索一切,就像探索星空。實際上SKA專案上出現的巨大計算需求,僅僅是人類探索世界過程中的一個階段縮影。

之所以會出現算力需求的裂谷,是因為我們走向了數字化的頂峰。感測器與網際網路的遍佈,加上基礎科學的進步,讓我們有了將宇宙中的一切轉換成資料的能力。大到用射電望遠鏡捕捉光年之外的脈衝訊號,小到一條公路的智慧化,甚至一顆藥物的研發,幾乎都可以利用資料化模擬整個過程。自動駕駛、氣象研究、地質研究、工業數字孿生……這些領域正在各自形成資料洪流,滾滾向前。

更何況我們還有此前累積下的海量資料——2018年Forrest報告稱,大多數公司認為自己只分析了12%的大資料。也就是說,這個世界上有88%的大資料都被塵封了起來,在悶熱的機房中無聲嘆息。

這一切或許不會都像天文領域一樣,能夠透過暴力計算獲得如此巨大的改變。但當前的計算供應,與未來趨勢一定是不匹配的。

算力硬體不僅昂貴,從生產者到應用者之間還包含著多個複雜的產業環節。甚至即使其中加工者無數,最後的解決方案也不一定能很好的適應場景需求。更何況還有複雜的配套搭建過程——動輒佔地上百平米的資料中心和複雜的日常運維,無一不需要週期漫長的資金和人力投入。

萬事萬物的數字化明明到來的那麼自然,為什麼在下一個時代的門口會出現如此難以跨越的門檻?

激變發生、打破桎梏:觸碰星空的華為雲

這個世界的奇妙之處就在於,我們似乎一直在闖關升級,難以解決的矛盾一旦集中起來浮出水面,便會得以解決。

華為雲AI昇騰叢集服務的出現就是如此。

如果華為雲AI昇騰叢集服務提早幾年出現,我們可能會認為這隻“AI算力怪獸”有炫技之嫌。而在2019年,我們真正直觀的感受到了SKA專案帶來的海量天文資料,看到近在咫尺的自動駕駛,看到5G網路即將帶來的萬物互聯,才真正感知到,人類的計算力,還需要更強一點。

同樣華為也是在這一年釋出了他們的計算戰略——一邊是利用基礎研究創新架構,推出適應算力增長的達芬奇架構,另一邊推出了昇騰、鯤鵬、麒麟、鴻鵠四款分別應對AI計算、通用計算、移動終端和智慧屏需求的晶片。加上對於華為雲AI昇騰叢集服務在AI訓練計算的佈局,華為已經對未來計算市場形成了一種籠罩式的佈局,預判產業的下一步發展,然後做好準備。

就拿SKA專案為例,華為雲給出的三條方法論實際上已經顛覆了“算力”這種資源的獲取方式,將算力和儲存從資料中心、超算中心轉移到雲上,無異於把蘋果樹苗變成貨架上的蘋果。獲取地表最強的算力,不再需要漫長的植樹耕耘,只需隨手拿取。這種激變,如同刀耕火種與食品工業化的對照。

激變還發生在更多地方。

我們看到達芬奇架構在改變每一款晶片中矩陣計算的效率;看到不同領域的晶片正在鉚住產業關節,深深植入計算;看到工程能力、網路技術等等其他儲備也與計算叢集或晶片結合,去解決散熱、整合等等問題。

星空當前,華為雲正在集中一切力量去打破計算的桎梏。

或許在五年或十年之後,以華為云為代表的桎梏打破者會為我們的生活帶來天翻地覆的變化,我們可能在AI的幫助下從宇宙中捕捉到另一個種族的聲音,可能能夠預測很多自然災害,或是精準預知明年的天氣變化……但當我們把歷史的座標拉長,再回頭看看,可能早已對這一切習以為常。今天的一切幻想,總有一天會變成不起眼的日常細節。於是我們才不停探索,永遠嚮往未知。

但人們總會記得,在一次悄然無息或轟轟烈烈的計算升級後,我們距離頭頂的星空,又近了一點。

在這場旅途之中,我們每一個人都是探索者。而華為也提供了我們與其他探索者相遇的機會——2020年2月11日到12日,華為將在深圳面向開發者召開華為開發者大會2020(Cloud)。參與者可以與開發高手現場交流,並體驗豐富的黑科技。宇宙旅途,時刻發生。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2666114/,如需轉載,請註明出處,否則將追究法律責任。

相關文章