百度的雲圖丹青

naojiti發表於2021-06-15

雲端計算與AI的關係,在幾年間經歷了數次變化。

最開始,基於雲端計算提供AI服務僅僅是方向和趨勢,輸送能力以基礎演算法為主。隨後,開始出現基於雲端計算提供體系化的AI訓練、開發、部署與應用服務。雲與AI緊密的關係更加緊密,可以滿足企業的複雜智慧化需求。

那麼,雲與AI的下一步是什麼?

按照產業期待和技術發展趨勢,“雲+AI”的下一步應該走向基礎設施緊密耦合,無論是開發還是應用需求都能被充分滿足,各種智慧化需求都能在雲端計算體系中得到充分釋放的新形態。這個階段,AI不再是雲端計算的“嵌入物,而是呈現給使用者和開發者AI原生雲,雲與智慧高度一體化的產業特徵。

在國畫丹青裡,我們能見到的不是一山一石、一草一木,而是浩蕩山河,琳琅草木。真正適配行業智慧化需求,滿足工業級AI需求的雲端計算體系,也應該是一幅諸多領先技術、核心能力與服務體系構成的悠悠長卷。在百度智慧雲看來,這副長卷應該叫做“AI原生雲”。

去年10月,百度智慧雲首次提出了“AI原生雲”的行業判斷與產業設想。經歷了快節奏發展,在6月3日的百度雲智峰會智慧計算峰會中,我們可以看到AI原生雲的構成要件已經十分豐富,核心產品已經充盈完善。不僅有百度滄海儲存技術與百度百舸AI異構計算平臺兩個新品牌首次亮相,百度智慧雲還發布和升級了一系列產品,最終組成一幅題為“AI原生雲”的千里江山圖。

(6月3日,2021百度智慧計算峰會,百度智慧雲布一系列AI原生雲產品)

問道組筆:AI原生雲的時代圖畫

很早之前我們就討論過,雲端計算與AI合流具有產業區位上的必然性。因為雲端計算的彈性特徵是輸送智慧的最佳方式,而透過雲端計算或許智慧,也是企業門檻最低、效率最高的接入方式。

如今,AI已經成為每一家雲端計算廠商的產業重心。在“雲+AI”的方向確立後,下一步問題就是如何讓企業使用者和開發者更簡單、高效、低成本接入AI,負載工業級應用。如果雲端計算廠商是一位位畫師,AI是他們共同描摹的物件,那麼第一步,就是要確定如何能畫出最精彩的AI。這是“雲畫師”的求道。

整體而言,AI對雲端計算體系提出了三大挑戰:

首先是AI的訓練、部署與應用帶來了高強度且複雜的異構計算需求,極大程度上改變了傳統的雲端算力提供規則與伺服器特性。

其次是AI在企業落地,需要部署在雲、邊、端等多個場景,產生了令人眼花繚亂的分散式計算需求,繼而導致雲廠商需要提供的平臺與服務種類極度增多。

還有一點,企業對於AI成本降低、難度下降的期待是始終不變的。如何滿足企業多樣化的開發與應用需求,讓算力成本降低、演算法難度下降,也是雲廠商始終不變的方向。

綜合這三條AI之道,“雲畫師”需要重新組織筆法,編制產業藍圖,繪製技術差異化。而百度智慧云為強異構、多端部署、簡單易用的“雲智一體”的雲端計算架構,定義為“AI原生雲”。

百度集團副總裁侯震宇認為:“ AI原生雲是推動企業智慧化升級的核心驅動力,AI原生雲在算力層面提供面向AI場景的彈性高效能的異構算力,在應用開發層面,提供面向AI應用場景的系列低門檻開發平臺,幫助企業把AI應用架構做得更加簡潔、更加敏捷。”

丹青水墨,講究山為骨、水為魂。百度智慧雲認為,AI原生雲的基礎是算力與應用開發平臺的多元融合。算力、資料、開發、應用平臺的山水相融,才能描畫出智慧時代的潑墨長卷。

針對AI原生雲必須具備的三大核心能力,即AI異構計算平臺、分散式雲基礎設施、AI應用開發平臺,百度雲智峰會智慧計算峰會中一次釋出升級了八大新品,其中包括有百度太行彈性裸金屬伺服器3.0、百度滄海並行檔案儲存PFS、第五代雲伺服器例項、智感超清一體機等等。

這些全面升級的AI基礎設施,就像一道道筆觸,組成了計算與智慧的山河圖。

雄奇築太行,雲帆濟滄海

AI原生雲這幅畫卷,首先需要的是作為基礎的算力和儲存。

適配AI需求,且充沛低成本的算力,以及與計算緊密相關的資料儲存能力,是AI發展的根基。就像水墨畫中的山,構成了整幅畫的骨架與輪廓,決定著丹青的走勢。

在百度智慧雲提供的AI原生雲中,算力也與“山”緊密相連。百度智慧雲釋出了新一代雲基礎架構“太行”,基於百度自主研發的硬體虛擬化技術,重構百度智慧雲的算力基礎設施,同時擁有云伺服器的資源彈性和物理機的高效能體驗,以滿足AI原生時代對海量算力的需求。

面向更具體的AI算力需求,百度智慧雲釋出了百度太行彈性裸金屬伺服器3.0。太行全面升級了彈性裸金屬全特性,實現對網路解除安裝、PCIe裝置熱插拔的支援,讓裸金屬可以和虛機一樣雲磁碟快速啟動。基於新一代自研智慧網路卡,太行還能實現裸金屬、虛機、容器多種算力在網路與儲存上的統一,充分匹配AI任務的計算需求。

如果說算力是山,那麼資料的存放、呼叫、使能就是讓山色流淌,算力發生價值的水。為了滿足使用者應用AI時日益提高的高效能運算需求,百度智慧雲釋出了儲存品牌滄海。

我們知道,資料是百度的核心優勢,而資料的存、算、用也就必然是百度必須不斷強化的技術能力。在儲存領域,滄海就源於百度20多年的業務和客戶服務實踐,擁有存算一體、軟硬一體、雲邊一體的技術優勢;擁有極致速度、極致彈性、極致價效比、極致可靠、極致簡單的技術特性。

面向智慧時代,高效能與海量儲存成為了企業上雲、部署AI的關鍵支撐。而滄海可以從幾個方面解決核心的儲存問題。一是資料上雲,提供了離線、線上資料上雲的方式;二是解決資料儲存的問題,提出以物件儲存為核心,面向AI場景做了高速最佳化的能力;三是面向AI場景,AI的訓練和處理分析的能力。

以分散式儲存場景為例,全新發布的滄海並行檔案儲存PFS可以支援物件儲存資料連線,實現冷熱資料真正的聯通,資料綜合成本降低60%以上。並且滄海還覆蓋HPC場景的效能需求,具備超高效能超低延遲的關鍵特性。

讓資料的滄海與計算的太行相互圍繞,構成算力與資料底座牢不可破,源遠流長。

(圖:林德坤 國畫 - 雲繞太行)

崑崙山下,百舸飛槳

算力和儲存是AI原生雲的引擎,開發就是AI原生雲的作業系統。讓使用者和開發者低成本、高效率、低難度完成AI開發與應用,是AI興起以來的永恆命題,也是百度在AI領域能夠築起護城河的關鍵所在。

有了算力、儲存作為AI原生雲的山海基礎,開發平臺就化身為這幅圖畫中靈動的“舟”。基於開發體系,可以匹配各行業開發者的個性需求,或面向工業級的挑戰,或完成意想不到的細微創造;既要與實驗室中的專家學者共舞,又要幫助完全沒有程式碼經驗的開發者工作。

而在雲端計算場景中,異構計算是大量企業應用AI的最大挑戰。為了進一步幫助使用者降低AI開發門檻,完成工業級的AI落地,百度智慧雲推出了全新的AI異構計算平臺百舸,取意“百舸爭流,奮楫者先”。百度百舸由AI計算、AI儲存、AI容器三部分組成,可以針對不同的AI應用場景,完成不同計算自由、儲存資源、容器應用的彈性與高效互聯,幫助使用者有效利用AI基礎設施。

在AI計算層面,不得不提百度自主研發的雲端AI晶片百度崑崙和專為AI深度學習場景最佳化設計的百度超級AI計算平臺X-MAN。

作為核心基礎計算單元,晶片佔據了AI時代制高點。百度對AI晶片的需求十分明確。早在2010年,百度就已使用FPGA進行AI架構的研發,隨後又不斷透過合作、投資和自研的方式來推進該業務。2018年,百度釋出了百度自主研發的雲端AI晶片“崑崙”。

2020年,崑崙1成果實現量產,具有高效能、低成本、高靈活性、自主可控等關鍵特徵,並且在百度搜尋引擎和百度智慧雲生態夥伴等場景廣泛部署。崑崙晶片既能做訓練也能做推理,它可以滿足AI的高處理需求,用於雲例項和邊緣例項,包括資料中心、公共雲和自動駕駛汽車。

透過充分利用崑崙晶片的極限推送計算能力和功耗效率,百舸AI異構計算平臺可以有效支援多種功能,包括大規模的人工智慧工作負載,如搜尋排名、語音識別、影像處理、自然語言處理、自動駕駛。崑崙的另一個關鍵優勢,在於與眾多AI軟硬體體系完美適配,可以幫助應用者、開發者有效利用AI算力,最大化利用百度AI基礎設施。基於崑崙晶片打造的百度崑崙雲伺服器,可以為企業和開發者們提供超強的AI推理和訓練效能,加速AI技術與各行各業深度融合的步伐。

目前百度超級計算平臺X-MAN已經升級到第四代,是業界首款支援OAI標準和液冷散熱的超級AI計算平臺,可解決CPU+GPU配比計算、通訊頻寬瓶頸、高效能儲存三大問題。百度X-MAN超級AI計算平臺提供極致的計算效能,支援超大複雜演算法模型,能夠快速及時處理海量資料。自誕生以來,百度X-MAN超級AI計算平臺歷經3代發展,3次架構升級,創造6項業界第一,同時期關鍵技術&效能保持領先,引領行業發展趨勢。目前,X-MAN系列產品已在百度大規模應用,正在助力百度AI戰略快速落地。

若想在百舸爭流中更勝一籌,自然少不了一雙有力的槳。百度飛槳是中國首個開源開放、技術領先、功能完備的產業級深度學習平臺,宋代文人朱熹的“聞說雙飛槳,翩然下廣津”。目前飛槳已經在大量行業中實踐落地,被譽為智慧時代的作業系統。不久之前,飛槳剛剛迎來了全平臺升級與新發布,全新發布包括飛槳核心框架V2.1、大規模圖檢索引擎、文心ERNIE四大預訓練模型、推理部署導航圖、硬體生態進展、開放雲原生機器學習核心PaddleFlow,並且全面啟動飛槳“大航海”計劃,合計投入15億資金,聚焦生態發展。

從飛槳到百舸,百度AI體系下的開發平臺、應用平臺正在一步步充沛完善,滿足從基礎開發、簡單開發、產業級應用等不同場景下的AI落地。很多科學家都暢想過,在未來應用AI應該是一件自然而然,無需學習門檻的事。

AI原生雲,正在讓人工智慧應用開發的設想逐步落筆於現實。更值得一提的是,百度百舸、百度崑崙、百度飛槳讓中國在AI核心底層技術上擁有自主智慧財產權,組成了名副其實的中國AI畫卷。

結束語:AI丹青畫萬物

一口氣釋出、升級八大AI原生雲產品,足可見百度智慧雲在AI原生雲這條全新賽道上的篤定與決心。這種戰略定力的根源,在於AI與雲的融合關係是一件合乎邏輯,順乎需求的事。

無數個行業、無數個場景,都在以云為通道,以AI為跳板,升級自己的生產力,讓不可能變為可能。他們的故事和成果,點滴落入現實,最終繪成智慧時代的畫卷。

為了AI丹青,可畫萬物的目標,今天產業各界依舊需要全力奔跑,用計算撬動生產率,用智慧開啟行業可能。

時間來到2021年,百度智慧雲所描繪的,一幅屬於AI的雲圖已經初現端倪。而接下來“AI原生雲”的畫筆,更多還是要交給來自千行百業的使用者,交給擁有無限想象力的開發者。

這幅智慧圖卷中,應該每個人都是畫手。

太行、崑崙、滄海、百舸、飛槳這些名字背後,我們能隱隱讀到一種壯志。百度智慧雲的壯志,是讓每家企業都能以云為筆,智作墨,畫一幅自己的傳奇。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2776840/,如需轉載,請註明出處,否則將追究法律責任。

相關文章