資料基礎設施的詠歎調:華為給大資料時代一個智慧擁抱

naojiti發表於2019-05-15

玩過《文明》這類城市模擬遊戲,或者喜歡看工業主題小說的朋友會知道這樣一個概念:一座城市、一個地區想要發展起先進的工業文明,必須建立在足夠的基礎設施基礎上。

過去一百年的工業文明中,最重要的基礎設施往往是煤和鐵。所以國家和城市想要進入現代化,往往需要完善的煤鐵綜合體,工業理論上也有個說法叫做“煤鐵優先”。從基礎建設到萬物萌生,這個過程看似枯燥,卻隱隱吻合著自然生態的法則與歌詠。

光陰流轉,當我們來到資訊革命的深水區、智慧時代的前夜,是否依舊有“先基礎設施,再到萬物發芽”這樣的邏輯呢?在雲、資料和AI開始成為每一座城市、每一家企業,甚至每個家庭的必備品時,我們仔細審視一下這些技術的發展邏輯,可能會發現像電氣化時代的“煤鐵”一樣,今天這個時間節點的基礎設施,是資料庫與儲存。

資料基礎設施的詠歎調:華為給大資料時代一個智慧擁抱

這個邏輯當然很容易理解,當我們發現資料就像水電石油一樣是生產必備能源的時候,只有足夠負載能力的資料庫和儲存系統,才能讓資料這種新能源可以被切實儲備和呼叫。反過來,如果資料都存不住、調不出、查不到,那所有資料應用就都歸於妄談。

然而事實上,今天社會各行業普遍面臨著資料基建的挑戰。為迎接這些挑戰,資料基礎設施的行業升級也在不斷前行當中。

5月15日,華為資料庫與儲存新產品釋出會上,GaussDB分散式資料庫和FusionStorage 8.0分散式儲存系統都進行了重磅新品釋出。而它們背後的內涵,是華為正在為資料基建的未來,送上一個智慧化的擁抱。

智慧時代,政企面前的資料渦旋

讓我們先來簡單回顧一個問題:為什麼我們今天需要源源不斷地升級資料庫和產品?

最直接的原因在於,隨著雲端計算、大資料技術不斷髮展,企業的數字化程度不斷升高,企業儲存和需要利用的資料普遍處在單向增加週期。久而久之,一個資料組成的渦旋開始逼近每一個政企組織。

無論是企業網還是線上業務,每天都在為企業生產大量的結構化資料。這些資料需要被妥善儲存,反覆查詢、應用,並且不斷更新。由於結構化資料需要進行不斷關聯,這讓越來越多的企業開始應用能夠不斷擴充套件規模的分散式資料庫與分散式儲存。在電商、金融、製造業等大型企業當中,對分散式資料庫和儲存的需求尤其明顯。

而伴隨著原有資料量的不斷增長,今天企業還在普遍開展網路化、智慧化新業務,這讓新產生的資料關係越來越複雜,讓資料儲存和呼叫的難度不斷增大。大規模結構化資料的儲存和呼叫,一方面考驗著資料庫和儲存系統的可靠性,另一方面也在不斷增加企業的資料運維成本,加大人工運維的難度挑戰。

資料基礎設施的詠歎調:華為給大資料時代一個智慧擁抱

總體而論,這個邏輯就是資料在不斷增加,資料間的關係在不斷複雜,政企使用者應用資料的需求在不斷深化。三者疊加,導致政企使用者,尤其是某些高資料複用型行業,必須要擁抱“一大四高”型資料庫與儲存裝置。

所謂一大四高,就是資料庫和儲存系統必須能夠支援大規模資料,同時高可靠、高安全、高擴充套件及高效能。

在智慧時代,大規模結構化資料的爆炸式增長,就像一條怒吼而來的江河。它既是企業賴以生存發展的寶貴資源,卻也可能弄巧成拙變成洪水。於是,擺在大量政企面前的資料渦旋,開始倒逼資料庫和儲存必須進化。在分散式、高擴充套件的基礎上,這二者開始了一場新的進化路徑:智慧化。

我們似乎可以把華為剛剛釋出的資料庫與儲存新產品,分別看作是兩隻手臂。二者合圍,一個新的資料產業擁抱就此誕生。

左膀:GaussDB新品,繼續分散式資料庫的未來之旅

近幾年,資料庫領域的創新經歷了高速的發展,可供企業選擇的資料庫架構在不斷增多。而一般意義上而言,以金融行業為代表的、需要呼叫大規模結構化資料,且對擴充套件和安全性有極高要求的行業,正在普遍開始擁抱分散式資料庫。這一趨勢也在向越來越多的行業蔓延。

GaussDB,是華為創新領先的分散式資料庫產品。其最著名的特點,在於它是業界首款支援ARM的分散式資料庫。我們知道,近幾年ARM產業生態不斷髮展,越來越多軟硬體選擇支援ARM處理器。對ARM晶片的相容,已經悄然成為了資料庫產品的主要痛點之一。

而華為的GaussDB,利用ARM多核以及超平行計算技術,構築了軟硬體全棧的資料庫能力,完善了ARM產業生態。另一方面,面對越來越複雜的資料庫呼叫需求和智慧時代大量任務需要異構計算的現實,GaussDB還可以利用 AI晶片、GPU 、ARM、NPU等多種算力組合,讓資料庫獲得強大的異構計算能力。在權威標準測試集TPC-DS上,效能比業界提升50%,排名第一。

資料基礎設施的詠歎調:華為給大資料時代一個智慧擁抱

在此基礎之上,為什麼說GaussDB是對智慧時代的擁抱呢?原因在於其採用了華為獨創的AI-Native技術。這項技術的價值在於,華為將機器學習能力加入到了分散式資料庫的全生命週期當中。運用“自動駕駛網路”,對資料庫進行具備主動學習和理解特徵的自我調優、自診斷自愈、自運維。

這個技術創新的核心價值,在於利用AI技術在多個層面的融入,解決了資料規模越來越大、結構越來越複雜之後,帶給使用者的運維難題。

當資料庫體量巨大之後,人工運維將是非常複雜,高消耗、低效率的一件事。而AI-Native的加入,則讓企業的運維成本呈現出指數級下降。

有資料顯示,在交易、分析和混合負載場景下,華為基於深度強化學習的自調優演算法,能夠調優效能把業界平均提升60%以上。

這些產品的釋出,極大豐富了GaussDB的產品形態,應對了全行業日益複雜的資料庫產品需求。

右臂:FusionStorage 8.0帶來極致儲存體驗

在資料爆發的今天,越來越多政企使用者開始抵達集中式儲存的瓶頸。結構化資料的不斷延展,導致企業隨時需要擴充套件儲存空間,同時保證儲存延展的可靠性和相容性。

另一方面,大資料的規模化應用和智慧化的加深,也導致使用者開始需要高效率的儲存體驗,以確儲存儲無損和高效存入調出。

為此,FusionStorage 8.0通過重定義儲存架構,為使用者帶來了儲存體驗的新高度。

首先在核心效能上,FusionStorage 8.0採用華為ARM-based處理器鯤鵬920加速,使IOPS提升了20%,結合華為AI Fabric無損網路,時延降低了15%。其在SPC-1的效能測試中,單節點效能達到了16.8萬IOPS以及1ms以內時延,能夠適應企業核心業務儲存的需求。

儲存產品的另一個痛點,在於多類儲存之間存在不可相容性。一旦企業資料複雜化增加,就會讓儲存成本和工作複雜性極大提高。為此,FusionStorage 8.0打破了架構壁壘,創新實現一套系統同時支援塊、檔案、物件、HDFS 協議,也就是說1套儲存能夠支援4類主要儲存能力,讓使用者的多場景業務統一儲存成為可能。

資料基礎設施的詠歎調:華為給大資料時代一個智慧擁抱

而與GaussDB一樣,FusionStorage新產品同樣加持了華為在AI技術方面的智慧化能力。FusionStorage 8.0版本,通過雲上AI訓練和本地AI晶片的加持,將智慧管理貫穿業務使用的全生命週期。

比如業務上線前對儲存資源進行智慧規劃,使用過程中通過機器學習識別能力,對業務進行風險預判及故障定位等等,智慧運維管理覆蓋業務全流程,從而得以整體性地大幅提升儲存效率。

高效能、跨結構和智慧化,讓FusionStorage 8.0從多個維度開始追逐“極致儲存”的稱號。反過來看,我們可以發現華為儲存與資料庫產品挑戰新臺階的過程,事實上也代表著資料產品的發展趨勢:用智慧能力,擁抱智慧時代。

用智慧能力擁抱資料,用更好的資料產品擁抱智慧時代

毫無疑問,未來是屬於智慧時代的。AI為代表的智慧技術將滲透入每一個企業與組織,在無數個角落生成生產力的進步。然而這個巨集偉的時代,今天必須以資料產品的可靠、可用、安全為前提。

但是如何讓資料產品達到這些目標呢?在華為看來,這就需要智慧技術的滲透,以及多種ICT技術的融合與突破創新。

從GaussDB和FusionStorage的發展軌跡來看,今天資料庫和儲存想要滿足新的產業需求,必須經歷三項面向智慧時代的普遍升級。只有如此才能應對日益複雜的資料挑戰,為產業使用者從多方面消解迎面而來的“資料高壓”。

1、資料洪流面前的百渠能力。大資料時代,分散式資料儲存成為主流。分散式資料結構,從本質上來說就是將洶湧而來的資料洪水,分散到千百水渠中。以疏代堵,分壓資料洪流。而這一過程中,需要資料極簡不斷進化抗壓能力、資料吞吐能力以及安全效能。而這需要考驗儲存、計算、網路、AI等多個技術領域的積累和實力,利用技術協同優勢打造資料產品的創新解決方案。比如在FusionStorage 8.0中,就整合了華為在計算、網路和儲存多領域的晶片和演算法積累。

2、智慧落地,是減輕企業資料負擔的有效方式。在今天,資料的吞吐與儲存,正在變成一件異常複雜的工作。其中人力無法觸及的領域正在增加,而想要舒緩使用者在資料領域的成本,智慧化就是必不可少的路徑。我們可以看到,智慧化的自動駕駛網路,正在從方方面面進入華為的ICT產品中。這條全新的賽道,正在決定資料基建在新產業週期中的成敗。

3、架構打通之路刻不容緩。資料領域的另一個命題,是異構計算和多型別儲存正在成為大量企業新的需求。而在智慧化業務發展之際,這個需求只能是正向提升的。因此打通原本封閉的各計算與儲存架構,實現資料基礎設施的“一以貫之,化繁為簡”,也是這一領域的核心進化方向。

資料基礎設施的詠歎調:華為給大資料時代一個智慧擁抱

本著這三條路徑,華為在資料基建領域,用兩款智慧化新產品作為手臂,給予資料產業以一個深情的擁抱。這個擁抱的含義或許在於,即使是最基本的資料基礎設施,在今天的產業革命面前,也可以是一首複雜精巧的詠歎調:發現需求,克服障礙,勇敢創新,這些音符佈滿其中,讓每一項技術創新都充滿韻味。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2644519/,如需轉載,請註明出處,否則將追究法律責任。

相關文章