南大通用攜手英特爾:讓資料迸發新價值

GBASE南大通用發表於2021-09-30

大資料時代,行業資料儲存一直是企業數字化轉型過程中首要考慮的問題。隨著AI、IoT技術的快速發展以及雲的大範圍應用,企業對於基礎設施能力的建設愈發重視。

資料庫是網際網路時代企業早期應用的核心,當資料洪流襲來,資料應用也滲透到技術、業務等各個層面時,企業在面對資料儲存及分析時也面臨著一些新的挑戰。尤其是金融行業的資料儲存問題,業務增長和擴充往往伴隨著海量的結構化資料處理,再加上金融行業對資料儲存在安全、效率、合規等多方面的要求,傳統的資料庫已經很難滿足金融行業業務發展需求。

目前國內大資料領域發展迅速,國產資料庫的崛起已成必然之勢。在這樣的背景下,南大通用自主研發的GBase8a脫穎而出,它是一款大規模分散式並行處理(MPP)資料庫叢集系統,面向海量資料查詢分析應用,可以滿足結構化資料的儲存、分析、挖掘、備份等多種需求,可以有效支撐起金融行業業務擴充的需求。

為了強化GBase 8a能力,南大通用與英特爾合作,使用英特爾®至強®可擴充套件處理器作為產品的核心,並在英特爾推出全新資料中心平臺後對產品進行更新,進一步強化GBase 8a的效能表現。

南大通用攜手英特爾:讓資料迸發新價值

資料儲存四道難關

大資料行業逐漸成熟,一方面是國家政府的大力支援,另一方面是技術創新潮流下,各類新應用引發的資料量爆發使得業務模式發生改變,促使大資料行業進入新的階段。

金融行業由於自身特殊的行業屬性,在發展過程中會面臨結構化資料的飛速增長。目前,在日趨複雜的業務環境與資料增長背景下,資料庫在金融行業中的應用主要面臨以下四個難點:

一是資料多樣化且迅速爆發,資料分析及吞吐量出現瓶頸。在金融行業的創新業務中,資料的來源多種多樣,資料儲存前需要進行整合後分析。而且資料集的規模會達到數TB甚至數十PB的級別,使用者併發量遠遠超過傳統業務承載能力,這對於資料庫的吞吐能力帶來了嚴峻挑戰;

二是TCO快速攀升。快速膨脹的資料庫系統帶來了對於雲與資料中心基礎設施的旺盛需求,推動了總體擁有成本(TCO)的快速攀升。企業使用者不斷尋求通過硬體更新、軟體優化等形式來提升單節點個伺服器的效能表現,進而提高投資收益;

三是資料儲存IO效率低,難以支撐企業內部協作展開。數字時代下企業各業務部門之間的協同更加重要,對於企業的關鍵業務來說,更高的處理效率及更低的延時是核心,這就對資料庫IO操作的效率與服務質量提出新需求;

四是資料安全,這是金融行業中備受關注的問題。資料即價值,企業使用者在選擇資料庫時不僅要考慮效能、時延等因素,還要對資料儲存的安全性及容災能力進行評價,特別是在業務進行資料分析時對資料許可權的把控。

南大通用分析性資料管理系統 GBase 8a 系統架構


南大通用是國內主攻國產資料庫研發和推廣的資料庫公司,針對大資料時代企業資料的有效管理,南大通用自主研發了GBase 8a、GBase 8s、GBase8c 等資料庫產品。GBase 8a是一個大規模分散式並行處理(MPP)資料庫叢集系統,相比於傳統資料庫,GBase 8a在結構化資料的處理上具備突出優勢,支援從數TB到數十PB的資料集。  

從研發、應用到成熟,GBase 8a經歷了很長時間的沉澱。2014年國內某銀行總行的大資料平臺專案上線,面對每天TB級的資料增量、複雜的庫內作業、超長的日執行時間以及多樣的資料來源,南大通用與之一起,將GBase資料庫成長為足以支撐如此高強度行業應用的世界級資料庫:部署近2000個節點,管理資料超25PB,無故障執行超過2000天(案例參考:)。

目前,GBase8a已在中國人民銀行、中國銀行保險監督管理委員會、中國證券監督管理委員會、中國農業銀行總行、中國銀行、中國工商銀行、招商銀行等金融領域部署規模化應用,且已經向電信、政企等多領域延伸。特別在電信行業中已經在中移動總部及30個省市均有規模化部署。目前GBase8a資料庫已經在全球34個國家部署超過30000個節點,管理超過200PB的資料(資料參考:)。

南大通用攜手英特爾

讓資料迸發新價值

多年的熬煉,造就了南大通用GBase 8a出眾的效能。在中國信通院第十二批大資料產品能力資料庫基礎能力評審會上,南大通用GBase 8a以4096個節點的叢集規模滿分通過中國信通院大資料產品大規模能力的基礎能力評測,這是目前中國信通院大資料產品大規模能力的基礎能力通過評測的規模最大的MPP資料庫叢集,這個成績在國際市場同樣具備很強的競爭力。這也讓南大通用成為目前第一個在4096個節點規模下完成了效能專項測評的國產資料庫廠商。

這主要得益於GBase 8a強大的擴充套件性。GBase 8a的每一個伺服器使用的均是本地資源,基於節點對等扁平架構,讓GBase 8a的橫向擴充套件能力大幅增強。同時,叢集計算效能和儲存容量能夠跟隨叢集擴充套件呈現線性增加。

GBase 8a同樣具備新型的列儲存引擎、高資料儲存壓縮比、免維護的粗粒度索引及多例項部署等多項大資料處理技術。在MPP高效分散式計算模式下,結合分散式智慧優化器,GBase 8a能夠完成對PB級結構化資料分析類應用的支撐。

不僅如此,GBase 8a還能通過叢集內部副本同步技術、雙重叢集技術、跨域叢集資料傳輸同步技術及虛擬叢集技術,來保障大資料下叢集的高可用性和多叢集支援,實現多資料中心的部署。

在行業應用市場,GBase 8a根植大資料分析應用,主要服務於電信、金融、能源等大型企業。2019年,南大通用與英特爾合作,併入選英特爾精選解決方案,這一方案可以幫助資料密集型行業使用者提升資料分析效能,並顯著降低應用響應時間。

CPU是資料庫系統整體效能發揮的核心,基於GBase 8a的英特爾精選解決方案可充分發揮英特爾至強可擴充套件處理器的效能優勢,隨著第三代英特爾®至強®可擴充套件處理器的推出,方案升級後GBase8a的效能表現再次增強,業務執行效率隨之提高。

第三代英特爾®至強®可擴充套件處理在效能和功能方面均有大幅提升,具體來看主要有三點:

1、對於資料庫應用而言,第三代英特爾®至強®可擴充套件處理器最新的微架構以及核心數量的增加,是推動資料庫效能實現增長的關鍵,有助加速IO密集型負載的處理,在同等的伺服器數量前提下,實現效能的顯著增長;

2、第三代英特爾®至強®可擴充套件處理器提供了8個插槽配置的多插槽核心計數密度,每個處理器最多可達40個核心,與第二代英特爾至強可擴充套件處理器相比,效能、吞吐量和CPU頻率顯著提高,在主流資料中心工作負載上效能平均提升46%。

3、第三代英特爾®至強®可擴充套件處理器增加了數項全新的增強型平臺功能,針對雲、人工智慧、高效能運算、網路、安全和物聯網工作負載進行優化,在處理20種主流機器學習、深度學習工作負載時,第三代英特爾®至強®可擴充套件處理器能夠帶來高於其他CPU 1.5倍的效能提升。且其新增了PCIe-Gen4 支援,增加了記憶體頻寬,每路處理器記憶體容量達6TB,還增加了AVX-512指令。

這些能力的加持下,GBase 8a擁有了無縫效能的基礎,同樣也有助於加快多雲、智慧邊緣和後端等資料的變革性影響(複製連結,瞭解最新合作:)。

加速萬物雲化

強化IT基石

隨著企業業務的不斷髮展,未來各行各業都將面臨雲化的趨勢。從資料的型別來看,一般主要被分為三類,結構化資料、半結構化資料以及非結構化資料。

結構化資料是一種整齊的格式化資料,它通常能夠用統一的結構來表達實現的資料,傳統行業擁有大量結構化資料;與之相對,非結構化資料不易被組織或統一化,是一種欄位可變的資料。數字時代下,網路大資料多以非結構化資料形式存在,在企業發展產生的資料中,有80%都屬於非結構化資料,且每年增長迅速;半結構化資料是介於完全結構化資料與完全無結構化資料之間的資料,它具備一定的結構性,但變化較大,如企業中的各類日誌資訊,就屬於半結構化資料。

資料型別的不同,自然需要選擇不同型別的資料庫來進行儲存。雖然非結構化資料是目前數字時代的主要形式,但在各個行業長期業務開展過程中,結構化資料大量積累。且新的業務發展同樣會產生資料儲存環境的變化,因此資料庫的變革接踵而來。

也是在這樣的趨勢下,英特爾推出第三代至強®可擴充套件處理器,全新的資料中心平臺可以為本地和分散式多雲環境中執行的現代工作負載進行優化,再加上與英特爾®傲騰™持久記憶體與儲存產品組合、乙太網介面卡等方案搭配,能夠為資料庫帶來更強的效能表現。 

值得一提的是,英特爾®傲騰™持久記憶體具有兩種執行模式——記憶體模式和App Direct模式,可以通過多種方式提高資料庫效能。英特爾®傲騰™持久記憶體的記憶體模式可用於降低快取層成本,而App Direct 模式則是提供高速大批量資料儲存能力,通過優化資料儲存,從而提高資料庫中的讀寫速度。實際產品應用中,搭配傲騰固態盤P5800X/P5801X,能夠提升單伺服器的可擴充套件性,實現資料庫加速、寫入快取、高效能分層等功能,讓使用者在部署資料集時更加便利。

未來企業發展存算分離,結構化、半結構化、非結構化等多種結構資料並存。南大通用GBase 8a藉助英特爾在核心效能、硬體組合及軟體優化方面的支援,將傳統業務結構化資料儲存革新,並不斷提升資料庫效能,為企業使用者的數字化轉型打造堅實基石。隨著大資料行業的演進,全新的資料庫解決方案將會應用到越來越多的行業,推動數字經濟的建設。



來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69979120/viewspace-2794571/,如需轉載,請註明出處,否則將追究法律責任。

相關文章