生態 | 湖倉一體的優選:GBase 8a MPP + XEOS

GBASE南大通用發表於2022-07-06

近日,天津南大通用資料技術股份有限公司(以下簡稱: GBASE 南大通用)分散式分析型資料庫 GBase 8a MPP 完成了與北京星辰天合科技股份有限公司(以下簡稱: XSKY 星辰天合)全協議支援的企業級物件儲存 XEOS 的對接測試,通過功能測試、效能測試,各項測試結果總體正常達到測試預期,兩款產品相容性良好,滿足功能需求。

資料倉儲遭遇儲存效能及相容性問題

隨著國產化程式的推進,國產資料庫廠商勵精圖治,經過多年對產品的打磨,國產資料庫系統已逐漸成熟,並積累了大量的客戶案例。隨著國產資料庫的推廣及越來越多的被投入到生產環境中,資料倉儲的架構被逐漸應用起來,而相關的儲存效能及相容性問題接踵而至。

資料倉儲是在資料庫已經大量存在的情況下,為了進一步挖掘資料資源、為了決策需要而產生的。資料倉儲的建設目的,是為前端查詢和分析作為基礎,由於有較大的冗餘,所以需要的儲存也較大。資料倉儲通常有以下幾個特點:

資料量過大: 資料倉儲包含了由歷史資料、詳細資料和各種各樣型別的資料組成的資料。資料量龐大,對於資料的管理、索引、持久化儲存都是巨大的挑戰。

檔案格式多: 資料倉儲其資料來源於不同外部系統,其資料也是開放給各個外部應用系統使用。因此的數倉中的資料,是按照不同的主題區分的,根據各個主題的不同會產生大量不同格式的檔案。

需要長期保留: 資料倉儲的資料主要供企業決策分析之用,所涉及的資料操作主要是資料查詢,一旦某個資料進入資料倉儲以後,一般情況下將被長期保留,也就是資料倉儲中一般有大量的查詢操作,但修改和刪除操作很少,通常只需要定期的載入、重新整理。資料倉儲中包括了大量的歷史資料。

檔案併發讀寫頻繁: 由於資料倉儲是面向各個外部應用系統的,面對不同的業務系統,因此檔案大小不一,並且檔案需要被頻繁的訪問與讀取,頻繁的檔案讀寫需要底層儲存系統提供高效能的能力。

基於以上需求, GBASE 南大通用與 XSKY 星辰天合建立戰略合作,本次進行深度適配,根據各類業務場景,雙方對產品進行了大量的相容性及效能測試, GBase 8a MPP 資料庫側參照標準 AWS S3 協議規範進行商業化開發改造, XEOS 物件儲存完美支援此協議,經過雙方技術人員多輪測試驗證後,達到效能及相容性等預期目標。

XEOS 物件儲存與 GBASE 資料庫對接說明

本次對接測試根據中移動總部雲數倉專案實際需求進行制定,為後期平臺建設提供決策參考與支援。本次測試內容包括功能測試、效能測試,各項測試結果總體正常達到測試預期。

功能測試:涵蓋標準 SQL 、資料載入、表資料儲存分佈方式、開發介面 4 個方面,共 15 個測試小項,所有功能測試項完全支援,全部通過,具體測試結果,詳細如下所示:

 

通過本次對功能和效能的測試,都達到了預期目標, GBase 8a MPP 資料庫與 XSKY 企業級物件儲存 XEOS 相融合,系統可靠穩定執行,效能表現優異。

XEOS 物件儲存產品優勢

XEOS 物件儲存,是 XSKY 公司擁有自主智慧財產權、獨立開發面向多業務場景的企業級軟體定義儲存產品,其基於國產 CPU 、國產作業系統及應用進行了深度的適配及優化,通過對 AWS S3 HDFS NFS S3 生態體系等各類協議的支援,在穩定性、可靠性、易用性及效能等方面滿足企業各類複雜應用的需求。

GBase 8a MPP 產品優勢

GBase 8a MPP GBASE 南大通用自主研發的,面向海量資料查詢分析應用領域的一款高效能國產分析型型資料庫產品,用於滿足各個資料密集型行業日益增大的資料查詢、資料統計、資料分析、資料探勘和資料備份等資料儲存、管理和處理需求,可用做資料倉儲系統、 BI 系統和決策支援系統的承載資料庫。主要應用在金融、電信、能源等擁有海量業務資料的行業得到規模化應用,在商業分析和商業智慧市場領域表現突出。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69979120/viewspace-2904546/,如需轉載,請註明出處,否則將追究法律責任。

相關文章