星環科技ArgoDB 3.2正式釋出,全面升級易用性、效能和安全

星環科技發表於2022-03-01

Transwarp ArgoDB是星環科技自主研發的高效能分散式分析型資料庫,在PB級資料量上提供極致的資料分析能力。多模型資料庫ArgoDB支援標準SQL語法、分散式事務和存算解耦,提供高併發高速資料寫入、複雜查詢、多模分析和資料聯邦等能力。通過一個ArgoDB資料庫,就可以打造離線資料倉儲、實時資料倉儲、資料集市和聯邦計算平臺等資料分析系統,提供全面、便捷、智慧和安全的資料服務能力。


2021年6月信通院釋出《資料庫發展研究報告(2021年)》,報告指出資料庫技術不斷髮展,向三個方向演進—易用性、效能和安全。ArgoDB 3.2重點圍繞這三個方面進行迭代增強與優化升級並正式釋出。


提升易用性、降低使用成本


原生支援大物件資料儲存,增強多模型資料處理能力,滿足更多“一庫多用“場景


在後關係型資料庫階段,資料結構越來越靈活多樣、業務型別越來越複雜多變,為應對此類現狀,越來越多的使用者選擇通過多模型資料庫實現“一庫多用“,將各種型別的資料進行集中儲存、查詢和處理,滿足對結構化、半結構化和非結構化資料的統一管理需求。[1]

在已有的資料型別基礎上,多模型資料庫 ArgoDB 3.2 原生支援大物件資料型別Blob和Clob,可以用來儲存、查詢和處理圖片、電子文件、音訊、視訊等非結構化資料,滿足了更多資料模型處理場景,簡化系統架構、減少開發運維成本和提升使用者體驗,滿足更多複雜業務需求。

以國內某三甲醫院為例,經過十多年的資訊化建設,該醫院已經初步建立了HIS(醫院資訊系統)、LIS(實驗室資訊管理系統)、PACS(影像歸檔和通訊系統)、電子病歷等多套資訊系統,並積累了大量的臨床資料。 除了結構化、半結構化資料,還有海量、高價值的醫療影像等非結構化資料。為了儲存、查詢和處理這些不同型別的資料,這些系統獨立建設、缺乏整合、後設資料不統一和標準不統一,給資料的查詢和處理帶來重重困難。為了解決這些問題,加速醫院業務數字化發展,醫院基於多模型資料庫ArgoDB建設了臨床資料中心底層大資料平臺, 將醫院中各種型別的資料(例如電子病歷、醫療影像、檢驗報告、生物樣本和文獻等)集中在ArgoDB中儲存、查詢和處理,並能夠滿足跨不同資料模型的複雜分析需求,從而充分發掘醫療資料的寶貴价值,最終提高醫療質量、降低醫療成本。

新增智慧建表功能,簡化建表流程,降低業務遷移成本


隨著業務形態越來越複雜多樣,在建表時如何設定引數使得資料查詢和分析效率最大化成為一個問題。在業務遷移時,龐大的庫表數量也需要耗費精力來配置引數。ArgoDB自主研發多模型資料庫優化器Gluon,自研多種計算優化技術,在建表時可以通過設定一些引數來提升資料查詢和分析效率。

為了在最大化資料查詢和分析效率的同時簡化建表流程,ArgoDB 3.2新增 智慧建表演算法,在建表時能夠自動設定引數,使用者無需手動配置引數就能夠體驗ArgoDB的極致效能表現。在某集團業務遷移過程中,智慧建表功能為數萬張表自動配置合適的引數,幫助使用者大大降低了業務遷移成本。

開箱即用的運維工具,新增兩種典型場景監控,增強運維監控能力


隨著資料量越來越多和業務越來越複雜,資料庫運維管理人員面臨的挑戰也越來越大。為了幫助運維管理人員提升運維效率和降低運維成本,ArgoDB提供開箱即用的資料庫運維工具,運維管理人員可以通過介面化的方式進行日常操作。

為了方便發現、定位和排查風險,ArgoDB3.2新增兩種典型場景監控: 小檔案合併狀態監控與資料分佈狀態監控,進一步豐富了監控指標,使用者可以結合業務需求靈活地調整資料管理策略,從而保障資料庫系統穩定、高效的執行。

高達7倍的效能提升


高達5倍的OLAP效能提升


面對業務形態多樣、商業模式多變、需求變化頻繁,如何在海量資料中高效完成資料分析,成為快速獲取商業洞察的關鍵所在。ArgoDB 3.2針對OLAP場景做了許多效能優化工作並提升了效能表現,例如 典型視窗函式計算場景效能可提升5倍;新增智慧多表複雜Join演算法,能夠 自動識別Join過程中的大小表,選擇最佳的Join優化演算法,從而提升Join效率。

星環科技ArgoDB 3.2正式釋出,全面升級易用性、效能和安全


存算解耦場景效能提升7倍


存算解耦是未來資料庫架構演進的重要趨勢。存算解耦,顧名思義就是儲存引擎和計算引擎可以獨立按需進行擴容和縮容,要多少計算擴容多少計算,要多少儲存擴容多少儲存,避免浪費,提高分析效率。例如星環資料雲平臺(TDC)可以利用ArgoDB儲存和計算解耦合的特性,靈活合理地按需分配資源。

在存算解耦合場景中,計算任務與資料可能不在同一節點上,此時計算任務會遠端讀取非本地節點的資料並導致查詢和分析效能下降。為了提升存算解耦合場景的查詢和分析效率, ArgoDB3.2計算任務對非本地節點的資料讀取效能提升了7倍。該優化增強了存算解耦場景下的效能表現,能夠幫助使用者更好地應對複雜多變的業務需求。

效能測試


TPC是全球最知名非盈利的資料管理系統評測基準標準化組織,TPC-H和TPC-DS是業界常用的效能測試基準之一,主要用於評測資料庫的分析型查詢能力。

在TPC-H 1T測試中,ArgoDB產品效能是ClickHouse的5.7倍。在TPC-DS 1T測試中,ArgoDB產品效能是Spark的1.6倍。

星環科技ArgoDB 3.2正式釋出,全面升級易用性、效能和安全

TPC-H 1T測試效能對比

星環科技ArgoDB 3.2正式釋出,全面升級易用性、效能和安全

TPC-DS 1T測試效能對比

更多認證機制,保障資料安全


支援多種安全認證機制,靈活應對資料安全需求


2021,我國第一部關於資料安全的法律《中華人民共和國資料安全法》正式實施,如何做好資料安全建設成為各行業最為關注的問題之一。為了充分保障使用者業務安全, ArgoDB提供完整的資料安全防護體系,包括使用者識別,許可權控制,安全審計,資料加密,資料脫敏、資料備份、容災等。

為了滿足更多場景的資料安全需求,ArgoDB3.2在Kerberos、LDAP、CAS等認證機制基礎上,新增Oauth 2.0認證機制,提供更豐富的認證機制,幫助使用者靈活應對不同場景的資料安全需求。以上便是星環科技多模型資料庫ArgoDB3.2特性介紹: 便捷易用的產品體驗,不斷提升的效能表現,靈活強大的安全防護能力。未來,星環科技多模型資料庫ArgoDB將繼續堅持自主研發與技術創新,圍繞易用性、產品效能、資料安全等方面不斷打磨。在降低平臺複雜性和IT總擁有成本的同時,讓使用者 更全面、更便捷、更智慧、更安全地運用資料。

典型案例


ArgoDB廣泛應用於金融、政府、能源、交通、運營商等各行業。國家郵政局是副部級國家局單位,負責擬訂郵政行業政策和規劃,以及承擔郵政(含快遞公司)監管責任。為了推進郵政寄遞渠道安全監管“綠盾“工程建設,國家郵政局基於星環實時流計算引擎Slipstream和分散式分析型資料庫ArgoDB構建了實時郵政監管平臺。平臺為多個應用系統提供實時的資料採集、儲存、查詢和處理等服務, 滿足了離線業務、線上業務、即席查詢、報表查詢等需求,支援了7大業務板塊,完成了對全國37家快遞企業的實時監管。不同快遞企業和電商平臺的快遞面單、電商資料等不同型別資料通過Slipstream流計算引擎實時寫入ArgoDB, 寫入效能達到了數百萬記錄/秒,每天接入70億業務資料,累計接入了PB級海量資料。在高併發高速寫入資料時,通過分散式事務處理能力保證每天接入的70億業務資料不丟失不重複,資料入庫即可進行查詢和分析。業務人員 直接使用標準SQL和傳統資料庫方言進行復雜檢索、統計和分析,降低了資料使用門檻,提升了業務效率。在業務高峰時,能夠支撐數百名業務人員 同時互動式複雜查詢分析

參考文獻:[1]《資料庫發展研究報告(2021 年)》——中國信通院


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69994106/viewspace-2861692/,如需轉載,請註明出處,否則將追究法律責任。

相關文章