星環科技多模型資料統一儲存的大資料分散式儲存平臺方案分享

數字經濟時代，隨著大資料、人工智慧等新一代資訊科技的快速發展與應用，企業的資料量呈現爆炸式增長，資料結構也越來越多樣化，對資料儲存提出了更新的要求：

• 資料結構多樣化如表格型別的關係資料、半結構化的文件日誌搜尋以及非結構化的圖片和影片資料， 多模型儲存需求應運而生。
  
• 非結構化資料的快速增長， 物件儲存的優勢逐漸顯現，並要求能夠低成本實現海量非結構資料的儲存。

• 此外，傳統資料儲存平臺需要同時儲存大檔案和小檔案，業務的高速發展帶來 海量檔案儲存需求對儲存平臺提出了更高的效能要求。

面對業務多樣化對大資料儲存提出的新要求， 星環科技自主研發了多模型資料統一儲存的大資料分散式儲存管理平臺，可同時滿足多模型資料儲存和海量檔案儲存等需求。

基於多模型資料統一儲存技術可 實現PB級多模型資料統一儲存，9種儲存引擎支援10種資料模型，輕鬆實現跨模型聯合分析，一站式滿足企業業務各種場景。 自主研發的分散式檔案系統打破HDFS的儲存瓶頸，實現海量小檔案儲存，可同時支援檔案和物件儲存，降低運維成本，並且相容開源Hadoop生態，支援應用平滑遷移。

多模型儲存星環多模型資料統一分散式儲存管理

傳統儲存平臺方案將多個模型儲存系統進行組合，各單一場景由各類專門資料庫分別支撐，這類方案存在資料儲存冗餘、資料一致性治理難等問題，並且多套儲存導致架構複雜、運維成本高、資料跨庫分析難。

星環科技多模型資料統一儲存平臺方案實現多模型資料的統一儲存，基於統一多模型架構提供多模型能力。

星環科技自主研發的統一分散式資料管理系統TDDMS，該系統搭建了一個通用的分散式儲存處理框架，提供了資料的分佈管理、元資訊管理、分散式事務、分散式一致性協議以及資料高可用保障。

同時TDDMS支援接入不同的儲存引擎，實現不同資料模型的儲存。當前TDH分散式資料管理系統接入了9款儲存引擎，支援10種資料模型的儲存。使用者不需要為不同模型建立單獨的儲存系統，而是透過統一的儲存管理，降低了運維管理成本，也避免了資料孤島。

此外，分散式資料管理系統的外掛特性，也方便後續業務的靈活擴充套件，可以根據需要靈活接入其他儲存引擎，比如TDH9.0版本中，根據文件處理的新需求，新接入了文件儲存引擎DocStore。

• 多模型支援

基於統一多模型架構支援關係型資料儲存、寬表儲存、搜尋引擎、事件儲存、地理空間儲存、圖儲存、鍵值儲存、文件儲存、物件儲存和時序資料儲存，共10種資料模型，滿足企業各類業務場景。

• 多模型統一儲存

不同模型資料基於星環分散式資料管理系統TDDMS統一儲存統一管理，降低運維成本，避免資料孤島。

• 統一資料查詢入口

統一介面處理不同業務、不同模型資料，避免多個不同介面的不一致，降低開發成本，避免煙囪式建設。

• 高可靠、高容錯

基於星環分散式資料管理系統TDDMS實現統一資料多副本管理，資料一致性管理，保障資料安全。支援副本自動遷移，自動修復，具備高容錯性，保障服務高可靠。

海量檔案+物件儲存星環分散式檔案系統

傳統資料儲存平臺需要同時儲存海量大檔案和小檔案。HDFS檔案儲存容量受限，不支援海量小檔案，需要額外搭建物件儲存平臺，多套儲存運維成本高。並且HDFS依賴建立多個Namespace擴充套件檔案儲存容量，資料不互通，業務層需要隨著擴容更改邏輯。

星環科技自主設計研發了企業級分散式檔案系統TDFS，海量小檔案儲存無瓶頸，同時支援檔案和物件儲存，並且相容Hadoop生態，支援應用平滑遷移。

• 同時支援檔案與物件儲存

星環分散式檔案系統TDFS一套儲存同時支援檔案儲存與物件儲存，統一儲存管理，降低運維成本

• 海量檔案儲存

TDFS支撐10億以上檔案數，PB級以上儲存容量，是開源HDFS 數倍

• 後設資料管理能力

自研後設資料管理，基於Raft一致性協議保障後設資料安全。支援小檔案與小檔案一起儲存，無懼海量小檔案，無需多namesapce拆分

• 生態相容

相容開源Hadoop生態，支援HDFS API與S3介面，支撐應用平滑遷移

企業級一站式多模型大資料基礎平臺 Transwarp Data Hub

Transwarp Data Hub（TDH） 是星環科技自主研發的企業級一站式多模型大資料基礎平臺，其領先的多模型技術架構提供統一的介面層，統一的計算引擎層，統一的分散式儲存管理層，統一的資源排程層，以及異構儲存引擎層。9種異構儲存引擎可以支援包括關係表、文字、時空地理、圖資料、文件、時序等在內的10種資料模型。存算解耦特性支援彈性擴充套件，讓資源配置更靈活。

TDH能夠儲存 PB 級別的海量資料，同時能夠提供高效能的查詢搜尋、實時分析、統計分析、預測性分析等資料分析功能，被廣泛應用在離線資料批處理、高併發的線上資料服務、資料集市、資料倉儲、資料湖、圖儲存分析、空間資料儲存、實時資料處理等各類大資料業務場景。

目前 TDH 已經在政府、金融、能源、製造業等十多個行業內落地，可以替代Oracle、IBM DB2、Teradata等傳統主流資料庫在分析型場景中的應用及替代Elastic Search在分散式搜尋場景中的應用，幫助企業，更全面、更便捷、更智慧、更安全地運用資料，加速企業數字化轉型。