XSKY星辰天合 SDS V6.3 版本釋出:持續強化非結構化儲存和管理能力

雲端計算頻道發表於2023-12-14

  近日,XSKY星辰天合發布了 XSKY SDS V6.3 新版本,帶來了很多新功能,包括檔案平臺的目錄寫快取、物件平臺的深度歸檔、基礎平臺的多叢集監控等,讓 XSKY SDS 在應對非結構化資料管理方面的能力有了新的飛躍。

  SDS V6.3 的新增重大新特性如下:

  l 物件深度歸檔:透過最佳化後設資料儲存空間使用量,採用盤級大比例 EC 等方式,支援海量物件資料長期低成本儲存;

  l 物件事件通知:可以透過圖形化介面管理訊息通知,並且支援通知第三方應用,增加延遲通知功能,讓儲存和應用實現協同聯動,助力企業業務創新;

  l 檔案寫快取 XDCache:檔案系統增加寫快取能力,充分利用記憶體+NVMe SSD 的速度優勢,單執行緒及低併發寫效能明顯提升,並且可對目錄/共享級別靈活配置,可以滿足企業對AI和高效能分析的效能要求;

  l 檔案 Windows ACL 許可權:在儲存介面就可以配置目錄 ACL 許可權屬性,並且支援遞迴和繼承,可以更方便對檔案許可權進行控制,保障企業資料安全;

  l 基礎平臺特性增強:除了告警功能增強和增加物件歸檔池角色外,新的基礎平臺為 Grafana 平臺提供多叢集外掛,支援整合多個叢集的資料來源,可統一的在 Grafana 介面上檢視和分析多個叢集的執行情況,包括各個叢集的健康狀態、效能指標以及告警資訊;

  l EasyData 易數管理平臺:全新的非結構化資料管理軟體,在資料匯聚階段提供了本地目錄、檔案儲存和物件儲存系統上的資料採集功能,覆蓋了匯聚、納管、遷移、複製、歸檔等不同的業務場景需求,是你進行資料管理的得力助手;

  l CSI NFS Driver 專項最佳化:最佳化後,可以秒級建立 PVC+POD,幾乎達到無感快速啟動業務,充分發揮雲原生敏捷、靈活等特點。

  物件平臺:深度歸檔與事件通知

  儲存桶支援深度歸檔功能

  歸檔功能在儲存和資料管理中起著重要的作用,XSKY 很早就在 SDS V4 物件平臺推出生命週期歸檔功能,該功能解決了中小規模資料歸檔的需求,但是在數十億級甚至百億級的海量儲存場景中仍有最佳化空間。因此,XSKY 在 SDS V6.3 中進一步推出了深度歸檔功能,該功能最佳化了後設資料儲存空間使用量,同時根據多年來蒐集的歸檔需求的總結,推出了多池加盤級故障域的方案,在少量節點中即可使用大比例 EC,同時還大大降低了資料恢復對網路的壓力。

  針對低頻訪問的物件,為了節約物件後設資料叢集的容量佔用,深度歸檔功能將物件的部分後設資料資訊儲存於資料池,最大程度的減少後設資料叢集的空間使用,因此可以獲得如下收益:

  l 後設資料叢集空間最高節省 80%(與物件名長度、tagging、meta 資料相關);

  l 生命週期配置的刪除策略,執行效率提升約 3 倍。

  儲存桶支援事件通知功能

  在海量非結構化資料儲存中,如果上層業務需要感知資料變化,就需要手動檢查或輪詢查詢,這樣會增加業務邏輯的複雜性,且效率低下。這也使得當業務需要透過實時感知資料變化來擴充套件業務能力時變得困難重重。

  物件儲存事件通知功能解決了這一系列問題,透過事件通知功能,業務無需手動檢查或輪詢查詢儲存桶中的資料變化,由物件儲存主動推送事件到業務,保證業務實時獲取資料的變化,以此觸發特定的業務操作或流程。

  l 在 SDS V6.1 中已經以命令列方式支援事件通知功能,並應用於 XOCP 非同步圖片處理方案中。

  l 在 SDS V6.3 中支援圖形化管理事件通知,並支援對接第三方業務服務,同時增加延遲通知能力,以應對多樣化的使用者業務需求。

  SDS V6.3 支援實時傳送和延時傳送兩種模式,透過 S3 API 或儲存系統管理面配置事件通知規則,當前支援字首、字尾、標籤、後設資料、物件大小、物件型別、物件擁有者的匹配規則,當滿足匹配規則的物件進行上傳/下載/等操作時,會向第三方應用傳送 API 事件。

  l 實時傳送:事件通知規則被觸發後,一分鐘內完成訊息的傳送;

  l 延時傳送:事件通知傳送的執行時間可配置以天為單位的延遲傳送時間,到達時間後會完成訊息的傳送。

  檔案平臺:目錄寫快取與 Windows ACL 許可權

  目錄寫快取

  檔案寫快取可以充分利用記憶體和 NMVe SSD,提升低併發下小檔案場景效能;在 XSKY 分散式檔案系統既有的讀快取特性 XCache 基礎上,SDS V6.3 增加了寫快取特性 XDCache。XDCache 的單執行緒及低併發寫效能明顯提升,並且可對目錄/共享級別靈活配置。

  XDCache 預設關閉,可按目錄配置開啟;它支援 Writethrough 和 Writeback 兩種策略(預設為 Writethrough)。

  儲存介面支援SMB Windows ACL遞迴設定

  Windows ACL 是 Windows 作業系統中用於實現細粒度許可權控制的一種機制。它允許管理員定義檔案和目錄的訪問許可權,以控制使用者和組對這些資源的訪問和操作。

  SDS V6.3 版本檔案系統管理介面支援對開啟 Windows ACL 高階特性的指定目錄設定 ACL 許可權,並且支援如下特性:

  l 支援展示遞迴設定任務的執行狀態和剩餘時間;

  l 支援斷點續傳,即遞迴下刷失敗的任務可從下刷失敗的檔案開始啟動下刷,減少重新開始下刷的時間;

  l 支援啟用繼承和禁用繼承。

  這個特性實現有以下優勢:

  l 儲存管理介面統一配置 ACL,不再需要頻繁登陸客戶端,連線、登陸不同的 SMB 共享;

  l 支援同時配置本地、AD 域使用者/使用者組作為主體,打破絕大部分 Windows 客戶端只能針對 AD 使用者/使用者組設定 ACL 的限制;

  l ACL 設定效率提升 5-10 倍。針對已經存了上億檔案的資料夾,許可權設定能快速應用子檔案、資料夾生效;

  l 完美相容過去 Windows 客戶端已設定的 ACL 和操作習慣。原方式仍然可用。

   基礎平臺特性增強

  告警功能增強

  l 增加全部刪除功能,根據週期和自定義時間批次刪除告警記錄;

  l 告警記錄去除原因詳情,最佳化詳情頁面顯示;

  l 完善告警聯絡人和通知策略管理,第三方配置管理功能顯示及配置項(僅限制單叢集)。

   新增物件歸檔池角色

  l 用來支援物件服務平臺儲存桶深度歸檔功能,新增基礎許可:深度歸檔容量配額;

  l 儲存池增加物件歸檔池和物件歸檔盤,儲存介質只支援 HDD;

  l 物件歸檔池適用於需要歸檔海量物件的業務,建立後支援新增至開啟了深度歸檔功能的物件儲存策略中。

   Grafana 多叢集監控

  使用已經在 SDDC 場景下得到驗證的 Grafana 來替代 Cloud AI,以滿足對多個單叢集監控的需求。XSKY 新的基礎平臺為 Grafana 平臺提供多叢集外掛,支援整合多個叢集的資料來源,可統一的在 Grafana 介面上檢視和分析多個叢集的執行情況,包括各個叢集的健康狀態、效能指標以及告警資訊。

  EasyData 易數管理平臺釋出

  另外,配合 XSKY SDS V6.3 的釋出,XSKY 也重新對資料管理軟體進行了合併,釋出了 EasyData 易數管理平臺,融合了原來的 XOCP 和 X3DS 兩個產品的能力,讓非結構化資料管理更加簡單。

  星辰天合易數管理平臺(簡稱 XSKY EasyData )為客戶提供了統一、高效的資料管理方式,讓海量資料管理不再困難!它實現了多源資料接入儲存系統,提供了統一的資料檢視及資料檢索、操作能力,更貼合業務場景,輕鬆克服多種資料操作需求帶來的“多套產品、開發週期久、管理複雜”等阻力。

  XSKY EasyData 是一款提供圖形化介面操作的資料管理平臺。它具備完善的資料管理能力,在資料匯聚階段提供了本地目錄、檔案儲存和物件儲存系統上的資料採集功能,覆蓋了匯聚、納管、遷移、複製、歸檔等不同的業務場景需求。在檔案管理方面,EasyData 支援上傳、下載、線上預覽、刪除等基礎操作, 並且能夠實現對海量資料的秒級檢索,從而很大提高了資料管理的時效性。此外,EasyData 還內建了智慧服務引擎,透過一套平臺可以構建不同的服務能力,以滿足各種資料處理場景的需求。

  XSKY EasyData 基於微服務架構,實現了全模組容器化,具有很大的彈性和擴充套件性。它自帶 Kubernetes 平臺,也支援外部的 Kubernetes ,部署簡單靈活。

  XSKY CSI NFS Driver 專項最佳化

  根據大量生產專案資料調研,容器雲平臺主要使用塊儲存、檔案儲存和物件儲存。其中,檔案儲存應用最廣泛,如跑批、AI、新核心等業務。在真實專案中,客戶需要秒級建立 PVC+POD,幾乎達到無感快速啟動業務,充分發揮雲原生敏捷、靈活等特點,針對此需求背景,配合 SDS V6.3 的釋出,XSKY 針對 CSI NFS Driver 進行了大量專項最佳化,最終效果與國際一流大廠效能相當。

  最佳化點:

  l 儲存端針對 CSI 全新設計高效能 API,單個請求可達 ms 級;

  l CSI NFS 共享支援 subpath,更快的 NFS 共享建立和配置;

  l CSI NFS 支援 skip attach,更快的 POD 卷掛載。

  最佳化後的效能表現:

  l PVC 建立效能提升 3~5 倍;

  l PVC 掛載效能提升 2~5 倍。

  小結

  XSKY 釋出的 SDS V6.3 版本,具有檔案平臺的目錄寫快取、物件平臺的深度歸檔功能、基礎平臺的多叢集監控功能等新功能;此外,XSKY 還同步釋出了 EasyData 易數管理平臺和升級的 CSI NFS Driver。

  此次 XSKY SDS V6.3 的重大新特性基本都聚焦在非結構化資料的管理和使用上:檔案寫快取的時延,將大大提高檔案的寫效能,滿足現在 AI 場景的效能需求;物件深度歸檔特性的引入,必將幫助使用者更好控制海量資料的長期儲存成本;EasyData 易數管理平臺的推出,可以讓使用者用一個工具軟體就可以輕鬆管理檔案和物件資料,使用更加簡單;而 CSI NFS Driver 的專項最佳化,讓雲原生場景下 PVC 的建立和掛載效能有了大幅度提升。

  因此,雖然從版本號上看,V6.3 不是一個非常大的版本升級,但其對非結構化資料的支援能力確是有了一個巨大的飛躍。看似小版本,實則大提升。


原文作者:星辰天合;連結:https://blog.itpub.net/31545808/viewspace-3000198/,如需轉載,請註明出處,否則將追究法律責任。

相關文章