杉巖海量物件儲存系統完美替代Documentum

杉巖資料發表於2019-12-19

自2006年至今十餘年來,金融行業內容管理系統通常採用Documentum+DB+NAS的整體解決方案,如下圖1所示,Documentum結合DB的索引能力和NAS的儲存能力,向上為影像平臺等業務提供文件資料的儲存和檢索讀取服務。

杉巖海量物件儲存系統完美替代Documentum

近年來隨著非結構化資料的爆發性增長,由於Documentum系統架構問題,此套解決方案出現了明顯效能瓶頸,杉巖海量物件儲存系統(SandStone MOS)採用全分散式架構,針對海量檔案場景提供可線性擴充套件的持續快速訪問效能,同時提供全方位的海量資料保護支援和資料生命週期管理功能,能夠完美替代Documentum。作為金融行業內容管理系統的未來核心模組,不僅要提供現在和未來的服務保障,更要能夠完美接納客戶現有資料,所以需要提供平滑友好的Documentum遷移方案。

Documentum應用架構

基於Documentum的應用平臺如圖2所示,儲存倉庫(Repository)作為資料及後設資料的最終存放位置,包含內容儲存系統(Content Store)及後設資料儲存系統(Metadata Store); 內容伺服器(Content Server)位於儲存倉庫之上,透過封裝好的介面給上層應用提供處理文件資料的呼叫介面;上層應用(Web Application、Desktop Application等)透過呼叫內容伺服器提供的API介面,給終端使用者提供友好的文件內容管理功能,輕鬆應對文件的存檔、搜尋、分類、處理、安全保密和歸檔儲存等一系列工作。

基於Documentum的應用平臺架構圖

杉巖海量物件儲存系統完美替代Documentum

Documentum模組介紹

儲存倉庫(Repository)

一個儲存倉庫是一個基本的內容和後設資料儲存單元,包含內容儲存系統(Content Store)和後設資料儲存系統(Metadata Store),如圖3是一個最小的儲存倉庫結構,預設情況下Documentum透過主機本地檔案系統儲存內容,透過關聯式資料庫(RDBMS,Relational Database Management System)管理後設資料及其相互關係,另外一個倉庫可以同時包含多個內容儲存系統,並且這些內容儲存系統可以是不同型別,比如關聯式資料庫、本地檔案系統、NAS等。

儲存倉庫

杉巖海量物件儲存系統完美替代Documentum

內容伺服器(Content Server)

內容伺服器負責內容和後設資料的生命週期管理,使用者無需關心檔案和後設資料具體存在哪裡,透過一個介面即可訪問內容(content)。一個Content Server只能對應一個Repository,但是一個Repository可以配置多個Content Server,這樣有如下好處:

1. 透過多個Content Server分擔壓力,提高整體效能

2. 透過遠端Content Server為遠端使用者提供優質服務

3. 透過多Content Server提供高可用和災備恢復支援

杉巖海量物件儲存系統完美替代Documentum

杉巖NAS異構特性介紹

傳統NAS裝置在已經存放了數千萬級別檔案數量的情況下,效能急劇下降,讀寫延遲可達到5-10秒,在杉巖物件儲存實施的過程中,由於NAS介面效能的瓶頸,導致現有資料的遷移週期長達數月之久,為此我們開發了NAS異構特性。

如圖5所示,SandStone MOS納管NAS裝置的後設資料,無需立即觸發資料內容搬遷,應用統一使用S3介面即可訪問NAS和MOS的資料,透過生命週期轉移策略,可以後期平滑遷移NAS檔案到SandStone MOS,資料內容搬遷過程中無需停機,業務切割時間窗極短。

杉巖海量物件儲存系統完美替代Documentum


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956769/viewspace-2669403/,如需轉載,請註明出處,否則將追究法律責任。

相關文章