在數字化轉型浪潮中,如何儲存和利用好資料,是企業面臨的首要問題。相比於傳統網際網路全面擁抱雲,產業網際網路在數字化轉型過程中,通常第一步是利用雲端儲存來歸檔資料。
隨著業務的增長,企業積攢了大量重要資料,一些資料在經過清洗和處理後,需要長期儲存,以備將來進一步分析;一些資料則是出於行業監管和合規的要求,需要長期儲存。典型的資料歸檔業務場景包括:
- 金融交易:交易日誌、票據影像、雙錄視訊;
- 視訊監控:安防監控、交通監控、個人視訊監控;
- 生命科學:醫療影像資料、電子病例、基因測序資料;
- 廣告營銷:電子商務日誌、廣告營銷日誌;
- 娛樂遊戲:短視訊、社交資料、遊戲日誌;
- 媒資視訊:視訊影像、線上課程視訊;
- 自動駕駛:視訊採集、遙感監控、鐳射雷達;
- 科研教育:天文觀測、高能物理、海洋監控、油氣勘探、地震預測。
談到資料歸檔,就繞不過磁帶庫。
一、磁帶庫的問題和挑戰
從第一款磁帶機面世,磁帶技術已經有50多年曆史了。雖然磁帶技術經過多輪演進,並在企業級資料歸檔儲存市場上佔有特殊地位,但是仍然面臨很多問題和挑戰:
- 前期投入大,需要一次性投入購買磁帶庫,需要複雜的管理和運維工作;
- 磁帶長期儲存需要特殊的物理環境條件,一旦受潮,磁帶會退化或者黴變,即使看起來完好無損,資料也可能無法恢復,資料丟失的風險非常高;
- 雖然磁帶具備比較長的壽命,為了保證資料可靠性,需要定期進行資料遷移,這是一項耗時費力的任務;
- 資料恢復時間長,對於離線保持的磁帶,需要人工參與恢復流程;
公有云發展到今天,雲端儲存產品通過不斷的創新,在保證安全、可靠的基礎上,儲存成本得到持續降低。對比傳統磁帶庫歸檔方案,客戶有了更具價效比的選擇。
二、騰訊雲深度歸檔介紹
騰訊雲近期釋出了深度歸檔儲存,一款新的物件儲存COS型別,可以提供低成本、安全持久的資料儲存服務。相比於低頻儲存和歸檔儲存,其價格更低,適用於儲存訪問頻率極低(如半年一次)但需要持久儲存的資料,如日誌審計資料,安防監控資料等。其安全性、永續性、低價格等特性,能最大程度的滿足冷資料儲存的訴求。
深度歸檔儲存在軟體架構、硬體裝置、任務管理系統上都進行了全新升級,通過全新的架構最大程度的提升裝置的利用率,為使用者降低儲存成本。深度歸檔儲存費用僅為0.01元/GB/月,對比磁帶歸檔,總體TCO下降20%。
深度歸檔提供兩種資料恢復選項:
- 標準模式:資料可以在12小時內完成恢復;
- 批量模式:恢復成本低,資料可以在48小時內完成恢復;
對比傳統磁帶庫,雲上歸檔提供了更簡單、更快速的資料恢復服務。
同時,深度歸檔儲存具備99.999999999%(11個9)的資料永續性,比傳統磁帶庫提供更高的可靠性。
三、雲上歸檔解決方案
1、結合商業備份軟體服務
當前,主流商業備份軟體都完成了與騰訊雲物件儲存COS的對接認證,客戶可以根據歸檔資料的儲存時長、訪問頻率、恢復時間等條件,選擇合適的物件儲存COS型別作為歸檔介質庫。
在不改變現有歸檔業務流程的情況下,通過備份軟體上建立物件儲存COS歸檔介質庫,並配置訪問Bucket相應的許可權認證資訊,就可以將資料直接歸檔上雲。
架構上,備份軟體通常由備份管理伺服器、備份伺服器和備份客戶端構成。備份伺服器直接訪問物件儲存COS,支援型別包括標準儲存、低頻儲存、歸檔儲存和深度歸檔儲存。
備份伺服器將資料壓縮、去重後,可以直接寫入深度歸檔儲存,或者先寫入標準儲存後,通過生命週期管理自動沉降到深度歸檔儲存。例如,7天以內的資料儲存在標準儲存,便於隨時恢復資料;7 ~ 30天的資料沉降到低頻儲存,作為溫資料以備突發訪問;超過30天后,沉降到深度歸檔,進行長期歸檔儲存。
雲上歸檔解決方案提供端到端的加密服務,確保資料安全。預設情況下,資料通過HTTPS協議加密傳輸上雲,保證資料傳輸過程中的安全。通過備份軟體自身的加密功能,或者物件儲存COS的加密服務,資料加密後儲存,保證資料儲存過程中的安全。
2、通過檔案儲存閘道器歸檔
如果備份軟體還不相容物件儲存COS,可以藉助CSG檔案儲存閘道器,通過備份軟體建立NAS歸檔介質庫,間接歸檔資料到雲上深度歸檔儲存。
檔案儲存閘道器(Cloud Storage Gateway,CSG)是一種混合雲端儲存服務,CSG 使用標準檔案共享協議訪問位於物件儲存 COS 中的資料,無縫接入公有云,實現資料的上雲。可以根據業務需求靈活地部署在雲上或者本地,輕鬆地進行資料的上雲、歸檔以及災難恢復。
CSG會快取熱資料來保證本地訪問效能,同時會將全量資料儲存至 COS 中以確保資料的安全永續性。CSG 能夠根據時段分配排程上傳下載的頻寬,在頻寬資源緊張時,可以限制閘道器佔用的頻寬,以免影響自有業務;而在業務空閒時則可放開限制,充分利用頻寬資源。
資料上雲後,同樣藉助COS生命週期管理功能,完成資料沉降到深度歸檔,進行長期歸檔儲存。
3、離線資料搬遷上雲
如果本地資料中心還沒有拉通專線,或者存量歸檔資料規模比較大,可以通過雲資料遷移服務CDM專用裝置,進行大規模離線遷移資料上雲,從而獲得深度歸檔帶來的好處。
雲資料遷移(Cloud Data Migration,CDM)是騰訊雲提供的 TB~PB 級別的資料遷移上雲服務。提供安全可靠的離線遷移專用裝置,解決本地資料中心通過網路傳輸時間長、成本高的問題。
CDM 遷移裝置使用標準的電源,支援 ext4、NFS、CIFS、HDFS 等多種檔案系統,使用者無需擔心資料中心環境相容問題。
採用256位加密金鑰對資料進行自動加密,保證第三方無法從磁碟獲取檔案資訊。遷移完成後,對裝置上的資料進行徹底擦除,確保資料不會被洩露讀取。
四、雲上歸檔的主要優勢
1、更高的可靠性
深度歸檔物件儲存提供資料跨多資料中心、多裝置冗餘儲存,為使用者資料提供異地歸檔容災服務,實現高達99.999999999%(11個9)的資料永續性,資料的耐久性遠高於磁帶庫。
2、端到端的加密保障資料安全
對於資料的儲存,物件儲存服務端加密可以對儲存的資料進行加密,保證使用者的隱私,使用者訪問時會自動解密。對於資料的傳輸,物件儲存提供用 HTTPS 部署 SSL 證書實現加密的功能,在傳輸鏈路層上建立加密層,確保資料在傳輸過程中不會被竊取及篡改。
3、成本低、免運維
使用深度歸檔儲存,您無需採購硬體、部署和運維,避免前期高額投入,節省了運維工作和託管成本。物件儲存支援按需按量使用,您無需預先支付任何預留儲存空間的費用,對比磁帶庫總體TCO降低20%。
4、資料恢復時間短
整個資料恢復流程完全自動化,無需人工參與。採用標準恢復模式下,資料可以在12小時內完成恢復。
5、支援跨區域資料複製功能
通過配置物件儲存跨地域複製規則,可以在異地區域的儲存桶中自動、非同步地複製資料,滿足行業對歸檔資料跨地域儲存的合規性要求。
6、相容性主流備份軟體
目前,支援物件儲存COS的主流商業備份軟體廠商包括:Commvault、Veritas、Veeam、愛數、鼎甲、雲信達、木浪雲、科力銳等。後續會有更多的廠商完成對接和認證。
五、寫在最後
數字化轉型為企業業務的快速增長提供原動力,資料作為企業核心資產,需要高可靠、低成本的歸檔方案。隨著騰訊雲COS深度歸檔的釋出,結合商業備份軟體、雲端儲存閘道器、離線遷移工具,騰訊云為企業的核心資料資產提供了高價效比的歸檔解決方案,助力企業數字化轉型。