杉巖資料:如何在7天內跨資料中心遷移1 PB檔案?

杉巖資料發表於2020-06-19

你知道嗎?


通訊科技發展到今天,當資料量達到TB級,網路傳輸的效率其實還不如快遞。百兆光纖寬頻看似很快,但在遇到真正的“大資料”時,高速公路也會秒變停車場。


我們來算一筆賬:




從時間成本來看,離線資料的物理遷移看似原始實則非常高效。


就像鈔票比錢包值錢,資料比儲存裝置更值錢,裝置壞了可以再買,資料丟了那就是天要塌了。企業初期基本採用單資料中心運營,但業務規模上來以後,資料中心裡的伺服器和儲存裝置越來越多,資料量也大了,這時候就要考慮建設災備中心,構建主備協同的雙中心架構。在不影響業務的前提下,如何將生產資料中心的PB級規模資料備份到災備資料中心呢?


按照上面的計算,完成1 PB資料的全部備份耗時近3年,這個方案沒法接受。



圖1.常規資料同步方案



杉巖的資料離線遷移服務,就是用來解決這個問題的。


普通的離線遷移一般是用中轉磁碟的方式實現,如果是將物件資料複製到磁碟的檔案系統,會造成標籤等後設資料的資訊丟失,雖然資料主體是備份了,但實際上降低了資料質量。杉巖中轉叢集的方案不存在這個缺點,利用伺服器搭建高密度中轉叢集,同步主資料和後設資料,整個方案實施過程只有3步,7天即可完成。


1、部署中轉叢集

根據資料量配置伺服器,搭載杉巖MOS海量物件儲存軟體以構建中轉叢集。伺服器的網路介面規格根據資料量以及客戶對遷移時間的要求,靈活選擇千兆或萬兆網路卡。若遷移1 PB資料,客戶僅需配置1臺中轉伺服器,選配萬兆網路卡,頻寬可達4 GB/s。


2、資料從生產資料中心同步到中轉叢集

在視覺化管理介面上配置同步策略,將資料從生產資料中心同步到中轉叢集,這一步只要3天就可以完成。

資料同步完成之後,將中轉伺服器打包快遞至災備資料中心。視路程遠近,這一步可以在1到3天內完成。


3、資料從中轉叢集同步到災備資料中心

中轉伺服器送達後,按同樣方式反向操作即可將資料同步到災備中心,這一步也只要3天就可以完成。至此,資料遷移全部完成,耗時最短只要7天。


圖2.資料離線遷移方案



採用杉巖離線遷移服務充分發揮分散式叢集的頻寬優勢,遷移效率可提升100倍以上。資料遷移前後,完整保留檔案的標籤、多版本等資料屬性,不存在資訊丟失問題,資料質量有保證;而且中轉伺服器運送過程全程監控,保障裝置和資料安全,總體成本可節約50%以上,這套方案已經在保險公司等金融行業客戶應用過,效果十分顯著。


計算機領域老前輩、Minix的作者Andrew S. Tanenbaum的這句話仍然沒有過時:“永遠不要低估一輛滿載著磁帶在高速公路上飛馳的旅行車的頻寬。”


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956769/viewspace-2699464/,如需轉載,請註明出處,否則將追究法律責任。

相關文章