杉巖資料:如何在7天內跨資料中心遷移1 PB檔案?
你知道嗎?
通訊科技發展到今天,當資料量達到TB級,網路傳輸的效率其實還不如快遞。百兆光纖寬頻看似很快,但在遇到真正的“大資料”時,高速公路也會秒變停車場。
我們來算一筆賬:
從時間成本來看,離線資料的物理遷移看似原始實則非常高效。
就像鈔票比錢包值錢,資料比儲存裝置更值錢,裝置壞了可以再買,資料丟了那就是天要塌了。企業初期基本採用單資料中心運營,但業務規模上來以後,資料中心裡的伺服器和儲存裝置越來越多,資料量也大了,這時候就要考慮建設災備中心,構建主備協同的雙中心架構。在不影響業務的前提下,如何將生產資料中心的PB級規模資料備份到災備資料中心呢?
按照上面的計算,完成1 PB資料的全部備份耗時近3年,這個方案沒法接受。
圖1.常規資料同步方案
杉巖的資料離線遷移服務,就是用來解決這個問題的。
普通的離線遷移一般是用中轉磁碟的方式實現,如果是將物件資料複製到磁碟的檔案系統,會造成標籤等後設資料的資訊丟失,雖然資料主體是備份了,但實際上降低了資料質量。杉巖中轉叢集的方案不存在這個缺點,利用伺服器搭建高密度中轉叢集,同步主資料和後設資料,整個方案實施過程只有3步,7天即可完成。
1、部署中轉叢集
根據資料量配置伺服器,搭載杉巖MOS海量物件儲存軟體以構建中轉叢集。伺服器的網路介面規格根據資料量以及客戶對遷移時間的要求,靈活選擇千兆或萬兆網路卡。若遷移1 PB資料,客戶僅需配置1臺中轉伺服器,選配萬兆網路卡,頻寬可達4 GB/s。
2、資料從生產資料中心同步到中轉叢集
在視覺化管理介面上配置同步策略,將資料從生產資料中心同步到中轉叢集,這一步只要3天就可以完成。
資料同步完成之後,將中轉伺服器打包快遞至災備資料中心。視路程遠近,這一步可以在1到3天內完成。
3、資料從中轉叢集同步到災備資料中心
中轉伺服器送達後,按同樣方式反向操作即可將資料同步到災備中心,這一步也只要3天就可以完成。至此,資料遷移全部完成,耗時最短只要7天。
圖2.資料離線遷移方案
採用杉巖離線遷移服務充分發揮分散式叢集的頻寬優勢,遷移效率可提升100倍以上。資料遷移前後,完整保留檔案的標籤、多版本等資料屬性,不存在資訊丟失問題,資料質量有保證;而且中轉伺服器運送過程全程監控,保障裝置和資料安全,總體成本可節約50%以上,這套方案已經在保險公司等金融行業客戶應用過,效果十分顯著。
計算機領域老前輩、Minix的作者Andrew S. Tanenbaum的這句話仍然沒有過時:“永遠不要低估一輛滿載著磁帶在高速公路上飛馳的旅行車的頻寬。”
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956769/viewspace-2699464/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 杉巖資料銀行Documentum遷移方案
- 多源資料快速遷移匯聚,杉巖資料推出智慧資料湖新通道
- 達夢資料庫資料檔案遷移過程資料庫
- elasticsearch跨叢集資料遷移Elasticsearch
- 杉巖資料企業內容管理解決方案
- GBASE助力山東移動大資料平臺PB級資料主倉業務跨機房無感知遷移大資料
- 利用offline datafile檔案方式遷移資料
- 資料遷移(1)——通過資料泵表結構批量遷移
- 使用dbeaver 用csv 檔案進行資料遷移
- FastDFS檔案系統遷移和資料恢復AST資料恢復
- 杉巖資料安全儲存解決方案
- 杉巖海量資料儲存解決方案
- 杉巖資料非結構化資料儲存解決方案
- 資料庫課程作業筆記 - 編寫資料庫遷移檔案資料庫筆記
- 達夢資料庫系統表空間資料檔案遷移過程資料庫
- 遷移資料庫的檔案到不同路徑(轉)資料庫
- 5- ABC遷移大資料1大資料
- 杉巖:成功沒有捷徑,但雙中心資料讀寫有“捷徑”
- 【北亞資料恢復】MongoDB資料遷移檔案丟失的MongoDB資料恢復案例資料恢復MongoDB
- 杉巖資料媒資CDN影片儲存解決方案
- Kafka資料遷移Kafka
- Harbor資料遷移
- gitlab資料遷移Gitlab
- 資料庫遷移資料庫
- 杉巖資料私有云儲存解決方案
- 資料表結構更新後,遷移檔案怎麼使用?
- SQLServer移動資料檔案SQLServer
- 保障儲存資料多活,杉巖MOS構建新一代多活資料中心
- 三個月我遷移了100PB資料
- elasticdump資料遷移與內外網安裝AST
- 杉巖資料實現與OpenStack的全面緊耦合
- 杉巖資料:從資料到洞察,如何用物件儲存支撐新型資料湖物件
- 用傳輸表空間跨平臺遷移資料
- 雲資料庫管理與資料遷移資料庫
- 資料檔案遷移至其他磁碟組
- Mysql資料遷移方法MySql
- 【Hive】hive資料遷移Hive
- 【Redis】 redis資料遷移Redis