重複資料刪除:備份中的“消重加速器”
重複資料刪除技術在資料中心已獲得廣泛認可,上訊資訊科技有限公司推出IFC-DP持續資料保護系統基於先進的重刪技術,對於多個備份例項只儲存一份,可對備份到IFC-DP一體化儲存池內的資料進行重複資料刪除,提高了儲存空間的利用率。那些通常會製造大量資料的組織發現本應最佳化備份流程的消重技術實際上會對備份系統造成問題。要避免出現這些問題,一些備份廠商開始提供能讓消重流程更加高效的產品。本文將會討論這些“消重加速器”是如何工作的。
讓我們用一個更具體的例子來講述消重加速是怎麼實現的。假設有一個線內、目標端消重的環境,這種架構通常有一個或多個備份伺服器將資料傳送到備份裝置。備份裝置會檢查每個收到的資料塊,如果資料塊是唯一的,則將其寫入備份儲存。如果資料塊不是唯一的,則檢查該資料塊的複製在備份儲存中的位置,然後更新資料庫條目,將該資料塊與已經被備份的資料關聯起來。
儘管這種工作方式沒有問題,但它的擴充套件性卻不好。隨著需要備份的資料量的增大,備份裝置的效能將達到極限,線內消重處理將成為一個瓶頸。要解決這一問題,其中的一個解決方案是使用分散式消重技術來提升擴充套件性。
在之前的案例中,備份伺服器盲目地將資料流傳送到備份裝置,然後備份裝置再進行資料消重和儲存資料。資料流在這裡是單向的。在使用消重加速的環境中,單向資料流變成了雙向資料流。也就是說,備份伺服器和備份裝置之間會互相通訊,這將使備份消重流程更加高效。
雖然每個廠商實現消重加速的具體方法都不同,但它們一般都會讓備份伺服器在傳送資料至備份裝置前去確定資料是否是唯一的。否則,就要讓備份裝置去檢查了。
具體的實現方法是,備份伺服器會計算需要備份的資料塊的雜湊值,並將該雜湊值傳送至備份裝置,而非傳送整個資料塊。當備份裝置收到該雜湊值,它會將其與它的雜湊表對比,確定該資料是否唯一。如果資料是冗餘的,則無需備份該資料塊。
如果資料是唯一的,備份伺服器需要將資料塊傳送到備份裝置以完成備份。有的備份產品可以在傳送該資料塊之前將資料塊進行壓縮,這樣可以節省網路頻寬,這在低頻寬的環境中是非常重要的。
這種方法不但大大的減少了WAN頻寬的使用,也提升了備份的速度。這裡要再次說明,使用消重加速對資源的節省情況在每個產品中都是不同的。EMC聲稱其Data Domain Boost產品可以提升50%的速度,並節省80%至99%的網路頻寬。
備份裝置在執行線內資料消重時,隨時都有被大量進入裝置的資料流沖垮的風險,特別是在多臺備份伺服器向單個備份裝置傳送資料的環境。消重加速技術透過將一部分消重工作遷移到備份伺服器的方式來解決這個問題,同時也節省了資源的使用,並且讓消重的擴充套件性變得更好。
本文摘自:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29352360/viewspace-1062051/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- sqlserver中刪除重複資料SQLServer
- 刪除重複資料
- Oracle中刪除重複資料的SqlOracleSQL
- mysql 刪除表中重複的資料MySql
- PostgreSQL刪除表中重複資料SQL
- Oracle中刪除表中的重複資料Oracle
- mongodb刪除重複資料MongoDB
- MySQL刪除重複資料MySql
- 刪除表裡重複資料
- Oracle查詢重複資料與刪除重複記錄Oracle
- mysql查詢表裡的重複資料方法和刪除重複資料MySql
- 解析postgresql 刪除重複資料案例SQL
- SQL Server中刪除重複資料的幾個方法SQLServer
- 使用Java Stream API中DistinctBy刪除重複資料JavaAPI
- oracle 查詢及刪除表中重複資料Oracle
- mysql 查詢及 刪除表中重複資料MySql
- Oracle查詢重複資料與刪除重複記錄方法Oracle
- excel刪除重複資料保留一條 如何刪掉重複資料只留一條Excel
- Mongodb 刪除重複資料的幾個方法MongoDB
- oracle重複資料的查詢及刪除Oracle
- oracle 刪除重複資料的幾種方法Oracle
- 刪除重複資料的幾個方法(轉)
- JavaScript刪除字串中重複的字元JavaScript字串字元
- 如何刪除ArrayList中的重複元素
- MS SQL Server 刪除重複行資料SQLServer
- T-SQL 刪除重複資料SQLSQL
- 海量資料處理_刪除重複行
- 根據rowid刪除重複資料
- 通過ROWID刪除重複資料
- JavaScript刪除字串中重複字元JavaScript字串字元
- 刪除重複資料的一種高效的方法
- NetApp FAS Filer的重複資料刪除APP
- 重複資料刪除和SSD的互補方法
- 刪除重複資料的三種sql寫法SQL
- 刪除排序陣列中的重複項排序陣列
- js刪除陣列中重複的元素JS陣列
- js刪除陣列中的重複元素JS陣列
- ORACLE批量刪除無主鍵重複資料Oracle