MerkleTree在資料校驗上的應用
Anti-Entropy如何透過對比MerkleTree來發現節點資料的一致?
比較恢復的最細粒度是?
MerkleTree又稱HashTree,因為它的節點儲存的都是hash值,葉子節點儲存的是檔案塊,分片,或者cassandra中row key的hash值等,非葉子節點儲存的是子節點值的hash,即hash的hash。透過比較樹根的hash可以快速的確認當前tree對映的資料有沒有發生變化,並可以在log(N)時間內快速的定位是那部分發生了變化。
這樣看來MerkleTree是很強大的,在cassandra中就是透過MerkleTree對比來進行多個節點上同一個range的多個副本資料的一致性檢查,從而進行readrepair一致性修復操作。
也看到使用MerkleTree來進行大量小檔案的同步,不知道SVN這樣的版本控制工具是怎樣進行檔案版本比較,記錄的,興許底層也是基於MerkleTree來做的,同樣最近非常火的雲端儲存應用也是有此需求的,雲端儲存中在本地和雲端進行資料備份同步,如果能夠快速標識檔案的異同,不僅能夠減少資料同步帶來的網路開銷,同時使用者的感知也是非常好的,這方面dropbox做的就很好。
amazon的這篇論文對此有比較好的解釋:
[@more@]來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/23937368/viewspace-1052015/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- .NET Attribute在資料校驗上的應用
- 資料校驗
- MaxCompute在高德大資料上的應用大資料
- MySQL手動資料校驗+雲資料庫資料校驗MySql資料庫
- 資料探勘技術在軌跡資料上的應用實踐
- easypoi資料校驗
- DW中的資料校驗
- AJAX應用【股票案例、驗證碼校驗】
- [資料校驗/資料質量] 資料校驗框架(Java):hibernate-validation框架Java
- 行式填報 資料校驗 --- 小計校驗
- VeeValidate在vue專案裡表單校驗應用案例Vue
- ORACLE資料校驗文件Oracle
- Node 在 Controller 層如何進行資料校驗Controller
- 外部資料在資料分析中的應用
- Binding(四):資料校驗
- struts2資料校驗
- 使用 voluptuous 校驗資料
- 前端資料校驗後,後端介面是否需要再次校驗?前端後端
- SQL語句在oracle資料庫中的初級應用(上)SQLOracle資料庫
- MongoDB 在 Spring的資料應用MongoDBSpring
- 前端與後端TP的資料校驗前端後端
- Hibernate資料校驗簡介
- 一種在客戶端利用js實現對資料校驗的方法客戶端JS
- 採用lua指令碼獲取mysql、redis資料以及jwt的校驗指令碼MySqlRedisJWT
- 使用 JWT 時,新增自定義資料並在登陸時校驗JWT
- SPI介面在LCD上的應用
- 工控機在高鐵上的應用
- 稀疏映象在OpenHarmony上的應用
- 大資料技術在電商的應用大資料
- 爬蟲在大資料時代的應用爬蟲大資料
- 大資料在智慧城市中的應用大資料
- SAP ABAP maintanence view的資料校驗機制AIView
- 資料庫在資料分析中如何應用資料庫
- 大二上,計組原理筆記(3)2.6資料校驗碼筆記
- JSR303 資料校驗JS
- 前端資料校驗從建模開始前端
- 在ASP中用“正規表示式物件”來校驗資料的合法性 (轉)物件
- 資料探勘在醫學大資料研究中的應用大資料