大資料日知錄 02 大資料常用演算法與資料結構

weixin_33912445發表於2017-12-21

1、

9493759-e612ec346e186227.png
布隆過濾器

改進:計數 Bloom Fliter
9493759-54db5a4914a110ce.png
計數布隆過濾器

2、SkipList
9493759-a4c1eb25634c5f58.png
1

3、Merkel雜湊樹

1979 Ralph Merkle發明

  • 最初用於高效Lamport簽名驗證
  • 後來廣泛應用在分散式領域

Dynamo中的應用

  • Dynamo結合Merkle樹和Gossip協議

比特幣中的應用

4、Snappy與LZSS演算法

Snappy:Google開源出的高效資料壓縮與解壓縮演算法庫

  • 目標:合理的壓縮基礎上追求儘可能快的壓縮和解壓縮速度
  • 整體框架上基本遵循LZSS的壓縮和解碼方案

LZSS

9493759-305a2fb24145731d.png
編碼

5、Cuckoo雜湊

Rasmus Pagh 和 Flemming Friche Rodler 2001 年提出

  • 解決雜湊衝突問題
  • 應用:SILT儲存系統

相關文章