背景介紹
Bloom filter(後面簡稱BF)是Bloom在1970年提出的二進位制向量資料結構。通俗來說就是在大資料集合下高效判斷某個成員是否屬於這個集合。BF其優點在於：
- 插入和查詢複雜度都是O(n)
- 空間利用率極高。
例子1：
像Yahoo這類的公共郵件服務提供商，總是需要過濾垃圾郵件。 假設有50億個郵件地址，需要儲存過濾的方法有：
1.所有郵件地址都儲存到資料庫。
缺點：每次都需要查詢資料庫，效率低。
2.使用Hashtable儲存到記憶體裡，接近O(1)的查詢效率。
缺點：太佔記憶體，假定每個地址需要十六個字元，50億個需要180G記憶體。
3.建立位陣列，將每個郵件地址用Hash函式對映到位陣列中的某一位。
缺點： 單個Hash函式衝突太高，會發生多個郵件會對映到同一位上。
而使用BF可以最大限度避免上述缺點，使其可以在更小空間上，進行高效插入和查詢。
例子2：
經常使用快取的肯定知道，命中率是個永遠的話題。 特別是在分散式快取中，每次不命中就意味著一次跨網路通訊的浪費，無故增加快取伺服器壓力。使用BF可以在很大程度上提高快取命中率。
演算法原理
BF很合適解決類似上面的問題。 BF和例子1中的第三種方法非常類似了。不同的是，BF對同一個郵件地址使用多個不同的Hash函式，再去對映位陣列的中對應位置。
演算法步驟：
- 建立長度為m的位陣列，全部置為0。
- 取出郵件地址集合(m)中的某一個地址(a), 分別使用k個hash函式對a計算。
- 將結果分別對映到位陣列中，並設定為1。
- 其他成員依次處理。
以函式個數k=8來算，50億個郵件地址只需要5G記憶體足夠了，比例子1中方法2節省32倍空間。
當查詢成員a時是否在垃圾郵件集合m中時，使用同樣k個hash函式進行計算，如果k個結果在位陣列中的位值都是1，則判斷a屬於m集合中，即a郵件地址屬於垃圾郵件地址集合m(a∈m)。
關於例子2，可以將所有key儲存到本地記憶體中，每次遠端獲取快取時，優先在記憶體集合中判斷是否存在。
- 存在？去遠端獲取實際快取內容。
- 不存在？直接返回，無需再去遠端快取伺服器判斷。
這樣能極大提高快取命中率，因為BF存在誤判率，所有並不能達到100%(在key的數量級不高時，用其他方法全存下來也可以)。如圖：
誤判率
因為BF使用Hash函式來取得成員的特徵(可理解為成員的指紋資訊)，並沒有在位陣列中儲存集合內的實際資料內容，所以空間利用率極高，但存在個潛在問題，就是查詢某個成員是否屬於集合時，會發生誤判(False positive)。 也就是說，某個成員實際不在集合中，但BF會得出在集中的結論。 所以BF適用於允許發生一定誤判的場景，如例子1、2中少量過濾失敗或去伺服器拿都是可以接受的。
為什麼會有誤判?
假定有一個長度12的位陣列，使用3個hash函式，根據演算法計算成員a得出3、7、11位置，並在位陣列中設定為1。 另外個成員b根據演算法也計算得出3、7、11，去位陣列檢查其位值時，就發現3、7、11都為1是存在的，而實際不存在(1是成員a設定的)，此時就發生了誤判現象。
BF會發生誤判，但不會發生漏判(False Negative)，即成員實際在集合中，那麼BF一定能判斷出在集合中，因為成員對應的位置都設定為1了。
可控制性
根據其陣列長度m、集合大小n、hash函式個數k、誤判率p，簡單得出下：
- 其他不變，集合大小n越大，越多位被設定1，誤判率p越大。
- 其他不變，陣列漲肚m越大，剩餘為0的位越多，誤判率p越小
- 其他不變，新增時k越多，位陣列越多被設定為1，即會增大誤判率。查詢時k越多，明顯誤判率可能就會越小。
hash函式個數取值公式 k = ln 2 * m/n 。
其他它關係公式見wiki。
BF改進
基本的BF在使用時有個缺點：無法刪除集合成員a，只能增加其成員並對其查詢。 有一個很容易想到但錯誤的方法是：如果要刪除成員a，那麼先用k個hash函式對其計算，因為a已經是集合成員，那麼其對應的位陣列的位置一定被設定為1，所以只要將對應位置重新設定為0即可。 原因就是位陣列的位置不但只提供給a使用，也給其他成員使用，一旦設定為0就會影響其他成員的使用。
比如上面中提高快取命中率的例子，不能刪除成員意味著實際快取也不能刪除。如果實際快取刪除了，而在集合中的資料無法刪除，就會發生漏判現象。 這樣的話就會大大限制BF的使用場景。
計數BF(count bloom filter)
計數BF是對基本BF的改進，使BF可以支援刪除成員。 因為BF的基本單位是1個bit，只能表達2種狀態，即存在、不存在。 如果把基本單位1bit擴充成多個bit，這樣就能增加更多資訊，表達出多種狀態。
計數BF的基本單元由多個bit表示，一般情況為3、4個bit。 這樣在新增時，在陣列位置上的數值上加1即可，刪除成員時-1即可。 查詢集合成員時保持不變，只要數值不為0即認為成員是存在的。
計數BF使基本BF有了更多應用場景。 同樣由於用了多個bit來表示，對應陣列大小也相應增加，如果用3bit作為基本單位，那麼陣列大小對應增加了3倍。
總結
BF是大資料處理的利器，其使用場景非常多：
- Google的爬蟲重複URL檢測。
- 黑名單驗證。
- 例子中的快取命中率，垃圾郵件過濾。
- 記憶體擋一層，減輕db空查壓力。
- hbase、LevelDB內部使用。
基本BF的具體實現可參考 http://bloomfilter.codeplex.com。
參考資料
[1] http://en.wikipedia.org/wiki/Bloom_filter
[2] http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html