Simhash演算法原理和網頁查重應用

發表於2012-06-15

傳統的hash演算法只負責將原始內容儘量均勻隨機地對映為一個簽名值，原理上相當於偽隨機數產生演算法。產生的兩個簽名，如果相等，說明原始內容在一定概率下是相等的；如果不相等，除了說明原始內容不相等外，不再提供任何資訊，因為即使原始內容只相差一個位元組，所產生的簽名也很可能差別極大。從這個意義上來說，要設計一個hash演算法，對相似的內容產生的簽名也相近，是更為艱難的任務，因為它的簽名值除了提供原始內容是否相等的資訊外，還能額外提供不相等的原始內容的差異程度的資訊。

而Google的simhash演算法產生的簽名，可以用來比較原始內容的相似度時，便很想了解這種神奇的演算法的原理。出人意料，這個演算法並不深奧，其思想是非常清澈美妙的。

Simhash演算法

simhash演算法的輸入是一個向量，輸出是一個f位的簽名值。為了陳述方便，假設輸入的是一個文件的特徵集合，每個特徵有一定的權重。比如特徵可以是文件中的詞，其權重可以是這個詞出現的次數。simhash演算法如下：

1，將一個f維的向量V初始化為0；f位的二進位制數S初始化為0；

2，對每一個特徵：用傳統的hash演算法對該特徵產生一個f位的簽名b。對i=1到f：

如果b的第i位為1，則V的第i個元素加上該特徵的權重；

否則，V的第i個元素減去該特徵的權重。

3，如果V的第i個元素大於0，則S的第i位為1，否則為0；

4，輸出S作為簽名。

演算法幾何意義和原理

這個演算法的幾何意義非常明瞭。它首先將每一個特徵對映為f維空間的一個向量，這個對映規則具體是怎樣並不重要，只要對很多不同的特徵來說，它們對所對應的向量是均勻隨機分佈的，並且對相同的特徵來說對應的向量是唯一的就行。比如一個特徵的4位hash簽名的二進位制表示為1010，那麼這個特徵對應的 4維向量就是(1, -1, 1, -1)^T，即hash簽名的某一位為1，對映到的向量的對應位就為1，否則為-1。然後，將一個文件中所包含的各個特徵對應的向量加權求和，加權的係數等於該特徵的權重。得到的和向量即表徵了這個文件，我們可以用向量之間的夾角來衡量對應文件之間的相似度。最後，為了得到一個f位的簽名，需要進一步將其壓縮，如果和向量的某一維大於0，則最終簽名的對應位為1，否則為0。這樣的壓縮相當於只留下了和向量所在的象限這個資訊，而64位的簽名可以表示多達2⁶⁴個象限，因此只儲存所在象限的資訊也足夠表徵一個文件了。

明確了演算法了幾何意義，使這個演算法直觀上看來是合理的。但是，為何最終得到的簽名相近的程度，可以衡量原始文件的相似程度呢？這需要一個清晰的思路和證明。在simhash的發明人Charikar的論文中[2]並沒有給出具體的simhash演算法和證明，以下列出我自己得出的證明思路。

Simhash是由隨機超平面hash演算法演變而來的，隨機超平面hash演算法非常簡單，對於一個n維向量v，要得到一個f位的簽名(f<<n)，演算法如下：

1，隨機產生f個n維的向量r1,…rf；

2，對每一個向量ri，如果v與ri的點積大於0，則最終簽名的第i位為1，否則為0.

這個演算法相當於隨機產生了f個n維超平面，每個超平面將向量v所在的空間一分為二，v在這個超平面上方則得到一個1，否則得到一個0，然後將得到的 f個0或1組合起來成為一個f維的簽名。如果兩個向量u, v的夾角為θ，則一個隨機超平面將它們分開的概率為θ/π，因此u, v的簽名的對應位不同的概率等於θ/π。所以，我們可以用兩個向量的簽名的不同的對應位的數量，即漢明距離，來衡量這兩個向量的差異程度。

Simhash演算法與隨機超平面hash是怎麼聯絡起來的呢？在simhash演算法中，並沒有直接產生用於分割空間的隨機向量，而是間接產生的：第 k個特徵的hash簽名的第i位拿出來，如果為0，則改為-1，如果為1則不變，作為第i個隨機向量的第k維。由於hash簽名是f位的，因此這樣能產生 f個隨機向量，對應f個隨機超平面。下面舉個例子：

假設用5個特徵w1,…,w5來表示所有文件，現要得到任意文件的一個3維簽名。假設這5個特徵對應的3維向量分別為：

h(w1) = (1, -1, 1)^T

h(w2) = (-1, 1, 1)^T

h(w3) = (1, -1, -1)^T

h(w4) = (-1, -1, 1)^T

h(w5) = (1, 1, -1)^T

按simhash演算法，要得到一個文件向量d=(w1=1, w2=2, w3=0, w4=3, w5=0) ^T的簽名，

先要計算向量m = 1*h(w1) + 2*h(w2) + 0*h(w3) + 3*h(w4) + 0*h(w5) = (-4, -2, 6) ^T，

然後根據simhash演算法的步驟3，得到最終的簽名s=001。

上面的計算步驟其實相當於，先得到3個5維的向量，第1個向量由h(w1),…,h(w5)的第1維組成：

r1=(1,-1,1,-1,1) ^T；

第2個5維向量由h(w1),…,h(w5)的第2維組成：

r2=(-1,1,-1,-1,1) ^T；

同理，第3個5維向量為：

r3=(1,1,-1,1,-1) ^T.

按隨機超平面演算法的步驟2，分別求向量d與r1,r2,r3的點積:

d ^T r1=-4 < 0，所以s1=0;

d ^T r2=-2 < 0，所以s2=0;

d ^T r3=6 > 0，所以s3=1.

故最終的簽名s=001，與simhash演算法產生的結果是一致的。

從上面的計算過程可以看出，simhash演算法其實與隨機超平面hash演算法是相同的，simhash演算法得到的兩個簽名的漢明距離，可以用來衡量原始向量的夾角。這其實是一種降維技術，將高維的向量用較低維度的簽名來表徵。衡量兩個內容相似度，需要計算漢明距離，這對給定簽名查詢相似內容的應用來說帶來了一些計算上的困難；我想，是否存在更為理想的simhash演算法，原始內容的差異度，可以直接由簽名值的代數差來表示呢？

大規模網頁的近似查重

詳細內容可以看WWW07的 Detecting Near-Duplicates for Web Crawling。

例如，文字的特徵可以選取分詞結果，而權重可以用df來近似。

Simhash具有兩個“衝突的性質”：

1. 它是一個hash方法

2. 相似的文字具有相似的hash值，如果兩個文字的simhash越接近，也就是漢明距離越小，文字就越相似。

因此海量文字中查重的任務轉換位如何在海量simhash中快速確定是否存在漢明距離小的指紋。也就是：在n個f-bit的指紋中，查詢漢明距離小於k的指紋。

在文章的實驗中，simhash採用64位的雜湊函式。在80億網頁規模下漢明距離=3剛好合適。

因此任務的f-bit=64 , k=3 , n= 8*10^11

任務清晰，首先看一下兩種很直觀的方法：

1. 列舉出所有漢明距離小於3的simhash指紋，對每個指紋在80億排序指紋中查詢。（這種方法需要進行C（64，3）=41664詞的simhash指紋，再為每個進行一次查詢）

2. 所有接近的指紋排序到一起，這至多有41664排序可能，需要龐大的空間。提出的方法介於兩者之間，合理的空間和時間的折中。

• 假設我們有一個已經排序的容量為2^d，f-bit指紋集。看每個指紋的高d位。該高低位具有以下性質：儘管有很多的2^d位組合存在，但高d位中有隻有少量重複的。

• 現在找一個接近於d的數字d’，由於整個表是排好序的，所以一趟搜尋就能找出高d’位與目標指紋F相同的指紋集合f’。因為d’和d很接近，所以找出的集合f’也不會很大。

• 最後在集合f’中查詢和F之間海明距離為k的指紋也就很快了。

• 總的思想：先要把檢索的集合縮小，然後在小集合中檢索f-d’位的海明距離

按照例子，80億網頁有2^34 個，那麼理論上34位就能表示完80億不重複的指紋。我們假設最前的34位的表示完了80億指紋，假設指紋在前30位是一樣的，那麼後面4位還可以表示2⁴個，只需要逐一比較這16個指紋是否於待測指紋漢明距離小於3。

假設：對任意34位中的30位都可以這麼做。

因此在一次完整的查詢中，限定前q位精確匹配（假設這些指紋已經是q位有序的，可以採用二分查詢，如果指紋量非常大，且分佈均勻，甚至可以採用內插搜尋），之後的2^d-q個指紋剩下64-q位需要比較漢明距離小於3。

於是問題就轉變為如何切割64位的q。

將64位平分成若干份，例如4份ABCD，每份16位。

假設這些指紋已經按A部分排序好了，我們先按A的16位精確匹配到一個區間，這個區間的後BCD位檢查漢明距離是否小於3。

同樣的假設，其次我們按B的16位精確匹配到另一個區間，這個區間的所有指紋需要在ACD位上比較漢明距離是否小於3。

同理還有C和D

所以這裡我們需要將全部的指紋T複製4份， T1 T2 T3 T4， T1按A排序，T2按B排序… 4份可以並行進行查詢，最後把結果合併。這樣即使最壞的情況：3個位分別落在其中3個區域ABC,ACD,BCD,ABD…都不會被漏掉。

只精確匹配16位，還需要逐一比較的指紋量依然龐大，可能達到2^d-16個，我們也可以精確匹配更多的。

例如：將64位平分成4份ABCD，每份16位，在BCD的48位上，我們再分成4份，WXZY，每份12位，漢明距離的3位可以散落在任意三塊，那麼A與WXZY任意一份合起來做精確的28位…剩下3份用來檢查漢明距離。同理B，C，D也可以這樣，那麼T需要複製16次，ABCD與WXYZ的組合做精確匹配，每次精確匹配後還需要逐一比較的個數降低到2^d-28個。不同的組合方式也就是時間和空間上的權衡。

最壞情況是其中3份可能有1位漢明距離差異為1。

演算法的描述如下：

1）先複製原表T為Tt份：T1,T2,….Tt

2）每個Ti都關聯一個pi和一個πi，其中pi是一個整數, πi是一個置換函式，負責把pi個bit位換到高位上。

3）應用置換函式πi到相應的Ti表上，然後對Ti進行排序

4）然後對每一個Ti和要匹配的指紋F、海明距離k做如下運算：

a) 然後使用F’的高pi位檢索，找出Ti中高pi位相同的集合

b) 在檢索出的集合中比較f-pi位，找出海明距離小於等於k的指紋

5）最後合併所有Ti中檢索出的結果

由於文字已經壓縮成8個位元組了，因此其實Simhash近似查重精度並不高：