simhash演算法的原理

量子圖靈發表於2013-08-28
演算法

　　第一次聽說google的simhash演算法[1]時，我感到很神奇。傳統的hash演算法只負責將原始內容儘量均勻隨機地對映為一個簽名值，原理上相當於偽隨機數產生演算法。傳統hash演算法產生的兩個簽名，如果相等，說明原始內容在一定概率下是相等的；如果不相等，除了說明原始內容不相等外，不再提供任何資訊，因為即使原始內容只相差一個位元組，所產生的簽名也很可能差別極大。從這個意義上來說，要設計一個hash演算法，對相似的內容產生的簽名也相近，是更為艱難的任務，因為它的簽名值除了提供原始內容是否相等的資訊外，還能額外提供不相等的原始內容的差異程度的資訊。

　　因此當我知道google的simhash演算法產生的簽名，可以用來比較原始內容的相似度時，便很想了解這種神奇的演算法的原理。出人意料，這個演算法並不深奧，其思想是非常清澈美妙的。

　　simhash演算法的輸入是一個向量，輸出是一個f位的簽名值。為了陳述方便，假設輸入的是一個文件的特徵集合，每個特徵有一定的權重。比如特徵可以是文件中的詞，其權重可以是這個詞出現的次數。simhash演算法如下：

1，將一個f維的向量V初始化為0；f位的二進位制數S初始化為0；

2，對每一個特徵：用傳統的hash演算法對該特徵產生一個f位的簽名b。對i=1到f：

    如果b的第i位為1，則V的第i個元素加上該特徵的權重；

    否則，V的第i個元素減去該特徵的權重。  

3，如果V的第i個元素大於0，則S的第i位為1，否則為0；

4，輸出S作為簽名。

　　這個演算法的幾何意義非常明瞭。它首先將每一個特徵對映為f維空間的一個向量，這個對映規則具體是怎樣並不重要，只要對很多不同的特徵來說，它們對所對應的向量是均勻隨機分佈的，並且對相同的特徵來說對應的向量是唯一的就行。比如一個特徵的4位hash簽名的二進位制表示為1010，那麼這個特徵對應的4維向量就是(1, -1, 1, -1)T，即hash簽名的某一位為1，對映到的向量的對應位就為1，否則為-1。然後，將一個文件中所包含的各個特徵對應的向量加權求和，加權的係數等於該特徵的權重。得到的和向量即表徵了這個文件，我們可以用向量之間的夾角來衡量對應文件之間的相似度。最後，為了得到一個f位的簽名，需要進一步將其壓縮，如果和向量的某一維大於0，則最終簽名的對應位為1，否則為0。這樣的壓縮相當於只留下了和向量所在的象限這個資訊，而64位的簽名可以表示多達264個象限，因此只儲存所在象限的資訊也足夠表徵一個文件了。

　　明確了演算法了幾何意義，使這個演算法直觀上看來是合理的。但是，為何最終得到的簽名相近的程度，可以衡量原始文件的相似程度呢？這需要一個清晰的思路和證明。在simhash的發明人Charikar的論文中[2]並沒有給出具體的simhash演算法和證明，以下列出我自己得出的證明思路。

　　Simhash是由隨機超平面hash演算法演變而來的，隨機超平面hash演算法非常簡單，對於一個n維向量v，要得到一個f位的簽名(f<<n)，演算法如下：

1，隨機產生f個n維的向量r1,…rf；

2，對每一個向量ri，如果v與ri的點積大於0，則最終簽名的第i位為1，否則為0.

　　這個演算法相當於隨機產生了f個n維超平面，每個超平面將向量v所在的空間一分為二，v在這個超平面上方則得到一個1，否則得到一個0，然後將得到的f個0或1組合起來成為一個f維的簽名。如果兩個向量u, v的夾角為θ，則一個隨機超平面將它們分開的概率為θ/π，因此u, v的簽名的對應位不同的概率等於θ/π。所以，我們可以用兩個向量的簽名的不同的對應位的數量，即漢明距離，來衡量這兩個向量的差異程度。

　　Simhash演算法與隨機超平面hash是怎麼聯絡起來的呢？在simhash演算法中，並沒有直接產生用於分割空間的隨機向量，而是間接產生的：第k個特徵的hash簽名的第i位拿出來，如果為0，則改為-1，如果為1則不變，作為第i個隨機向量的第k維。由於hash簽名是f位的，因此這樣能產生f個隨機向量，對應f個隨機超平面。下面舉個例子：

　　假設用5個特徵w1,…,w5來表示所有文件，現要得到任意文件的一個3維簽名。假設這5個特徵對應的3維向量分別為：

　　h(w1) = (1, -1, 1)T

　　h(w2) = (-1, 1, 1)T

　　h(w3) = (1, -1, -1)T

　　h(w4) = (-1, -1, 1)T

　　h(w5) = (1, 1, -1)T

　　按simhash演算法，要得到一個文件向量d=(w1=1, w2=2, w3=0, w4=3, w5=0) T的簽名，

　　先要計算向量m = 1*h(w1) + 2*h(w2) + 0*h(w3) + 3*h(w4) + 0*h(w5) = (-4, -2, 6) T，

　　然後根據simhash演算法的步驟3，得到最終的簽名s=001。

　　上面的計算步驟其實相當於，先得到3個5維的向量，第1個向量由h(w1),…,h(w5)的第1維組成：

　　r1=(1,-1,1,-1,1) T；

　　第2個5維向量由h(w1),…,h(w5)的第2維組成：

　　r2=(-1,1,-1,-1,1) T；

　　同理，第3個5維向量為：

　　r3=(1,1,-1,1,-1) T.

　　按隨機超平面演算法的步驟2，分別求向量d與r1,r2,r3的點積:

　　d T r1=-4 < 0，所以s1=0;

　　d T r2=-2 < 0，所以s2=0;

　　d T r3=6 > 0，所以s3=1.

　　故最終的簽名s=001，與simhash演算法產生的結果是一致的。

　　從上面的計算過程可以看出，simhash演算法其實與隨機超平面hash演算法是相同的，simhash演算法得到的兩個簽名的漢明距離，可以用來衡量原始向量的夾角。這其實是一種降維技術，將高維的向量用較低維度的簽名來表徵。衡量兩個內容相似度，需要計算漢明距離，這對給定簽名查詢相似內容的應用來說帶來了一些計算上的困難；我想，是否存在更為理想的simhash演算法，原始內容的差異度，可以直接由簽名值的代數差來表示呢？

相關文章