中文分詞演算法工具hanlp原始碼解析

詞圖

 

詞圖指的是句子中所有詞可能構成的圖。如果一個詞 A的下一個詞可能是B的話，那麼A和B之間具有一條路徑E(A,B)。一個詞可能有多個後續，同時也可能有多個前驅，它們構成的圖我稱作詞圖。

需要稀疏 2維矩陣模型，以一個詞的起始位置作為行，終止位置作為列，可以得到一個二維矩陣。例如：“他說的確實在理”這句話

 

圖詞的儲存方法：一種是的 DynamicArray法，一種是快速offset法。Hanlp程式碼中採用的是第二種方法。

1、DynamicArray（二維陣列）法

在詞圖中，行和列的關係： col為n 的列中所有詞可以與row為n 的所有行中的詞進行組合。例如“的確”這個詞，它的col =5，需要和它計算平滑值的有兩個，分別是row =5的兩個詞：“實”和“實在”。但是在遍歷和插入的時候，需要一個個比較col和row的關係，複雜度是O(N)。

2、 快速 offset

一個一維陣列，每個元素是一個單連結串列 “的確”的行號是4,長度是2,4+2=6，於是第六行的兩個詞“實/實在”就是“的確”的後續。

同時這種方法速度非常快，插入和查詢的時間都是 O(1)。

 

Hanlp核心詞典：

 

最短路徑演算法 —viterbi（動態規劃路徑）

Frequency:核心詞典中的詞頻

nTwoWordsFreq:共現詞頻

intMAX_FREQUENCY= 25146057

double dTemp =(double) 1 / MAX_FREQUENCY +0.00001

dSmoothingPara =0.1

Viterbi最短路徑有向圖

 

1、計算過程從上至下，根據計算出的權重值變更前驅結點，保證前驅結點唯一（動態規劃路徑）

2、計算結束後，從最後一個結點開始取出term,依次取出該結點的前驅結點即可 分詞結果：理，在，確實，的，說，他

 

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31524777/viewspace-2638241/，如需轉載，請註明出處，否則將追究法律責任。