如何做好文字關鍵詞提取？從三種演算法說起

有監督的文字關鍵詞提取演算法需要高昂的人工成本，因此現有的文字關鍵詞提取主要採用適用性較強的無監督關鍵詞抽取。其文字關鍵詞抽取流程如下：

圖 1 無監督文字關鍵詞抽取流程圖

無監督關鍵詞抽取演算法可以分為三大類，基於統計特徵的關鍵詞抽取、基於詞圖模型的關鍵詞抽取和基於主題模型的關鍵詞抽取。

詞性時透過分詞、語法分析後得到的結果。現有的關鍵詞中，絕大多數關鍵詞為名詞或者動名詞。一般情況下，名詞與其他詞性相比更能表達一篇文章的主要思想。但是，詞性作為特徵量化的指標，一般與其他指標結合使用。

詞頻

詞頻表示一個詞在文字中出現的頻率。一般我們認為，如果一個詞在文字中出現的越是頻繁，那麼這個詞就越有可能作為文章的核心詞。詞頻簡單地統計了詞在文字中出現的次數，但是，只依靠詞頻所得到的關鍵詞有很大的不確定性，對於長度比較長的文字，這個方法會有很大的噪音。

一般情況下，詞出現的位置對於詞來說有著很大的價值。例如，標題、摘要本身就是作者概括出的文章的中心思想，因此出現在這些地方的詞具有一定的代表性，更可能成為關鍵詞。但是，因為每個作者的習慣不同，寫作方式不同，關鍵句子的位置也會有所不同，所以這也是一種很寬泛的得到關鍵詞的方法，一般情況下不會單獨使用。

互資訊是資訊理論中概念，是變數之間相互依賴的度量。互資訊並不侷限於實值隨機變數，它更加一般且決定著聯合分佈 p(X,Y) 和分解的邊緣分佈的乘積 p(X)p(Y) 的相似程度。互資訊的計算公式如下：

其中，p(x,y)是X和Y的聯合機率分佈函式，p(x)和p(y)分別為X和Y的邊緣機率分佈函式。

當使用互資訊作為關鍵詞提取的特徵量化時，應用文字的正文和標題構造PAT樹，然後計算字串左右的互資訊。

詞跨度是指一個詞或者短語字文中首次出現和末次出現之間的距離，詞跨度越大說明這個詞對文字越重要，可以反映文字的主題。一個詞的跨度計算公式如下：

其中，表示詞i在文字中最後出現的位置， 表示詞 i 在文字中第一次出現的位置，sum表示文字中詞的總數。

詞跨度被作為提取關鍵詞的方法是因為在現實中，文字中總是有很多噪聲（指不是關鍵詞的那些詞），使用詞跨度可以減少這些噪聲。

一個詞的TF是指這個詞在文件中出現的頻率，假設一個詞w在文字中出現了m次，而文字中詞的總數為n，那麼。一個詞的IDF是根據語料庫得出的，表示這個詞在整個語料庫中出現的頻率。假設整個語料庫中，包含詞w的文字一共有M篇，語料庫中的文字一共有N篇，則

由此可得詞w的TF-IDF值為：

TF-IDF的優點是實現簡單，相對容易理解。但是，TFIDF演算法提取關鍵詞的缺點也很明顯，嚴重依賴語料庫，需要選取質量較高且和所處理文字相符的語料庫進行訓練。另外，對於IDF來說，它本身是一種試圖抑制噪聲的加權，本身傾向於文字中頻率小的詞，這使得TF-IDF演算法的精度不高。TF-IDF演算法還有一個缺點就是不能反應詞的位置資訊，在對關鍵詞進行提取的時候，詞的位置資訊，例如文字的標題、文字的首句和尾句等含有較重要的資訊，應該賦予較高的權重。

基於統計特徵的關鍵詞提取演算法透過上面的一些特徵量化指標將關鍵詞進行排序，獲取TopK個詞作為關鍵詞。

基於統計特徵的關鍵詞的重點在於特徵量化指標的計算，不同的量化指標得到的結果也不盡相同。同時，不同的量化指標作為也有其各自的優缺點，在實際應用中，通常是採用不同的量化指標相結合的方式得到Topk個詞作為關鍵詞。

基於詞圖模型的關鍵詞抽取首先要構建文件的語言網路圖，然後對語言進行網路圖分析，在這個圖上尋找具有重要作用的詞或者短語，這些短語就是文件的關鍵詞。語言網路圖中節點基本上都是詞，根據詞的連結方式不同，語言網路的主要形式分為四種：共現網路圖、語法網路圖、語義網絡圖和其他網路圖。

在語言網路圖的構建過程中，都是以預處理過後的詞作為節點，詞與詞之間的關係作為邊。語言網路圖中，邊與邊之間的權重一般用詞之間的關聯度來表示。在使用語言網路圖獲得關鍵詞的時候，需要評估各個節點的重要性，然後根據重要性將節點進行排序，選取TopK個節點所代表的詞作為關鍵詞。節點的重要性計算方法有以下幾種方法。

節點的度是指與該節點直接向量的節點數目，表示的是節點的區域性影響力，對於非加權網路，節點的度為：對於加權網路，節點的度又稱為節點的強度，計算公式為：

節點的接近性是指節點到其他節點的最短路徑之和的倒數，表示的是資訊傳播的緊密程度，其計算公式為：

特徵向量的思想是節點的中心化測試值由周圍所有連線的節點決定，即一個節點的中心化指標應該等於其相鄰節點的中心化指標之線性疊加，表示的是透過與具有高度值的相鄰節點所獲得的間接影響力。特徵向量的計算公式如下：

節點的集聚係數是它的相鄰的節點之間的連線數與他們所有可能存在來連結的數量的比值，用來描述圖的頂點之間階級成團的程度的係數，計算公式如下：

平均最短路徑

節點的平局最短路徑也叫緊密中心性，是節點的所有最短路徑之和的平均值，表示的是一個節點傳播資訊時對其他節點的依賴程度。如果一個節點離其他節點越近，那麼他傳播資訊的時候也就越不需要依賴其他人。一個節點到網路中各點的距離都很短，那麼這個點就不會受制於其他節點。計算公式如下：

因為每個演算法的側重方向的不同，在實際的問題中所選取的定量分析方法也會不一樣。同時，對於關鍵詞提取來說，也可以和上一節所提出的統計法得到的詞的權重，例如詞性等相結合構建詞搭配網路，然後利用上述方法得到關鍵詞。

系統科學法進行中心性分析的思想是節點重要性等於這個節點被刪除後對於整個語言網路圖的破壞程度。重要的節點被刪除後會對網路的呃連通性等產生變化。如果我們在網路圖中刪除某一個節點，圖的某些指定特性產生了改變，可以根據特性改變的大小獲得節點的重要性，從而對節點進行篩選。

隨機遊走演算法時網路圖中一個非常著名的演算法，它從給定圖和出發點，隨機地選擇鄰居節點移動到鄰居節點上，然後再把現在的節點作為出發點，迭代上述過程。

隨機遊走演算法一個很出名的應用是大名鼎鼎的PageRank演算法，PageRank演算法是整個google搜尋的核心演算法，是一種透過網頁之間的超連結來計算網頁重要性的技術，其關鍵的思想是重要性傳遞。在關鍵詞提取領域， Mihalcea 等人所提出的TextRank演算法就是在文字關鍵詞提取領域借鑑了這種思想。

PageRank演算法將整個網際網路看作一張有向圖，網頁是圖中的節點，而網頁之間的連結就是圖中的邊。根據重要性傳遞的思想，如果一個大型網站A含有一個超連結指向了網頁B，那麼網頁B的重要性排名會根據A的重要性來提升。網頁重要性的傳遞思想如下圖所示：

圖 2 PageRank簡單描述（來自PageRank論文）

在PageRank演算法中，最主要的是對於初始網頁重要性（PR值）的計算，因為對於上圖中的網頁A的重要性我們是無法預知的。但是，在原始論文中給出了一種迭代方法求出這個重要性，論文中指出，冪法求矩陣特徵值與矩陣的初始值無關。那麼，就可以為每個網頁隨機給一個初始值，然後迭代得到收斂值，並且收斂值與初始值無關。

PageRank求網頁i的PR值計算如下：

其中，d為阻尼係數，通常為0.85。是指向網頁 i 的網頁集合。是指網頁j中的連結指向的集合，是指集合中元素的個數。

TextRank在構建圖的時候將節點由網頁改成了句子，併為節點之間的邊引入了權值，其中權值表示兩個句子的相似程度。其計算公式如下：

公式中的為圖中節點和的邊的權重。其他符號與PageRank公式相同。

TextRank演算法除了做文字關鍵詞提取，還可以做文字摘要提取，效果不錯。但是TextRank的計算複雜度很高，應用不廣。

基於主題關鍵詞提取演算法主要利用的是主題模型中關於主題的分佈的性質進行關鍵詞提取。演算法步驟如下：

演算法的關鍵在於主題模型的構建。主題模型是一種文件生成模型，對於一篇文章，我們的構思思路是先確定幾個主題，然後根據主題想好描述主題的詞彙，將詞彙按照語法規則組成句子，段落，最後生成一篇文章。

主題模型也是基於這個思想，它認為文件是一些主題的混合分佈，主題又是詞語的機率分佈，pLSA模型就是第一個根據這個想法構建的模型。同樣地，我們反過來想，我們找到了文件的主題，然後主題中有代表性的詞就能表示這篇文件的核心意思，就是文件的關鍵詞。

pLSA模型認為，一篇文件中的每一個詞都是透過一定機率選取某個主題，然後再按照一定的機率從主題中選取得到這個詞語，這個詞語的計算公式為：

一些貝葉斯學派的研究者對於pLSA模型進行了改進，他們認為，文章對應主題的機率以及主題對應詞語的機率不是一定的，也服從一定的機率，於是就有了現階段常用的主題模型--LDA主題模型。

LDA是D.M.Blei在2003年提出的。LDA採用了詞袋模型的方法簡化了問題的複雜性。在LDA模型中，每一篇文件是一些主題的構成的機率分佈，而每一個主題又是很多單詞構成的一個機率分佈。同時，無論是主題構成的機率分佈還是單詞構成的機率分佈也不是一定的，這些分佈也服從Dirichlet 先驗分佈。

文件的生成模型可以用如下圖模型表示：

其中和為先驗分佈的超引數，為第k個主題下的所有單詞的分佈，為文件的主題分佈，w為文件的詞，z為w所對應的主題。

圖 3 Blei在論文中的圖模型

DA挖掘了文字的深層語義即文字的主題，用文字的主題來表示文字的也從一定程度上降低了文字向量的維度，很多人用這種方式對文字做分類，取得了不錯的效果。具體LDA的演算法在請參考《一文詳解LDA主題模型》。

LDA關鍵詞提取演算法利用文件的隱含語義資訊來提取關鍵詞，但是主題模型提取的關鍵詞比較寬泛，不能很好的反應文件主題。另外，對於LDA模型的時間複雜度較高，需要大量的實踐訓練。

現階段，文字的關鍵詞提取在基於文字的搜尋、推薦以及資料探勘領域有著很廣泛的應用。同時在實際應用中，因為應用環境的複雜性，對於不同型別的文字，例如長文字和短文字，用同一種文字關鍵詞提取方法得到的效果並相同。因此，在實際應用中針對不同的條件環境所採用的演算法會有所不同，沒有某一類演算法在所有的環境下都有很好的效果。

相對於上文中所提到的演算法，一些組合演算法在工程上被大量應用以彌補單演算法的不足，例如將TF-IDF演算法與TextRank演算法相結合，或者綜合TF-IDF與詞性得到關鍵詞等。同時，工程上對於文字的預處理以及文字分詞的準確性也有很大的依賴。對於文字的錯別字，變形詞等資訊，需要在預處理階段予以解決，分詞演算法的選擇，未登入詞以及歧義詞的識別在一定程度上對於關鍵詞突提取會又很大的影響。

關鍵詞提取是一個看似簡單，在實際應用中卻十分棘手的任務，從現有的演算法的基礎上進行工程最佳化，達觀資料在這方面做了很大的努力並且取得了不錯的效果。

本文介紹了三種常用的無監督的關鍵詞提取演算法，並介紹了其優缺點。關鍵詞提取在文字挖掘領域具有很廣闊的應用，現有的方法也存在一定的問題，我們依然會在關鍵詞提取的問題上繼續努力研究，也歡迎大家積極交流。

參考文獻

[2] Page L, Brin S, Motwani R,et al. The PageRank citation ranking: Bringing order to the web[R]. StanfordInfoLab, 1999.

[3] 劉知遠. 基於文件主題結構的關鍵詞抽取方法研究[D]. 北京: 清華大學, 2011.

[4] tf-idf，https://zh.wikipedia.org/zh-hans/Tf-idf

[5] 一文詳解機器領域的LDA主題模型 https://zhuanlan.zhihu.com/p/31470216

[6] Blei D M, Ng A Y, Jordan MI. Latent dirichlet allocation[J]. Journal of machine Learning research, 2003,3(Jan): 993-1022.

[7] 趙京勝, 朱巧明, 周國棟, 等. 自動關鍵詞抽取研究綜述[J]. 軟體學報, 2017,28(9): 2431-2449.