TF-IDF演算法解析與Python實現

TF-IDF（term frequency–inverse document frequency）是一種用於資訊檢索（information retrieval）與文字挖掘（text mining）的常用加權技術。比較容易理解的一個應用場景是當我們手頭有一些文章時，我們希望計算機能夠自動地進行關鍵詞提取。而TF-IDF就是可以幫我們完成這項任務的一種統計方法。它能夠用於評估一個詞語對於一個文集或一個語料庫中的其中一份文件的重要程度。

為了演示在Python中實現TF-IDF的方法，一些基於自然語言處理的預處理過程也會在本文中出現。如果你對NLTK和Scikit-Learn兩個庫還很陌生可以參考如下文章：

• 利用NLTK在Python下進行自然語言處理
• Python自然語言處理：詞幹、詞形與MaxMatch演算法

歡迎關注白馬負金羈的部落格 http://blog.csdn.net/baimafujinji ，為保證公式、圖表得以正確顯示，強烈建議你從該地址上檢視原版博文。本部落格主要關注方向包括：數字影像處理、演算法設計與分析、資料結構、機器學習、資料探勘、統計分析方法、自然語言處理。

---

必要的預處理過程

首先，我們給出需要引用的各種包，以及用作處理物件的三段文字。

import nltk
impor