北大開源了中文分詞工具包：準確率遠超THULAC、結巴分詞！

最近，北大開源了一箇中文分詞工具包，它在多個分詞資料集上都有非常高的分詞準確率。其中廣泛使用的結巴分詞誤差率高達 18.55% 和 20.42，而北大的 pkuseg 只有 3.25% 與 4.32%。

pkuseg 是由北京大學語言計算與機器學習研究組研製推出的一套全新的中文分詞工具包。它簡單易用，支援多領域分詞，也支援用全新的標註資料來訓練模型。

pkuseg 具有如下幾個特點：

• 高分詞準確率：相比於其他的分詞工具包，該工具包在不同領域的資料上都大幅提高了分詞的準確度。根據北大研究組的測試結果，pkuseg 分別在示例資料集（MSRA 和 CTB8）上降低了 79.33% 和 63.67% 的分詞錯誤率。
• 多領域分詞：研究組訓練了多種不同領域的分詞模型。根據待分詞的領域特點，使用者可以自由地選擇不同的模型。
• 支援使用者自訓練模型：支援使用者使用全新的標註資料進行訓練。

預訓練模型

分詞模式下，使用者需要載入預訓練好的模型。研究組提供了三種在不同型別資料上訓練得到的模型，根據具體需要，使用者可以選擇不同的預訓練模型。以下是對預訓練模型的說明：

PKUSeg提供了三個預訓練模型，使用者需要載入預訓練好的模型，根據具體需要，使用者可以選擇不同的預訓練模型，以下是說明：

• MSRA：在 MSRA（新聞語料）上訓練的模型。
• https://pan.baidu.com/s/1twci0QVBeWXUg06dK47tiA
• CTB8：在 CTB8（新聞文字及網路文字的混合型語料）上訓練的模型。
• https://pan.baidu.com/s/1DCjDOxB0HD2NmP9w1jm8MA
• WEIBO：在微博（網路文字語料）上訓練的模型。
• https://pan.baidu.com/s/1QHoK2ahpZnNmX6X7Y9iCgQ

其中，MSRA 資料由第二屆國際漢語分詞評測比賽提供，CTB8 資料由 LDC 提供，WEIBO 資料由 NLPCC 分詞比賽提供。

安裝與使用

pkuseg 的安裝非常簡單，我們可以使用 pip 安裝，也可以直接從 GitHub 下載：

pip install pkuseg

使用 pkuseg 實現分詞也很簡單，基本上和其它分詞庫的用法都差不多：

'''程式碼示例1: 使用預設模型及預設詞典分詞'''
import pkuseg
#以預設配置載入模型
seg = pkuseg.pkuseg()
#進行分詞
text = seg.cut('我愛北京天安門')
print(text)
'''程式碼示例2: 設定使用者自定義詞典'''
import pkuseg
#希望分詞時使用者詞典中的詞固定不分開
lexicon = ['北京大學', '北京天安門']
#載入模型，給定使用者詞典
seg = pkuseg.pkuseg(user_dict=lexicon)
text = seg.cut('我愛北京天安門')
print(text)
'''程式碼示例3'''
import pkuseg
#假設使用者已經下載好了ctb8的模型並放在了'./ctb8'目錄下，通過設定model_name載入該模型
seg = pkuseg.pkuseg(model_name='./ctb8')
text = seg.cut('我愛北京天安門')
print(text)

對於大型文字資料集，如果需要快速分詞的話，我們也可以採用多執行緒的方式：

'''程式碼示例4'''
import pkuseg
#對input.txt的檔案分詞輸出到output.txt中，使用預設模型和詞典，開20個程式
pkuseg.test('input.txt', 'output.txt', nthread=20)

最後，pkuseg 還能重新訓練一個分詞模型：

'''程式碼示例5'''
import pkuseg
#訓練檔案為'msr_training.utf8'，測試檔案為'msr_test_gold.utf8'，模型存到'./models'目錄下，開20個程式訓練模型
pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models', nthread=20)

這些都是 GitHub 上的示例，詳細的內容請參考 GitHub 專案，例如引數說明和參考論文等。

大家可以按照自己的需要，選擇載入不同的模型。

除此之外，也可以用全新的標註資料，來訓練新的模型。

程式碼示例

1程式碼示例1 使用預設模型及預設詞典分詞
2import pkuseg
3seg = pkuseg.pkuseg() #以預設配置載入模型
4text = seg.cut('我愛北京天安門') #進行分詞
5print(text)
1程式碼示例2 設定使用者自定義詞典
2import pkuseg
3lexicon = ['北京大學', '北京天安門'] #希望分詞時使用者詞典中的詞固定不分開
4seg = pkuseg.pkuseg(user_dict=lexicon) #載入模型，給定使用者詞典
5text = seg.cut('我愛北京天安門') #進行分詞
6print(text)
1程式碼示例3
2import pkuseg
3seg = pkuseg.pkuseg(model_name='./ctb8') #假設使用者已經下載好了ctb8的模型並放在了'./ctb8'目錄下，通過設定model_name載入該模型
4text = seg.cut('我愛北京天安門') #進行分詞
5print(text)

如果想自己訓練一個新模型的話：

1程式碼示例5
2import pkuseg
3pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models', nthread=20) #訓練檔案為'msr_training.utf8'，測試檔案為'msr_test_gold.utf8'，模型存到'./models'目錄下，開20個程式訓練模型

欲知更詳細的用法，可前往文底傳送門。

GitHub傳送門：

https://github.com/lancopku/PKUSeg-python

論文傳送門：

http://www.aclweb.org/anthology/P12-1027

http://aclweb.org/anthology/P16-2092

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31509949/viewspace-2375574/，如需轉載，請註明出處，否則將追究法律責任。