HanLP-實詞分詞器詳解

在進行文字分類（非情感分類）時，我們經常只保留實詞（名、動、形）等詞，為了文字分類的分詞方便， HanLP專門提供了實詞分詞器類NotionalTokenizer，同時在分類資料集載入處理時，預設使用了NotionalTokenizer分詞器。

在 HanLPJava版程式碼庫中可以檢視下邊的檔案中的函式

 

1、 AbstractDataSet.java檔案中的AbstractDataSet方法

2、 HanLPTokenizer.java檔案中的segment方法

3、 NotionalTokenizer.java檔案中的segment方法

 

簡單說明一下 NotionalTokenizer類實現

 

1、 初始化了一個維特比分詞器例項（最短路徑方法，用 viterbi思想實現）

2、 用 CoreStopWordDictionary類的shouldInclude方法對維特比分詞結果進行過濾，該方法只保留屬於名詞、動詞、副詞、形容詞並且不在停用詞表中的詞。詳見CoreStopWordDictionary.java檔案中的shouldInclude(Term)方法。

對於 PyHanLP的呼叫方法可以參考

# # -*- coding:utf-8 -*-

# Author：wancong

# Date: 2018-04-30

from pyhanlp import *

def demo_notional_tokenizer():

    """ 演示自動去除停用詞、自動斷句的分詞器

    >>> demo_notional_tokenizer()

    [小區/n, 居民/n, 反對/v, 餵養/v, 流浪貓/nz, 居民/n, 贊成/v, 餵養/v, 小寶貝/nz]

    [小區/n, 居民/n, 反對/v, 餵養/v, 流浪貓/nz]

    [居民/n, 贊成/v, 餵養/v, 小寶貝/nz]

    """

    Term =JClass("com.hankcs.hanlp.seg.common.Term")

    NotionalTokenizer = JClass("com.hankcs.hanlp.tokenizer.NotionalTokenizer")

 

     text = "小區居民有的反對餵養流浪貓，而有的居民卻贊成餵養這些小寶貝"

    print(NotionalTokenizer.segment(text))

    for sentence in NotionalTokenizer.seg2sentence(text):

        print(sentence)

 

if __name__ == "__main__":

    import doctest

doctest.testmod(verbose=True)