NLP自然語言處理中英文分詞工具集錦與基本使用介紹

一、中文分詞工具

（ 1）Jieba

 

（ 2）snowNLP分詞工具

 

（ 3）thulac分詞工具

 

（ 4）pynlpir 分詞工具

（ 5）StanfordCoreNLP分詞工具

1. from stanfordcorenlp import StanfordCoreNLP

2. with   StanfordCoreNLP(r'E:\Users\Eternal Sun\PycharmProjects\1\venv\Lib\stanford-corenlp-full-2018-10-05',) as nlp:

3.     print("stanfordcorenlp分詞：\n",nlp.word_tokenize(Chinese))

（ 6）Hanlp分詞工具

 

分詞結果如下：

 

二、英文分詞工具

 

1. NLTK：

 

二者之間的區別在於，如果先分句再分詞，那麼將保留句子的獨立性，即生成結果是一個二維列表，而對於直接分詞來說，生成的是一個直接的一維列表，結果如下：

 

2. SpaCy：

 

3. StanfordCoreNLP：

 

分詞結果