11個Java開源中文分詞器使用方法和分詞效果對比

楊尚川發表於2016-09-05

本文的目標有兩個：

1、學會使用11大Java開源中文分詞器

2、對比分析11大Java開源中文分詞器的分詞效果

本文給出了11大Java開源中文分詞的使用方法以及分詞結果對比程式碼，至於效果哪個好，那要用的人結合自己的應用場景自己來判斷。

11大Java開源中文分詞器，不同的分詞器有不同的用法，定義的介面也不一樣，我們先定義一個統一的介面：

/**
 * 獲取文字的所有分詞結果, 對比不同分詞器結果
 * @author 楊尚川
 */
public interface WordSegmenter {
    /**
     * 獲取文字的所有分詞結果
     * @param text 文字
     * @return 所有的分詞結果，去除重複
     */
    default public Set<String> seg(String text) {
        return segMore(text).values().stream().collect(Collectors.toSet());
    }
    /**
     * 獲取文字的所有分詞結果
     * @param text 文字
     * @return 所有的分詞結果，KEY 為分詞器模式，VALUE 為分詞器結果
     */
    public Map<String, String> segMore(String text);
}

從上面的定義我們知道，在Java中，同樣的方法名稱和引數，但是返回值不同，這種情況不可以使用過載。

這兩個方法的區別在於返回值，每一個分詞器都可能有多種分詞模式，每種模式的分詞結果都可能不相同，第一個方法忽略分詞器模式，返回所有模式的所有不重複分詞結果，第二個方法返回每一種分詞器模式及其對應的分詞結果。

在這裡，需要注意的是我們使用了Java8中的新特性預設方法，並使用stream把一個map的value轉換為不重複的集合。

下面我們利用這11大分詞器來實現這個介面：

1、word分詞器

@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){
        map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));
    }
    return map;
}
private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {
    StringBuilder result = new StringBuilder();
    for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){
        result.append(word.getText()).append(" ");
    }
    return result.toString();
}

2、Ansj分詞器

@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();

    StringBuilder result = new StringBuilder();
    for(Term term : BaseAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("BaseAnalysis", result.toString());

    result.setLength(0);
    for(Term term : ToAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("ToAnalysis", result.toString());

    result.setLength(0);
    for(Term term : NlpAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("NlpAnalysis", result.toString());

    result.setLength(0);
    for(Term term : IndexAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("IndexAnalysis", result.toString());

    return map;
}

3、Stanford分詞器

private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");
private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");
private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("Stanford Beijing University segmentation", seg(PKU, text));
    map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));
    return map;
}
private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){
    PrintStream err = System.err;
    System.setErr(NULL_PRINT_STREAM);
    Annotation document = new Annotation(text);
    stanfordCoreNLP.annotate(document);
    List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class);
    StringBuilder result = new StringBuilder();
    for(CoreMap sentence: sentences) {
        for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {
            String word = token.get(CoreAnnotations.TextAnnotation.class);;
            result.append(word).append(" ");
        }
    }
    System.setErr(err);
    return result.toString();
}

4、FudanNLP分詞器

private static CWSTagger tagger = null;
static{
    try{
        tagger = new CWSTagger("lib/fudannlp_seg.m");
        tagger.setEnFilter(true);
    }catch(Exception e){
        e.printStackTrace();
    }
}
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("FudanNLP", tagger.tag(text));
    return map;
}

5、Jieba分詞器

private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("INDEX", seg(text, SegMode.INDEX));
    map.put("SEARCH", seg(text, SegMode.SEARCH));
    return map;
}
private static String seg(String text, SegMode segMode) {
    StringBuilder result = new StringBuilder();                
    for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){
        result.append(token.word.getToken()).append(" ");
    }
    return result.toString(); 
}

6、Jcseg分詞器

private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();
private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);
static {
    CONFIG.setLoadCJKSyn(false);
    CONFIG.setLoadCJKPinyin(false);
}
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();

    map.put("複雜模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));
    map.put("簡易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));

    return map;
}
private String segText(String text, int segMode) {
    StringBuilder result = new StringBuilder();        
    try {
        ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});
        IWord word = null;
        while((word=seg.next())!=null) {         
            result.append(word.getValue()).append(" ");
        }
    } catch (Exception ex) {
        throw new RuntimeException(ex);
    }
    return result.toString();
}

7、MMSeg4j分詞器

private static final Dictionary DIC = Dictionary.getInstance();
private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);
private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);
private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));
    map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));
    map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));
    return map;
}
private String segText(String text, Seg seg) {
    StringBuilder result = new StringBuilder();
    MMSeg mmSeg = new MMSeg(new StringReader(text), seg);        
    try {
        Word word = null;
        while((word=mmSeg.next())!=null) {       
            result.append(word.getString()).append(" ");
        }
    } catch (IOException ex) {
        throw new RuntimeException(ex);
    }
    return result.toString();
}

8、IKAnalyzer分詞器

@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();

    map.put("智慧切分", segText(text, true));
    map.put("細粒度切分", segText(text, false));

    return map;
}
private String segText(String text, boolean useSmart) {
    StringBuilder result = new StringBuilder();
    IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);        
    try {
        Lexeme word = null;
        while((word=ik.next())!=null) {          
            result.append(word.getLexemeText()).append(" ");
        }
    } catch (IOException ex) {
        throw new RuntimeException(ex);
    }
    return result.toString();
}

9、Paoding分詞器

private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();

    map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));
    map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));

    return map;
}
private static String seg(String text, int mode){
    ANALYZER.setMode(mode);
    StringBuilder result = new StringBuilder();
    try {
        Token reusableToken = new Token();
        TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));
        Token token = null;
        while((token = stream.next(reusableToken)) != null){
            result.append(token.term()).append(" ");
        }
    } catch (Exception ex) {
        throw new RuntimeException(ex);
    }
    return result.toString();          
}

10、smartcn分詞器

private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer();
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("smartcn", segText(text));
    return map;
}
private static String segText(String text) {
    StringBuilder result = new StringBuilder();
    try {
        TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text", new StringReader(text));
        tokenStream.reset();
        while (tokenStream.incrementToken()){
            CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);
            result.append(charTermAttribute.toString()).append(" ");
        }
        tokenStream.close();
    }catch (Exception e){
        e.printStackTrace();
    }
    return result.toString();
}

11、HanLP分詞器

private static final Segment N_SHORT_SEGMENT = new NShortSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);
private static final Segment DIJKSTRA_SEGMENT = new DijkstraSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("標準分詞", standard(text));
    map.put("NLP分詞", nlp(text));
    map.put("索引分詞", index(text));
    map.put("N-最短路徑分詞", nShort(text));
    map.put("最短路徑分詞", shortest(text));
    map.put("極速詞典分詞", speed(text));
    return map;
}
private static String standard(String text) {
    StringBuilder result = new StringBuilder();
    StandardTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));
    return result.toString();
}
private static String nlp(String text) {
    StringBuilder result = new StringBuilder();
    NLPTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));
    return result.toString();
}
private static String index(String text) {
    StringBuilder result = new StringBuilder();
    IndexTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));
    return result.toString();
}
private static String speed(String text) {
    StringBuilder result = new StringBuilder();
    SpeedTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));
    return result.toString();
}
private static String nShort(String text) {
    StringBuilder result = new StringBuilder();
    N_SHORT_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));
    return result.toString();
}
private static String shortest(String text) {
    StringBuilder result = new StringBuilder();
    DIJKSTRA_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));
    return result.toString();
}

現在我們已經實現了本文的第一個目的：學會使用11大Java開源中文分詞器。

最後我們來實現本文的第二個目的：對比分析11大Java開源中文分詞器的分詞效果，程式如下：

public static Map<String, Set<String>> contrast(String text){
    Map<String, Set<String>> map = new LinkedHashMap<>();
    map.put("word分詞器", new WordEvaluation().seg(text));
    map.put("Stanford分詞器", new StanfordEvaluation().seg(text));
    map.put("Ansj分詞器", new AnsjEvaluation().seg(text));
    map.put("HanLP分詞器", new HanLPEvaluation().seg(text));
    map.put("FudanNLP分詞器", new FudanNLPEvaluation().seg(text));
    map.put("Jieba分詞器", new JiebaEvaluation().seg(text));
    map.put("Jcseg分詞器", new JcsegEvaluation().seg(text));
    map.put("MMSeg4j分詞器", new MMSeg4jEvaluation().seg(text));
    map.put("IKAnalyzer分詞器", new IKAnalyzerEvaluation().seg(text));
    map.put("smartcn分詞器", new SmartCNEvaluation().seg(text));
    return map;
}
public static Map<String, Map<String, String>> contrastMore(String text){
    Map<String, Map<String, String>> map = new LinkedHashMap<>();
    map.put("word分詞器", new WordEvaluation().segMore(text));
    map.put("Stanford分詞器", new StanfordEvaluation().segMore(text));
    map.put("Ansj分詞器", new AnsjEvaluation().segMore(text));
    map.put("HanLP分詞器", new HanLPEvaluation().segMore(text));
    map.put("FudanNLP分詞器", new FudanNLPEvaluation().segMore(text));
    map.put("Jieba分詞器", new JiebaEvaluation().segMore(text));
    map.put("Jcseg分詞器", new JcsegEvaluation().segMore(text));
    map.put("MMSeg4j分詞器", new MMSeg4jEvaluation().segMore(text));
    map.put("IKAnalyzer分詞器", new IKAnalyzerEvaluation().segMore(text));
    map.put("smartcn分詞器", new SmartCNEvaluation().segMore(text));
    return map;
}
public static void show(Map<String, Set<String>> map){
    map.keySet().forEach(k -> {
        System.out.println(k + " 的分詞結果：");
        AtomicInteger i = new AtomicInteger();
        map.get(k).forEach(v -> {
            System.out.println("\t" + i.incrementAndGet() + " 、" + v);
        });
    });
}
public static void showMore(Map<String, Map<String, String>> map){
    map.keySet().forEach(k->{
        System.out.println(k + " 的分詞結果：");
        AtomicInteger i = new AtomicInteger();
        map.get(k).keySet().forEach(a -> {
            System.out.println("\t" + i.incrementAndGet()+ " 、【"   + a + "】\t" + map.get(k).get(a));
        });
    });
}
public static void main(String[] args) {
    show(contrast("我愛楚離陌"));
    showMore(contrastMore("我愛楚離陌"));
}

執行結果如下：

********************************************
word分詞器 的分詞結果：
	1 、我 愛 楚離陌 
Stanford分詞器 的分詞結果：
	1 、我 愛 楚 離陌 
	2 、我 愛 楚離陌 
Ansj分詞器 的分詞結果：
	1 、我 愛 楚離 陌 
	2 、我 愛 楚 離 陌 
HanLP分詞器 的分詞結果：
	1 、我 愛 楚 離 陌 
smartcn分詞器 的分詞結果：
	1 、我 愛 楚 離 陌 
FudanNLP分詞器 的分詞結果：
	1 、我 愛楚離陌
Jieba分詞器 的分詞結果：
	1 、我愛楚 離 陌 
Jcseg分詞器 的分詞結果：
	1 、我 愛 楚 離 陌 
MMSeg4j分詞器 的分詞結果：
	1 、我愛 楚 離 陌 
IKAnalyzer分詞器 的分詞結果：
	1 、我 愛 楚 離 陌 
********************************************

********************************************
word分詞器 的分詞結果：
	1 、【全切分演算法】	我 愛 楚離陌 
	2 、【雙向最大最小匹配演算法】	我 愛 楚離陌 
	3 、【正向最大匹配演算法】	我 愛 楚離陌 
	4 、【雙向最大匹配演算法】	我 愛 楚離陌 
	5 、【逆向最大匹配演算法】	我 愛 楚離陌 
	6 、【正向最小匹配演算法】	我 愛 楚離陌 
	7 、【雙向最小匹配演算法】	我 愛 楚離陌 
	8 、【逆向最小匹配演算法】	我 愛 楚離陌 
Stanford分詞器 的分詞結果：
	1 、【Stanford Chinese Treebank segmentation】	我 愛 楚離陌 
	2 、【Stanford Beijing University segmentation】	我 愛 楚 離陌 
Ansj分詞器 的分詞結果：
	1 、【BaseAnalysis】	我 愛 楚 離 陌 
	2 、【IndexAnalysis】	我 愛 楚 離 陌 
	3 、【ToAnalysis】	我 愛 楚 離 陌 
	4 、【NlpAnalysis】	我 愛 楚離 陌 
HanLP分詞器 的分詞結果：
	1 、【NLP分詞】	我 愛 楚 離 陌 
	2 、【標準分詞】	我 愛 楚 離 陌 
	3 、【N-最短路徑分詞】	我 愛 楚 離 陌 
	4 、【索引分詞】	我 愛 楚 離 陌 
	5 、【最短路徑分詞】	我 愛 楚 離 陌 
	6 、【極速詞典分詞】	我 愛 楚 離 陌 
smartcn分詞器 的分詞結果：
	1 、【smartcn】	我 愛 楚 離 陌 
FudanNLP分詞器 的分詞結果：
	1 、【FudanNLP】	我 愛楚離陌
Jieba分詞器 的分詞結果：
	1 、【SEARCH】	我愛楚 離 陌 
	2 、【INDEX】	我愛楚 離 陌 
Jcseg分詞器 的分詞結果：
	1 、【簡易模式】	我 愛 楚 離 陌 
	2 、【複雜模式】	我 愛 楚 離 陌 
MMSeg4j分詞器 的分詞結果：
	1 、【SimpleSeg】	我愛 楚 離 陌 
	2 、【ComplexSeg】	我愛 楚 離 陌 
	3 、【MaxWordSeg】	我愛 楚 離 陌 
IKAnalyzer分詞器 的分詞結果：
	1 、【智慧切分】	我 愛 楚 離 陌 
	2 、【細粒度切分】	我 愛 楚 離 陌 
********************************************

完整程式碼看這裡

#Elasticsearch中文分詞器 #IK分詞器 @FDDLC
2020-11-07
Elasticsearch中文分詞
elastcisearch中文分詞器各個版本
2019-01-03
AST中文分詞
中文分詞的探索，CRF（條件隨機場）和HMM（隱馬爾可夫模型）用於分詞的對比，以及中文分詞的評估
2018-11-10
中文分詞CRF條件隨機場HMM隱馬爾可夫模型
elasticsearch教程--中文分詞器作用和使用
2019-06-12
Elasticsearch中文分詞
中文分詞器，整理自Ai
2024-08-01
中文分詞AI
中文分詞原理及常用Python中文分詞庫介紹
2018-04-04
中文分詞Python
Ansj與hanlp分詞工具對比
2019-06-21
HanLP分詞
中文分詞研究難點-詞語劃分和語言規範
2019-09-04
中文分詞
北大開源了中文分詞工具包：準確率遠超THULAC、結巴分詞！
2019-01-11
中文分詞
北大開源全新中文分詞工具包：準確率遠超THULAC、結巴分詞
2019-01-10
中文分詞
NLP之中文分詞
2020-10-12
中文分詞
中文分詞技術
2020-09-18
中文分詞
古詩詞中文分詞自動化
2018-04-05
分詞
使用Docker快速安裝部署ES和Kibana並配置IK中文分詞器以及自定義分詞擴充詞庫
2020-10-28
Docker中文分詞
分詞工具Hanlp基於感知機的中文分詞框架
2019-04-03
HanLP中文分詞框架
IK 分詞器
2022-01-09
分詞
剖析分詞器
2021-11-16
分詞
Elasticsearch 分詞器
2021-02-08
Elasticsearch分詞
python 中文分詞包 jieba
2020-12-18
Python中文分詞Jieba
中文分詞工具之基於字標註法的分詞
2019-06-26
中文分詞
python使用jieba實現中文文件分詞和去停用詞
2019-06-19
PythonJieba分詞
中文地址智慧分詞演算法-Java版
2024-03-29
分詞演算法Java
Java中文分片語件 - word分詞（skycto JEEditor）
2019-09-11
Java分詞
python分詞和生成詞雲圖
2020-12-08
Python分詞
pyhanlp 中文詞性標註與分詞簡介
2019-01-07
HanLP詞性標註分詞
Hanlp分詞之CRF中文詞法分析詳解
2019-02-18
HanLP分詞CRF詞法分析
HanLP中文分詞Lucene外掛
2019-04-15
HanLP中文分詞
如何用Python做中文分詞？
2018-06-28
Python中文分詞
SCWS PHP 中文簡易分詞
2019-07-12
PHP分詞
Elasticsearch IK分詞器
2021-08-18
Elasticsearch分詞
HanLP-實詞分詞器詳解
2019-05-27
HanLP分詞
Hanlp在java中文分詞中的使用介紹
2018-11-30
HanLPJava中文分詞
elasticsearch之ik分詞器和自定義詞庫實現
2024-06-13
Elasticsearch分詞
使用cjieba(結巴分詞庫)實現php擴充套件中文分詞
2019-02-16
JiebaPHP套件中文分詞
分詞
2024-04-02
分詞
Hanlp等七種優秀的開源中文分詞庫推薦
2018-10-12
HanLP中文分詞
ElasticSearch中使用ik分詞器進行實現分詞操作
2024-03-21
Elasticsearch分詞
elasticsearch安裝和使用ik分詞器
2022-08-01
Elasticsearch分詞
ElasticSearch-IK分詞器和整合使用
2021-01-26
Elasticsearch分詞