11個Java開源中文分詞器使用方法和分詞效果對比
本文的目標有兩個:
1、學會使用11大Java開源中文分詞器
2、對比分析11大Java開源中文分詞器的分詞效果
本文給出了11大Java開源中文分詞的使用方法以及分詞結果對比程式碼,至於效果哪個好,那要用的人結合自己的應用場景自己來判斷。
11大Java開源中文分詞器,不同的分詞器有不同的用法,定義的介面也不一樣,我們先定義一個統一的介面:
/** * 獲取文字的所有分詞結果, 對比不同分詞器結果 * @author 楊尚川 */ public interface WordSegmenter { /** * 獲取文字的所有分詞結果 * @param text 文字 * @return 所有的分詞結果,去除重複 */ default public Set<String> seg(String text) { return segMore(text).values().stream().collect(Collectors.toSet()); } /** * 獲取文字的所有分詞結果 * @param text 文字 * @return 所有的分詞結果,KEY 為分詞器模式,VALUE 為分詞器結果 */ public Map<String, String> segMore(String text); }
從上面的定義我們知道,在Java中,同樣的方法名稱和引數,但是返回值不同,這種情況不可以使用過載。
這兩個方法的區別在於返回值,每一個分詞器都可能有多種分詞模式,每種模式的分詞結果都可能不相同,第一個方法忽略分詞器模式,返回所有模式的所有不重複分詞結果,第二個方法返回每一種分詞器模式及其對應的分詞結果。
在這裡,需要注意的是我們使用了Java8中的新特性預設方法,並使用stream把一個map的value轉換為不重複的集合。
下面我們利用這11大分詞器來實現這個介面:
1、word分詞器
@Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){ map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm)); } return map; } private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) { StringBuilder result = new StringBuilder(); for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){ result.append(word.getText()).append(" "); } return result.toString(); }
2、Ansj分詞器
@Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); StringBuilder result = new StringBuilder(); for(Term term : BaseAnalysis.parse(text)){ result.append(term.getName()).append(" "); } map.put("BaseAnalysis", result.toString()); result.setLength(0); for(Term term : ToAnalysis.parse(text)){ result.append(term.getName()).append(" "); } map.put("ToAnalysis", result.toString()); result.setLength(0); for(Term term : NlpAnalysis.parse(text)){ result.append(term.getName()).append(" "); } map.put("NlpAnalysis", result.toString()); result.setLength(0); for(Term term : IndexAnalysis.parse(text)){ result.append(term.getName()).append(" "); } map.put("IndexAnalysis", result.toString()); return map; }
3、Stanford分詞器
private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb"); private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku"); private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false); public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("Stanford Beijing University segmentation", seg(PKU, text)); map.put("Stanford Chinese Treebank segmentation", seg(CTB, text)); return map; } private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){ PrintStream err = System.err; System.setErr(NULL_PRINT_STREAM); Annotation document = new Annotation(text); stanfordCoreNLP.annotate(document); List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class); StringBuilder result = new StringBuilder(); for(CoreMap sentence: sentences) { for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) { String word = token.get(CoreAnnotations.TextAnnotation.class);; result.append(word).append(" "); } } System.setErr(err); return result.toString(); }
4、FudanNLP分詞器
private static CWSTagger tagger = null; static{ try{ tagger = new CWSTagger("lib/fudannlp_seg.m"); tagger.setEnFilter(true); }catch(Exception e){ e.printStackTrace(); } } @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("FudanNLP", tagger.tag(text)); return map; }
5、Jieba分詞器
private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter(); @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("INDEX", seg(text, SegMode.INDEX)); map.put("SEARCH", seg(text, SegMode.SEARCH)); return map; } private static String seg(String text, SegMode segMode) { StringBuilder result = new StringBuilder(); for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){ result.append(token.word.getToken()).append(" "); } return result.toString(); }
6、Jcseg分詞器
private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig(); private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG); static { CONFIG.setLoadCJKSyn(false); CONFIG.setLoadCJKPinyin(false); } @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("複雜模式", segText(text, JcsegTaskConfig.COMPLEX_MODE)); map.put("簡易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE)); return map; } private String segText(String text, int segMode) { StringBuilder result = new StringBuilder(); try { ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC}); IWord word = null; while((word=seg.next())!=null) { result.append(word.getValue()).append(" "); } } catch (Exception ex) { throw new RuntimeException(ex); } return result.toString(); }
7、MMSeg4j分詞器
private static final Dictionary DIC = Dictionary.getInstance(); private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC); private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC); private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC); @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG)); map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG)); map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG)); return map; } private String segText(String text, Seg seg) { StringBuilder result = new StringBuilder(); MMSeg mmSeg = new MMSeg(new StringReader(text), seg); try { Word word = null; while((word=mmSeg.next())!=null) { result.append(word.getString()).append(" "); } } catch (IOException ex) { throw new RuntimeException(ex); } return result.toString(); }
8、IKAnalyzer分詞器
@Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("智慧切分", segText(text, true)); map.put("細粒度切分", segText(text, false)); return map; } private String segText(String text, boolean useSmart) { StringBuilder result = new StringBuilder(); IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart); try { Lexeme word = null; while((word=ik.next())!=null) { result.append(word.getLexemeText()).append(" "); } } catch (IOException ex) { throw new RuntimeException(ex); } return result.toString(); }
9、Paoding分詞器
private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer(); @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE)); map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE)); return map; } private static String seg(String text, int mode){ ANALYZER.setMode(mode); StringBuilder result = new StringBuilder(); try { Token reusableToken = new Token(); TokenStream stream = ANALYZER.tokenStream("", new StringReader(text)); Token token = null; while((token = stream.next(reusableToken)) != null){ result.append(token.term()).append(" "); } } catch (Exception ex) { throw new RuntimeException(ex); } return result.toString(); }
10、smartcn分詞器
private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer(); @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("smartcn", segText(text)); return map; } private static String segText(String text) { StringBuilder result = new StringBuilder(); try { TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text", new StringReader(text)); tokenStream.reset(); while (tokenStream.incrementToken()){ CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class); result.append(charTermAttribute.toString()).append(" "); } tokenStream.close(); }catch (Exception e){ e.printStackTrace(); } return result.toString(); }
11、HanLP分詞器
private static final Segment N_SHORT_SEGMENT = new NShortSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true); private static final Segment DIJKSTRA_SEGMENT = new DijkstraSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true); @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("標準分詞", standard(text)); map.put("NLP分詞", nlp(text)); map.put("索引分詞", index(text)); map.put("N-最短路徑分詞", nShort(text)); map.put("最短路徑分詞", shortest(text)); map.put("極速詞典分詞", speed(text)); return map; } private static String standard(String text) { StringBuilder result = new StringBuilder(); StandardTokenizer.segment(text).forEach(term->result.append(term.word).append(" ")); return result.toString(); } private static String nlp(String text) { StringBuilder result = new StringBuilder(); NLPTokenizer.segment(text).forEach(term->result.append(term.word).append(" ")); return result.toString(); } private static String index(String text) { StringBuilder result = new StringBuilder(); IndexTokenizer.segment(text).forEach(term->result.append(term.word).append(" ")); return result.toString(); } private static String speed(String text) { StringBuilder result = new StringBuilder(); SpeedTokenizer.segment(text).forEach(term->result.append(term.word).append(" ")); return result.toString(); } private static String nShort(String text) { StringBuilder result = new StringBuilder(); N_SHORT_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" ")); return result.toString(); } private static String shortest(String text) { StringBuilder result = new StringBuilder(); DIJKSTRA_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" ")); return result.toString(); }
現在我們已經實現了本文的第一個目的:學會使用11大Java開源中文分詞器。
最後我們來實現本文的第二個目的:對比分析11大Java開源中文分詞器的分詞效果,程式如下:
public static Map<String, Set<String>> contrast(String text){ Map<String, Set<String>> map = new LinkedHashMap<>(); map.put("word分詞器", new WordEvaluation().seg(text)); map.put("Stanford分詞器", new StanfordEvaluation().seg(text)); map.put("Ansj分詞器", new AnsjEvaluation().seg(text)); map.put("HanLP分詞器", new HanLPEvaluation().seg(text)); map.put("FudanNLP分詞器", new FudanNLPEvaluation().seg(text)); map.put("Jieba分詞器", new JiebaEvaluation().seg(text)); map.put("Jcseg分詞器", new JcsegEvaluation().seg(text)); map.put("MMSeg4j分詞器", new MMSeg4jEvaluation().seg(text)); map.put("IKAnalyzer分詞器", new IKAnalyzerEvaluation().seg(text)); map.put("smartcn分詞器", new SmartCNEvaluation().seg(text)); return map; } public static Map<String, Map<String, String>> contrastMore(String text){ Map<String, Map<String, String>> map = new LinkedHashMap<>(); map.put("word分詞器", new WordEvaluation().segMore(text)); map.put("Stanford分詞器", new StanfordEvaluation().segMore(text)); map.put("Ansj分詞器", new AnsjEvaluation().segMore(text)); map.put("HanLP分詞器", new HanLPEvaluation().segMore(text)); map.put("FudanNLP分詞器", new FudanNLPEvaluation().segMore(text)); map.put("Jieba分詞器", new JiebaEvaluation().segMore(text)); map.put("Jcseg分詞器", new JcsegEvaluation().segMore(text)); map.put("MMSeg4j分詞器", new MMSeg4jEvaluation().segMore(text)); map.put("IKAnalyzer分詞器", new IKAnalyzerEvaluation().segMore(text)); map.put("smartcn分詞器", new SmartCNEvaluation().segMore(text)); return map; } public static void show(Map<String, Set<String>> map){ map.keySet().forEach(k -> { System.out.println(k + " 的分詞結果:"); AtomicInteger i = new AtomicInteger(); map.get(k).forEach(v -> { System.out.println("\t" + i.incrementAndGet() + " 、" + v); }); }); } public static void showMore(Map<String, Map<String, String>> map){ map.keySet().forEach(k->{ System.out.println(k + " 的分詞結果:"); AtomicInteger i = new AtomicInteger(); map.get(k).keySet().forEach(a -> { System.out.println("\t" + i.incrementAndGet()+ " 、【" + a + "】\t" + map.get(k).get(a)); }); }); } public static void main(String[] args) { show(contrast("我愛楚離陌")); showMore(contrastMore("我愛楚離陌")); }
執行結果如下:
******************************************** word分詞器 的分詞結果: 1 、我 愛 楚離陌 Stanford分詞器 的分詞結果: 1 、我 愛 楚 離陌 2 、我 愛 楚離陌 Ansj分詞器 的分詞結果: 1 、我 愛 楚離 陌 2 、我 愛 楚 離 陌 HanLP分詞器 的分詞結果: 1 、我 愛 楚 離 陌 smartcn分詞器 的分詞結果: 1 、我 愛 楚 離 陌 FudanNLP分詞器 的分詞結果: 1 、我 愛楚離陌 Jieba分詞器 的分詞結果: 1 、我愛楚 離 陌 Jcseg分詞器 的分詞結果: 1 、我 愛 楚 離 陌 MMSeg4j分詞器 的分詞結果: 1 、我愛 楚 離 陌 IKAnalyzer分詞器 的分詞結果: 1 、我 愛 楚 離 陌 ********************************************
******************************************** word分詞器 的分詞結果: 1 、【全切分演算法】 我 愛 楚離陌 2 、【雙向最大最小匹配演算法】 我 愛 楚離陌 3 、【正向最大匹配演算法】 我 愛 楚離陌 4 、【雙向最大匹配演算法】 我 愛 楚離陌 5 、【逆向最大匹配演算法】 我 愛 楚離陌 6 、【正向最小匹配演算法】 我 愛 楚離陌 7 、【雙向最小匹配演算法】 我 愛 楚離陌 8 、【逆向最小匹配演算法】 我 愛 楚離陌 Stanford分詞器 的分詞結果: 1 、【Stanford Chinese Treebank segmentation】 我 愛 楚離陌 2 、【Stanford Beijing University segmentation】 我 愛 楚 離陌 Ansj分詞器 的分詞結果: 1 、【BaseAnalysis】 我 愛 楚 離 陌 2 、【IndexAnalysis】 我 愛 楚 離 陌 3 、【ToAnalysis】 我 愛 楚 離 陌 4 、【NlpAnalysis】 我 愛 楚離 陌 HanLP分詞器 的分詞結果: 1 、【NLP分詞】 我 愛 楚 離 陌 2 、【標準分詞】 我 愛 楚 離 陌 3 、【N-最短路徑分詞】 我 愛 楚 離 陌 4 、【索引分詞】 我 愛 楚 離 陌 5 、【最短路徑分詞】 我 愛 楚 離 陌 6 、【極速詞典分詞】 我 愛 楚 離 陌 smartcn分詞器 的分詞結果: 1 、【smartcn】 我 愛 楚 離 陌 FudanNLP分詞器 的分詞結果: 1 、【FudanNLP】 我 愛楚離陌 Jieba分詞器 的分詞結果: 1 、【SEARCH】 我愛楚 離 陌 2 、【INDEX】 我愛楚 離 陌 Jcseg分詞器 的分詞結果: 1 、【簡易模式】 我 愛 楚 離 陌 2 、【複雜模式】 我 愛 楚 離 陌 MMSeg4j分詞器 的分詞結果: 1 、【SimpleSeg】 我愛 楚 離 陌 2 、【ComplexSeg】 我愛 楚 離 陌 3 、【MaxWordSeg】 我愛 楚 離 陌 IKAnalyzer分詞器 的分詞結果: 1 、【智慧切分】 我 愛 楚 離 陌 2 、【細粒度切分】 我 愛 楚 離 陌 ********************************************
相關文章
- #Elasticsearch中文分詞器 #IK分詞器 @FDDLCElasticsearch中文分詞
- elastcisearch中文分詞器各個版本AST中文分詞
- elasticsearch教程--中文分詞器作用和使用Elasticsearch中文分詞
- 中文分詞的探索,CRF(條件隨機場)和HMM(隱馬爾可夫模型)用於分詞的對比,以及中文分詞的評估中文分詞CRF條件隨機場HMM隱馬爾可夫模型
- 分享IKAnalyzer 3.0 中文分詞器中文分詞
- 中文分詞器,整理自Ai中文分詞AI
- Lucene中文分析器的中文分詞準確性和效能比較中文分詞
- Python分詞模組推薦:jieba中文分詞PythonJieba中文分詞
- 北大開源了中文分詞工具包:準確率遠超THULAC、結巴分詞!中文分詞
- 北大開源全新中文分詞工具包:準確率遠超THULAC、結巴分詞中文分詞
- 中文分詞研究難點-詞語劃分和語言規範中文分詞
- java+lucene中文分詞,搜尋引擎搜詞剖析Java中文分詞
- Ansj與hanlp分詞工具對比HanLP分詞
- 中文分詞原理及常用Python中文分詞庫介紹中文分詞Python
- 中文分詞技術中文分詞
- 分詞工具Hanlp基於感知機的中文分詞框架HanLP中文分詞框架
- Elasticsearch 分詞器Elasticsearch分詞
- 使用Docker快速安裝部署ES和Kibana並配置IK中文分詞器以及自定義分詞擴充詞庫Docker中文分詞
- IKAnalyzer 中文分詞的不同版本切詞方式中文分詞
- 中文分詞工具之基於字標註法的分詞中文分詞
- 中文地址智慧分詞演算法-Java版分詞演算法Java
- 用Python寫一個簡單的中文分詞器Python中文分詞
- iOS中文近似度的演算法及中文分詞(結巴分詞)的整合iOS演算法中文分詞
- Hanlp分詞之CRF中文詞法分析詳解HanLP分詞CRF詞法分析
- pyhanlp 中文詞性標註與分詞簡介HanLP詞性標註分詞
- Elasticsearch IK分詞器Elasticsearch分詞
- SCWS PHP 中文簡易分詞PHP分詞
- HanLP中文分詞Lucene外掛HanLP中文分詞
- python 中文分詞包 jiebaPython中文分詞Jieba
- ElasticSearch5.6.1 + 中文分詞(IK)ElasticsearchH5中文分詞
- HanLP-實詞分詞器詳解HanLP分詞
- python使用jieba實現中文文件分詞和去停用詞PythonJieba分詞
- 分詞分詞
- 使用cjieba(結巴分詞庫)實現php擴充套件中文分詞JiebaPHP套件中文分詞
- elasticsearch之ik分詞器和自定義詞庫實現Elasticsearch分詞
- python分詞和生成詞雲圖Python分詞
- Java中文分片語件 - word分詞(skycto JEEditor)Java分詞
- Hanlp在java中文分詞中的使用介紹HanLPJava中文分詞