Java利用hanlp完成語句相似度分析的方法詳解

  分享一篇 hanlp 分詞工具使用的小案例，即利用 hanlp 分詞工具分析兩個中文語句的相似度的案例。供大家一起學習參考！

 

在做kaoshi系統需求時，後臺題庫系統提供錄入題目的功能。在錄入題目的時候，由於題目來源廣泛，且參與錄入題目的人有多位，因此容易出現錄入重複題目的情況。所以需要實現語句相似度分析功能，從而篩選出重複的題目並人工處理之。

下面介紹如何使用 Java 實現上述想法，完成語句相似度分析：

1 、使用 HanLP 完成分詞：

首先，新增 HanLP 的依賴：（ jsoup 是為了處理題幹中的 html 標籤，去除 html 標籤得到純文字的題幹內容）

 

分詞程式碼如下，需要處理 html 標籤和標點符號：

 

private static List<String> getSplitWords(String sentence) {

        // 去除掉 html 標籤

        sentence = Jsoup.parse(sentence.replace(" ","")).body().text();

        // 標點符號會被單獨分為一個 Term ，去除之

        return HanLP.segment(sentence).stream().map(a -> a.word).filter(s -> !"`~!@#$^&*()=|{}':;',\\[\\].<>/?~ ！ @# ￥…… &* （）—— |{} 【】‘；：”“ ' 。，、？ ".contains(s)).collect(Collectors.toList());

    }

 

2 、合併分詞結果，列出所有的詞：

3 、統計詞頻，得到詞頻構成的向量：

程式碼如下，其中 allWords 是上一步中得到的所有的詞， sentWords 是第一步中對單個句子的分詞結果：

 

4 、計算相似度（兩個向量的餘弦值）：

 

以上所有方法的完整程式碼如下，使用 SimilarityUtil.getSimilarity(String s1,String s2) 即可得到 s1 和 s2 的語句相似度：

 

package com.yuantu.dubbo.provider.questionRepo.utils;

 

import com.hankcs.hanlp.HanLP;

import com.hankcs.hanlp.dictionary.CustomDictionary;

import org.jsoup.Jsoup;

 

import java.util.ArrayList;

import java.util.Calendar;

import java.util.Collections;

import java.util.List;

import java.util.stream.Collectors;

 

public class SimilarityUtil {

    static {

        CustomDictionary.add(" 子類 ");

        CustomDictionary.add(" 父類 ");

    }

 

    private SimilarityUtil() {

    }

    

    /**

     * 獲得兩個句子的相似度

     *

     * @param sentence1

     * @param sentence2

     * @return

     */

    public static double getSimilarity(String sentence1, String sentence2) {

        List<String> sent1Words = getSplitWords(sentence1);

        System.out.println(sent1Words);

        List<String> sent2Words = getSplitWords(sentence2);

        System.out.println(sent2Words);

        List<String> allWords = mergeList(sent1Words, sent2Words);

 

        int[] statistic1 = statistic(allWords, sent1Words);

        int[] statistic2 = statistic(allWords, sent2Words);

 

        double dividend = 0;

        double divisor1 = 0;

        double divisor2 = 0;

        for (int i = 0; i < statistic1.length; i++) {

            dividend += statistic1[i] * statistic2[i];

            divisor1 += Math.pow(statistic1[i], 2);

            divisor2 += Math.pow(statistic2[i], 2);

        }

 

        return dividend / (Math.sqrt(divisor1) * Math.sqrt(divisor2));

    }

 

    private static int[] statistic(List<String> allWords, List<String> sentWords) {

        int[] result = new int[allWords.size()];

        for (int i = 0; i < allWords.size(); i++) {

            result[i] = Collections.frequency(sentWords, allWords.get(i));

        }

        return result;

    }

 

    private static List<String> mergeList(List<String> list1, List<String> list2) {

        List<String> result = new ArrayList<>();

        result.addAll(list1);

        result.addAll(list2);

        return result.stream().distinct().collect(Collectors.toList());

    }

 

    private static List<String> getSplitWords(String sentence) {

        // 去除掉 html 標籤

        sentence = Jsoup.parse(sentence.replace(" ","")).body().text();

        // 標點符號會被單獨分為一個 Term ，去除之

        return HanLP.segment(sentence).stream().map(a -> a.word).filter(s -> !"`~!@#$^&*()=|{}':;',\\[\\].<>/?~ ！ @# ￥…… &* （）—— |{} 【】‘；：”“ ' 。，、？ ".contains(s)).collect(Collectors.toList());

    }

}

---------------------

 

 

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31524777/viewspace-2636656/，如需轉載，請註明出處，否則將追究法律責任。