基於預訓練模型的相似度度量方式
BERTScore
BERTScore 是一種基於 BERT（雙向編碼器表示器轉換器）語言模型的相似度度量。它將問題和回答編碼為 BERT 向量，然後計算兩個向量的餘弦相似度。與傳統的基於重疊詞語的相似度度量不同，BERTScore 能夠捕獲語義相似性，即使兩個句子不包含相同的詞語。
安裝 BERTScore
pip install bertscore 匯入 BERTScore
from bertscore import BERTScorer 初始化 BERTScorer
scorer = BERTScorer(lang="en", rescale_with_baseline=True) 其中：
lang指定要使用的語言模型的語言。rescale_with_baseline指定是否使用基線重新縮放分數。這通常是有益的，因為它可以提高分數的可解釋性和一致性。
計算 BERTScore
sentences1 = ["This is a sample sentence."] sentences2 = ["This is another sample sentence."] scores = scorer.score(sentences1, sentences2) 其中：
sentences1和sentences2是要比較的句子列表。scores是一個包含 BERTScore 分數的列表。
解釋 BERTScore 分數
BERTScore 分數在 0 到 1 之間，其中 1 表示兩個句子完全相似。分數越高，句子之間的語義相似性就越大。
示例輸出
scores = [0.8512, 0.7234, 0.9123] 這表明句子 1 和句子 2 之間有很高的語義相似性，而句子 3 和句子 2 之間也有相當高的語義相似性。
補充：衡量問答好壞的評估方法
ROUGE、BLEU、METEOR
ROUGE、BLEU 和 METEOR 都是基於重疊詞語的相似度度量，用於評估生成式文字（如機器翻譯輸出或摘要）的質量。
ROUGE (Recall-Oriented Understudy for Gisting Evaluation)
ROUGE 是一種基於召回率的度量，它計算參考摘要和生成摘要中重疊的 n-gram（連續詞語序列）的比例。它有多個變體，包括：
- ROUGE-N：計算 n-gram 重疊
- ROUGE-L：計算最長公共子序列的長度
- ROUGE-W：計算加權平均的 n-gram 重疊
BLEU (Bilingual Evaluation Understudy)
BLEU 是一種基於精度和召回率的度量，它計算參考摘要和生成摘要中重疊的 n-gram 的加權平均值。與 ROUGE 類似，它也有多個變體，包括：
- BLEU-N：計算 n-gram 重疊
- BLEU-4：計算 1-gram、2-gram、3-gram 和 4-gram 重疊的加權平均值
METEOR (Metric for Evaluation of Translation with Explicit Ordering)
METEOR 是一種基於加權平均的度量，它考慮了重疊詞語、同義詞匹配和詞語順序。它透過將生成摘要與參考摘要進行對齊，然後計算對齊部分的加權平均值來工作。
這些度量的優缺點
- **優點：**簡單易懂，計算效率高。
- **缺點：**只考慮重疊詞語，無法捕獲語義相似性。此外，它們可能受到生成摘要長度的影響，較長的摘要往往得分更高。
總體而言，ROUGE、BLEU 和 METEOR 是評估生成式文字質量的常用度量，但它們應該與其他度量（例如基於預訓練模型的相似度度量或基於人類判斷的評價體系）結合使用，以獲得更全面和準確的評估。