在當今海量資料時代,有效的資訊檢索(IR)技術對於從龐大資料集中提取相關資訊至關重要。近年來,密集檢索技術展現出了相比傳統稀疏檢索方法更加顯著的效果。
現有的方法主要從點式重排序器中蒸餾知識,這些重排序器為文件分配絕對相關性分數,因此在進行比較時面臨不一致性的挑戰。為解決這一問題,來自國立臺灣大學的研究者Chao-Wei Huang和Yun-Nung Chen提出了一種新穎的方法——成對相關性蒸餾(Pairwise Relevance Distillation, PAIRDISTILL)。
PAIRDISTILL的主要研究目的是:
- 利用成對重排序的優勢,為密集檢索模型的訓練提供更細粒度的區分。
- 提高密集檢索模型在各種基準測試中的效能,包括領域內和領域外的評估。
- 探索一種可以跨不同架構和領域進行一致性改進的方法。
方法改進詳細描述
PAIRDISTILL方法的核心思想是利用成對重排序器提供的細粒度訓練訊號來增強密集檢索模型的訓練。該方法的主要組成部分包括:
成對重排序:與傳統的點式重排序不同,成對重排序同時比較兩個文件,估計一個文件相對於另一個文件與查詢的相關性。形式上,給定查詢q和兩個文件di和dj,成對重排序器估計的機率為:
這種方法透過僅建模di和dj的相對相關性來緩解校準問題。
成對相關性蒸餾:PAIRDISTILL的目標是讓密集檢索器模仿成對重排序器的輸出分佈。密集檢索器預測的成對相關性分佈定義為:
訓練目標是最小化密集檢索器和成對重排序器的成對相關性分佈之間的KL散度:
https://avoid.overfit.cn/post/4e825b6cc5b44ce7962f59c873afb7e4