論文標題：Dense Passage Retrieval for Open-Domain Question Answering
論文來源：ACL 2020
論文連結：https://arxiv.org/abs/2004.04906
引言
Open-domain 的 Question Answering (QA) 一般需要先從大量的文件庫中檢索出一些和問題相關的文件（retrive），相關的方法有 TF-IDF 和 BM25。這篇文章發現學習 dense 的文件向量去替換 retrive 階段的傳統方法是可行的，並且本文提出的檢索系統在 top-20 文章檢索準確率上比 Lucene-BM25 系統高出 9%-19%。
介紹
近年來隨著深度學習的興起，目前大部分做 Open-domain 的 QA 使一般沿用兩階段框架：1）retriever 首先選擇一小部分段落，其中一些包含問題的答案；2）reader 可以看到 retriever 檢索到的上下文並從中識別正確的答案。
目前主流的 retriever 使用傳統的資訊檢索（IR）方法，包括 TF-IDF unigram/bigram matching 或詞權重支援 BM25 詞權重的工具，如 Lucene 和 Elastic-search。
TF-IDF 和 BM25 將 query 和 context 用高維的 sparse 向量來表示，這些sparse向量可以透過倒排索引進行有效搜尋，並且對於那些通常需要根據關鍵字顯著縮小搜尋空間的問題回答有效。
但是 TF-IDF 和 BM25 也有一些缺點就是無法很好的建模詞與詞之間的語義關係（兩個同義詞可能長的完全不一樣），所以一些 encoding 文字為 dense 向量的方法給 TF-IDF 和 BM25 這一類方法做了補充。
Dense Passage Retriever (DPR)
在檢索之前先用一個 dense encoder 給文件庫中的所有文件都進行 encoding。在檢索的時候用另一個 dense encoder 給 question 進行 encoding，之後根據下圖公式算兩個 representation 的 similarity，取 top-k 作為結果。
公式（1）比較簡單，但是作者說該方式是最有效的。作者用的 encoder 是 bert-base-uncased，然後拿 [CLS] 的 vector 作為 representation。由於文件庫可能會很大，所以作者用了 FAISS（一個非常高效的開源庫，用於 dense 向量的相似性搜尋和聚類，可以很容易地應用於數十億個向量）來索引 encode 之後的向量。
一般情況下，正負例的比例會差很多，作者在選負例的時候也採用了一些 trick:
(1) Random: any random passage from the corpus; (2) BM25: top passages returned by BM25 which don’t contain the answer but match question tokens heavily; (3) Gold: positive passages paired with other questions which appear in the training set. （效果最好）
question 和 passage 在 encoding 之後，作者還採用了一種節省計算量的方法，稱之為 In-batch negatives，原文描述如下：
Experiments: Passage Retrieval
Table 2 使用 top-k 精度（k 為 20 或 100）比較了五個 QA 資料集上不同的文章檢索系統。除了 SQuAD，DPR 在所有資料集上都比 BM25 表現得更好。當k值較小時，差距尤其大（例如，NQ 的 top-20 78.4% vs 59.1%）。
當使用多個資料集進行訓練時，TREC（五種資料集中最小的資料集）可以從更多的訓練示例中獲益。相比之下，NQ 和 WebQuestions 得到了適度的改進，而 TriviaQA 則略有下降。在某些情況下，可以透過在單資料集和多資料集設定中結合 DPR 和 BM25 進一步改進結果。
結論
首先，本文演示了在適當的訓練設定下，只需對現有 question and passage encoder 進行 fine-tuning 就足以在 top-k 檢索精度方面大大超過強大的 Lucene-BM25 系統。