acl論文彙總原文連結：https://blog.csdn.net/weixin_52171642/article/details/131763613
順序 摘要 結論 導言 相關工作 模型 實驗 評論
ACL When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories 自適應選擇少見實體加檢索
摘要：儘管大型語言模型（LMs）在不同的任務上有令人印象深刻的表現，但在需要豐富的世界知識的任務上仍然很吃力，這意味著在其引數中編碼大量的世界知識是很困難的。本文旨在透過對兩個以實體為中心的開放領域QA資料集進行大規模的知識探測實驗，瞭解LM在記憶事實知識方面的優勢和侷限：PopQA是我們的新資料集，包含14000個關於長尾實體的問題，而EntityQuestions是一個廣泛使用的開放域QA資料集。我們發現，LM在處理不太常見的事實性知識時很吃力，而檢索增強在這些情況下有很大幫助。另一方面，擴充套件主要提高了對常見知識的記憶，而對尾部事實性知識的記憶則沒有明顯的改善。基於這些發現，我們設計了一種新的檢索增強方法，透過只在必要時檢索非引數記憶來提高效能並降低推理成本。
關鍵詞：開放領域QA；檢索增強
csdn論文講解Re49：讀論文 When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parame-CSDN部落格