©原創作者 | 朱林
論文解讀：
Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge
論文作者：
Google Research
論文地址：
https://arxiv.org/abs/2007.00849
收錄會議：
NAACL 2021
01 介紹
大規模語言模型，如BERT、Transformer等是現代自然語言建模的核心，其已被證明可以編碼進大量的常識和事實（Fact）資訊，是許多下游應用的基礎。
然而，這些知識只存在於模型的潛在引數中，無法進行檢查和解釋。更糟糕的是，隨著時間和外部環境的變化，從訓練語料庫中學習並記憶的事實資訊可能會過時或出錯。
為了解決這些問題，本文作者開發了一種神經語言模型Facts-as-Experts (FaE)，其在神經網路語言模型和符號知識庫（symbolic KB）之間建立了一個橋樑，將深度神經網路的表達能力優勢和符號知識庫的推理能力優勢進行了有機結合。
實驗表明，該模型在兩個知識密集型問答任務中顯著提高了效能。更有趣的是，該模型可以通過操縱其符號表示來更新模型而無需重新訓練，且該模型允許新增新的事實並以早期模型不可能的方式覆蓋現有的事實。
02 模型
符號定義
總體架構
Facts-as-Experts(FaE)模型建立在最新提出的專家實體語言模型Entities-as-Experts(EaE)上，EaE是一種可以直接從文字中學習與實體相關Memory的新模型，引數規模小於Transformer模型，但是效能優於Transformer架構。
FaE模型在EaE基礎上包含一個稱為Fact Memory的附加Memory，它從符號知識庫中編碼出三元組。每個三元組都是由組成它實體的EaE-learned嵌入組成的。這個Fact Memory用一個鍵值對錶示，可以用來檢索知識庫中的資訊。
如圖1所示，虛線內的模型是EaE，右側是Fact Memory。首先輸入一段文字，使用[MASK]作為對Fact Memory的查詢，使用Transformer層對其進行上下文編碼。
然後，通過上下文查詢得到事實的Key（如[Charles Darwin, born in]），以及該Key的Values（如{United Kingdom}）。返回被合併回上下文中以進行最終預測。事實中的鍵值與EaE實體Memory共享。
通過這種組合產生了一個新的神經語言模型，該模型能有效結合符號知識圖中的資訊。
圖1 Facts-as-Experts模型架構
附加和整合
03 實驗
資料集
本文在兩個開放域問答資料集上進行了評估：FreebaseQA和WebQuestionsSP，這兩個資料集都是從Freebase建立的。Freebase是個類似Wikipedia的創作共享類網站，所有內容都由使用者新增。
結果
表1 兩個資料集上的評估
如表1所示，作者將FaE與三個基線模型進行比較：FOFE、EmQL和Entity-as-Expert(EaE)。
FOFE是一種前饋語言模型，旨在對長序列進行編碼，並且是FreebaseQA資料集上之前最先進的模型。EmQL是作為知識庫上的查詢嵌入引入的，是WebQuestionsSP上之前最先進的模型。另外還有上文提到的EaE模型。
結果顯示，FaE在FreebaseQA資料集上的準確率高於其他基線模型近10個百分點。在WebQuestionsSP完整資料集上FaE的效能相對較低，但這主要是由於Freebase和Wikidata之間的對映導致知識庫不完整導致的。
04 討論
資料重疊
本文模型主要關注對模型使用外部知識回答問題的能力，而不是學習識別語義相同的問題。
不幸的是，對這兩個資料集的分析表明，許多測試答案也顯示為某些訓練集問題的答案：FreebaseQA測試資料中75.0%的答案和WebQuestionsSP中57.5%的答案都是這種情況。
這表明了一種可能性，即模型的某些高效能可能歸因於簡單地記住特定的問題/答案對。
為了解決這個問題，作者丟棄了重疊部分查詢實驗。當應用重疊過濾之後，模型的表現要差得多，並且它們被迫依賴於跨多個示例進行推理的能力，在FaE中指的是Fact Memory。
新事實注入
因為作者的模型只是象徵性地定義了事實，原則上它可以注入Memory中新的事實，而無需重新訓練模型的任何引數。
為了測試模型執行此任務的能力，作者比對了模型在給定完整知識、過濾知識和注入知識的情況下的結果，如表2所示。過濾知識和注入知識的方法差距證明模型能夠很好地結合新引入的事實。
表2 注入新的事實的對比結果
更新陳舊Memory
作者希望模型能很好地對知識進行表示，並且這種知識表示可以通過隨外界環境變化而增量更新來避免資料過時。
為了探究這種能力，作者模擬了這個場景的一個極端版本，其中FreebaseQA測試集中對問答對的所有答案都替換為合理的其他值。
05 結論
在本文中，作者提出了一種將神經網路語言模型與可解釋的符號知識庫相結合的新模型FaE。該模型在事實性問答任務方面表現出與高效能語言模型相當或更好的效能，且該模型可以通過僅修改非引數的Memory部分而無需任何額外訓練來更改語言模型的輸出，是值得深入研究的一個新方向。
06 思考
本文留給了我們一些啟發與思考：
（1） 深度神經網路語言模型實驗效果很好，但是依賴於超大的資料集和深度的不可解釋的引數空間，是一個典型的黑盒模型，實際應用很難調節和解釋。而目前越來越的新方法嘗試與符號知識庫等有推理能力和解釋能力的模型進行結合，以提高可解釋性。
（2） 結合符號邏輯或者可解釋的嚴謹的數學模型，我們可以構造出僅僅需要改變外部結構就能泛化到別的應用場景能力，而不用每次都拿新的資料餵給模型重新訓練引數，如果這個思路可行，在實際工程中就可以節省很多訓練時間和儲存空間，是個值得研究的方向。
（3） 目前不少問答資料集存在訓練集和測試集重疊的問題，導致了實驗結果的“虛高”，值得重新構造恰當的資料集進行實驗和探討，使結果更為嚴謹。