《Spelling Error Correction with Soft-Masked BERT》閱讀筆記

會議：ACL2020
機構：位元組跳動、復旦大學
摘要：拼寫錯誤檢測很重要但是具有挑戰性，因為其需要人類水平的語言理解能力。目前一個SOTA是用BERT在句子的每個位置的候選列表中選擇一個字元，以進行修改（或不修改）。然而，這個方法的準確性可能不是最優的，因為BERT沒有足夠的能力去識別某個位置的字元是不是錯誤的，因為他使用mask language model的訓練方式。我們提出了一個新的神經網路來解決上述問題，包括了錯誤檢測網路和錯誤糾正網路，並通過soft-masking的技術來連線兩個部分。我們的方法可以用於其他語言檢測糾正問題。在兩個資料集上的實驗結果表明，我們提出的方法的表現優於baseline也優於基於BERT的baseline。
解決問題：作者認為糾錯任務分兩步，當能夠準確檢測出錯誤時，糾正才能完成得更好。作者觀察到BERT模型不能很好地去檢測錯誤，認為是BERT使用mask language model導致的（BERT在訓練的時候，只有15%的詞被遮蔽，因此）。為了解決上述問題，作者提出了新的架構Soft-Masked BERT
模型：
兩個網路：一個檢測網路，一是糾錯網路
檢測網路是Bi-GRU，用於計算句子中的每一個字元是錯誤的可能性
糾錯網路是BERT