論文名稱：Table-to-Text Generation with Effective Hierarchical Encoder on Three Dimensions (Row, Column and Time)
論文作者：龔恆，馮驍騁，秦兵，劉挺
原創作者：龔恆
論文連結：https://www.aclweb.org/anthology/D19-1310/
1.任務
面向結構化資料的文字生成技術是文字生成的重要研究任務之一，其目標是由計算機根據給定的結構化資料自動生成相關的描述性文字。Gatt[1]等人的研究表明，文字描述要比資料和圖表能更好的幫助使用者對其進行理解和決策。如圖1所示，輸入的結構化資料包括某場體育賽事中球員和球隊的相關統計資料，輸出的是有關的賽事報導。
圖1 ROTOWIRE資料集中的一個例子。左側為輸入的球隊/球員的統計資料，右上為基線模型生成的結果，右下為參考文字。
2.背景和動機
近幾年，ROTOWIRE資料集受到了研究者的關注。相比而言，它輸入的結構化資料包括628個三元組（<球隊/球員名，資料型別，資料值>），輸出的文字（測試集）平均包含約24個三元組的資訊。這意味著模型內容選擇的能力是生成高質量賽事報導的關鍵之一。Wiseman[2]等人在提出這個資料集的時候探索了Joint Copy和Conditional Copy兩種複製機制的效果，發現後者的效果較好。Li[3]等人透過首先生成模版，然後進行填槽的方法提升模型準確描述表格資訊的能力。Nie[4]等人透過引入預定義的運算子計算得到的結果，增強生成高保真度文字的能力。Puduppully[5]等人提出兩步生成模型，透過首先進行內容選擇和規劃，然後進行文字生成，提高了模型內容選擇的能力。今年的ACL會議上，Puduppullyp[6]等人透過對實體進行建模，Iso [7]等人提出跟蹤和生成模組進一步增強模型的效能。
但是，這些方法更關注解碼時候的改進，在對錶格進行建模的時候大多將628個三元組分別進行建模或視為一個長序列進行建模。我們認為，表格的建模方式仍有提升的空間。因為（1）表格包含行和列的結構資訊，分別反映一個球隊/球員的所有資訊以及一類資料（如得分）不同球員的表現。將所有的資訊視為一個長序列或者分開建模丟失了這種豐富的結構資訊。（2）表格中的數值資料其實是一種時序資訊。例如，多場比賽中某一個球員的得分資料的變化可以反映這個球員發揮水平的變化。
為了解決上面提到的問題，我們提出了一個層次化編碼器同時建模表格的行、列和時間維度的資訊。3.2和3.3對該方法進行了詳細介紹。
3.方法
3.1 基線模型
基線模型採用的是基於注意力機制和條件複製機制（conditional copy）的序列到序列模型。對於每個三元組資訊以及額外增加的一個球隊/球員是否主場作戰的特徵，採用多層感知器進行建模：,其中
，代表這個三元組球員/球隊名的embedding，
代表資料型別的embedding，
代表數值的embedding，
代表特徵的embedding，
和
是訓練引數，接下來用
表示編碼得到的三元組表示。基於Luong[8]等人提出的基於注意力機制的序列到序列模型，可以得到解碼器第t步的狀態
和attention後得到的狀態
。條件複製機制將第t步生成各個詞的機率分解成兩個部分：從表格複製和從詞表生成。其中
是預測當前步應該從表格中進行複製的機率。
代表用attention得到的權重作為具體複製某個詞的機率。
是根據解碼器attention後得到的狀態預測的從詞表中生成某個詞的機率。
3.2 三層層次化編碼器
為了改進現有模型對錶格的建模，我們提出三層層次化編碼器。
（1）第一層：分別採用自注意力機制表示一個三元組資料與和它同行資料之間的關係、同列資料之間的關係以及和歷史資料之間的關係。由於歷史資料具有時序性，所以在對歷史資料建模的時候，我們加入了Position Embedding。
以行維度的表示為例：
（2）第二層：我們採用了一個融合門機制將三元組來自行、列和時間維度的資訊進行融合。首先透過多層感知器得到三元組來自行、列和時間維度的總體表示。然後透過對比，計算針對這個三元組，它的行、列以及時間維度表示的重要性，最後透過加權求和得到最終的三元組表示。用新得到的
替換基線模型中的
。以列維度的重要性為例：
（3）第三層：我們透過三元組表示的池化以及門機制[5]，得到表格中每一行（球隊/球員）的表示。
3.3 雙注意力機制
由於層次化解碼器提供了每一行（球隊/球員）的表示，以及每一個三元組資料的表示，解碼階段，首先透過注意力機制從每一行（球隊/球員）的表示中找到重要的資訊，然後對每一行對應的資料透過注意力機制找到重要的具體三元組資訊進行生成。
圖2 融合行、列和時間維度資訊的三層層次化編碼器框架圖
4. 實驗
4.1 資料集
我們採用公開的ROTOWIRE資料集進行訓練和測試，訓練、開發和測試集的劃分依照提出這個資料集的論文[2]進行。
4.2 評價指標
除了文字生成任務上常用的基於N-Gram匹配計算的BLEU值以外，Wiseman[2]等人提出透過訓練一個資訊抽取模型，從生成的文字中抽取三元組，和表格以及參考文字進行對比進行評價，得到RG、CS和CO三類指標。其中，RG透過對比生成的文字中抽取三元組和表格中的資訊判斷生成的內容是否正確。CS透過對比生成的文字中抽取三元組和參考文字中抽取三元組，判斷生成的內容包含重要資訊的能力，CO也是透過對比生成文字中抽取的三元組和參考文字中抽取的三元組判斷生成的文字對於資訊的排列是否自然。
人工評價部分，我們做了兩組實驗。第一組實驗我們要求評價者統計各個句子裡包含的正確的三元組數量（#Sup），以及和表格中的資訊衝突的三元組數量（#Cont）。第二組實驗我們每次給評價者兩個不同模型生成的賽事報導，要求他們從語法（Gram）,連貫性（Coher）和簡明性（Conc）三個角度判斷哪個結果最佳。圖4中報告的數值是各個模型被判定更好的比例減去被判定較差的比例。
4.3 自動化評價結果
我們對比了基線模型、基於模版生成的結果、截止投稿時該資料集上的SOTA模型，一系列層次化編碼模型，並且進行了消融實驗，分析我們提出的模型中各個部件的影響，發現：
（1）在開發集和測試集上我們的模型在RG的準確率、CS的F1值、CO和BLEU上超越了之前的模型。
（2）和層次化編碼模型的對比體現了引入列和時間維度的資訊有助於提升模型的效果。
（3）消融實驗表明各個元件都對最終提升模型性有幫助。
圖3 自動化評價結果
4.4 人工評價結果
我們對比了我們的模型和基線模型（CC）、SOTA NCP+CC模型、基於模版生成的結果和參考文字生成的結果，發現：
（1）相比於另外兩個基於神經網路的模型，我們的模型生成更少的錯誤資訊。
（2）相比於另外兩個基於神經網路的模型，我們的模型在語法（Gram）,連貫性（Coher）和簡明性（Conc）上表現更好。
圖4 人工評價結果
4.5 生成案例
圖5生成的案例體現了我們模型生成的文字中的一些優勢：
（1） 正確的選出了圖1所示基線模型沒能選出的重要的球員Al Jefferson，這需要模型正確理解不同球員之間表現水平的關係（列維度的資訊）。
（2） 正確提到了Al Jefferson拿到了“兩雙”，這需要模型捕捉這個球員各項資料之間的關係（行維度的資訊）。
（3） 正確提到這是他三場比賽中第二次拿到這樣的資料，這需要模型建模歷史資料（時間維度的資訊）。
圖5 生成案例
5. 結論
本文中，我們提出了一個有效的層次化編碼器模型，同時建模表格的行、列和時間維度的資訊，並且在解碼時首先選擇重要的球隊/球員（行），然後再選擇重要的資料。自動化評價指標和人工評價結果均表明我們的模型相比之前的模型在生成正確文字、內容選擇能力上得到提升。
參考文獻
[1]Albert Gatt, Francois Portet, EhudReiter, James Hunter, Saad Mahamood, Wendy Moncur, and Somayajulu Sripada.2009. From Data to Text in the Neonatal Intensive Care Unit: Using NLGTechnology for Decision Support and Information Management. AI Communications, 22:153-186.
[2]Sam Wiseman, Stuart Shieber, andAlexander Rush. 2017. Challenges in data-to-document generation. In Proceedingsof the 2017 Conference on Empirical Methods in Natural Language Processing,pages 2253–2263. ACL.
[3]Liunian Li and Xiaojun Wan. 2018. Pointprecisely: Towards ensuring the precision of data in generated texts usingdelayed copy mechanism. In Proceedings of the 27th International Conference onComputational Linguistics, pages 1044–1055. ACL.
[4]Feng Nie, Jinpeng Wang, Jin-Ge Yao,Rong Pan, and Chin-Yew Lin. 2018. Operation-guided neural networks for highfidelity data-to-text generation. In Proceedings of the 2018 Conference onEmpirical Methods in Natural Language Processing, pages 3879–3889. ACL.
[5]Ratish Puduppully, Li Dong, and MirellaLapata. 2019. Data-to-text generation with content selection and planning. InProceedings of the AAAI Conference on Artificial Intelligence, pages 6908–6915.Association for the Advancement of Artificial Intelligence.
[6]Ratish Puduppully, Li Dong, and MirellaLapata. 2019. Data-to-text Generation with Entity Modeling. In Proceedings ofthe 57th Annual Meeting of the Association for Computational Linguistics, pages2023-2035. ACL.
[7]Hayate Iso, Yui Uehara, TatsuyaIshigaki, Hiroshi Noji, Eiji Aramaki, Ichiro Kobayashi, Yusuke Miyao, NaoakiOkazaki, and Hiroya Takamura. 2019. Learning to Select, Track, and Generate forData-to-Text. In Proceedings of the 57th Annual Meeting of the Association forComputational Linguistics, pages 2102-2113. ACL.
[8]Thang Luong, Hieu Pham, and ChristopherD. Manning. 2015. Effective approaches to attention-based neural machinetranslation. In Proceedings of the 2015 Conference on Empirical Methods inNatural Language Processing, pages 1412–1421. ACL.