哈工大提出創新迭代推理框架 DPE-MNER ：充分發揮多模態表示潛力

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

• 論文連結：https://aclanthology.org/2024.lrec-main.403.pdf

• 分解策略鼓勵我們將多模態表示的融合拆分為更小、更易於處理的單元，這些單元能夠在不同的粒度級別上探索多模態互動。
• 優先排序策略建議根據“由易到難”和“由粗到細”的順序來整合多模態資訊；這種漸進式的整合有助於MNER預測的逐步最佳化。這使得模型能夠逐步將注意力從簡單但粗糙的資訊轉移到複雜但精確的細節上。
• 不相關性消除策略啟發我們顯式地篩選並排除不同多模態表示中的無關資訊；這可以消除那些可能影響MNER效能的無關資訊。

研究團隊沿用擴散模型將物體識別，視覺對齊以及文字實體抽取建模為迭代的去噪過程的方式，同樣使用了擴散模型將多模態實體抽取建模為迭代過程。模型首先隨機初始化一系列的實體區間，基於一個預測網路編碼多模態特徵來在去噪過程中迭代地去噪得到文字中的正確實體區間。

如圖所示，研究團隊共獲取了文字中的三種粒度的表示，圖片中的兩種粒度兩種難度(他們認為對齊的表示是簡單的表示，不對齊的是困難的表示)的表示。該團隊的預測網路AMRN包含一個編碼網路(DMMF)以及解碼網路(MER)。預測網路的設計是基於前面所提到的三種策略。

如圖所示，編碼網路是一個層次化的融合網路，將多種多模態特徵融合分解為了一個層次化的過程。自底向上是首先將相同粒度不同難度的圖片特徵融合到每個粒度的文字特徵中$x_i$, 將不同粒度的圖片特徵$Y$融合到每個粒度的文字特徵，最後將不同粒度的圖片特徵Y和文字特徵X融合，得到最終的多模態表示。輸入到解碼網路中進行解碼，解碼網路得到新的區間，以及每個區間的實體型別。

底層融合。這一層研究團隊將某一個粒度的圖片特徵融合到某一個粒度的文字特徵中。根據擴散過程，研究團隊可以得到一個排程器，該排程器可以反映當前的迭代的狀態，也是引入優先順序的關鍵。研究團隊基於該排程器將不同難度的圖片特徵融合在一起得到與相關性rel，用於消除其中的無關資訊。最後結合該相關性使用了一個bottleneck transformer來進行與的融合，得到了某一粒度的多模態影像文字融合表示。

中層融合。這一層研究團隊將不同粒度的圖片特徵融合到某一個粒度的文字特徵中，即融合。這一層我們使用了排程器來對不同粒度的圖片特徵進行動態融合，得到了某一粒度的多模態文字表示。

頂層融合。這一層研究團隊將不同粒度的多模態文字表示融合到區間的表示中，得到總的多模態的文字表示，輸入到解碼網路中進行預測。