論文作者 | 塗存超、劉晗、劉知遠、孫茂松（清華大學&東北大學）
特約記者 | 張詩悅（北京郵電大學）
每天人們都在和形形色色的社交網站打交道，微信，微博，知乎等等。在不同的社交網站上，人們通過加好友，關注，互粉等功能建立了聯絡，形成了一張張巨大的社交網路。而在這些聯絡背後，往往蘊含著不同的含義。例如，很多原因可能使得我們成為社交網路上的好友：親人關係，朋友關係，同事關係，或者僅僅是有著相同的興趣愛好。如同在生活中一樣，在社交網路上，我們也扮演著不同的角色，與他人維繫著不同的關係。那麼，機器如何能分辨出扮演不同角色的你？又如何知道你們之間不同的關係呢？今天，ACL2017 上清華大學塗存超博士等人的工作將為你一一解惑。
首先，介紹“網路表示學習（Network Embedding）”的概念。網路資料形式可以自然地表達物體和物體間的聯絡。“網路表示學習”目的是將網路中的節點用一個低維的實值向量進行表示，每個節點的表示向量蘊含了該節點的網路結構等資訊。傳統的網路表示學習往往將網路中的節點表示成一個固定不變的向量。然而，真實世界中的網路節點在與其他節點進行互動時，往往會展現出不同方面的特點。例如，一個研究者與不同的研究者發生合作關係往往因為不同的研究主題；社交媒體中的使用者會因為不同的原因與其他使用者建立聯絡。如圖 1 所示，中間的學者在與右邊作者發表論文時，很顯然會發表 machine translation 相關的工作，而在和左邊作者合作時則會是 syntactic parsing 相關的論文。考慮到網路節點的這種動態性，僅僅用一個固定的向量作為節點的表示，很顯然是不合適的。此外，這些方法也不能對節點之間的關係進行有效的建模和解釋。因此，如何對節點根據其鄰居的不同學習動態的表示，以及如何對節點之間的關係進行解釋，是網路表示學習面臨的挑戰。
▲ 圖 1：同一使用者對於不同鄰居展現出不同角色
因此，在塗博士等人的工作中提出了一種“上下文敏感的網路表示學習模型（Context-Aware Network Embedding）”，如圖 2 所示。該模型希望藉助網路節點上額外的文字資訊對網路節點的表示和節點之間的關係進行動態地建模。模型假設每個節點的表示向量由“結構表示向量(Vs)”和“文字表示向量(Vt)”兩部分構成。其中，“ 文字表示向量(Vt)”是由節點的文字資訊通過卷積神經網路生成的。圖 2 中 u, v 兩個節點首先分別通過卷積神經網路生成了 P, Q 兩個文字表示矩陣。而後，為了根據 u, v 節點之間的關係進行動態地表示學習， 採用了“互相注意力機制”，生成了 ap, aq 兩個注意力向量，分別作用於 P, Q 得到最終兩節點的文字表示向量 Ut(v), Vt(u)。
▲ 圖 2：利用互相注意力機制生成節點的文字表示向量
因為節點的文字表示向量的生成過程是跟鄰居相關的，因此將其稱之為“上下文敏感的表示向量”。同時，注意力的結果能夠反映出節點對於鄰居節點文字資訊的關注點，從而能夠對關係進行解釋。如圖 3 所示，通過上下文敏感的表示學習，節點A和不同的節點 B, C 之間呈現出不同的“注意力”，因此也解釋了 AB, AC 之間不同的關係。同時，該論文通過實驗驗證了“上下文敏感的表示向量”的有效性，在三個網路資料集上的連結預測任務中均取得了最好的效果，並在節點分類任務上與前人工作可比。
▲ 圖 3：利用互相注意力結果對節點之間關係進行解釋
提及這個工作的應用場景，作者說“可以運用到許多社交網路分析任務中，例如網路節點分類、聚類，連結預測，社群發現等等。在真實的社交網路中，一般會對應著使用者畫像、好友推薦等任務。”關於這個工作現在的不足之處和未來的方向，作者表示“這篇論文通過 mutual attention 的結果對節點之間的關係進行解釋，這種關係仍然是一種隱式的關係，怎麼樣能夠對顯示的關係的做出解釋，比如說家人、朋友、同事、師生等，是我們之後關注的問題。” 讓我們共同期待他們的未來工作！
歡迎點選檢視論文原文：
CANE: Context-Aware Network Embedding for Relation Modeling關於中國中文資訊學會青工委
中國中文資訊學會青年工作委員會是中國中文資訊學會的下屬學術組織，專門面向全國中文資訊處理領域的青年學者和學生開展工作。
關於PaperWeekly
PaperWeekly是一個推薦、解讀、討論、報導人工智慧前沿論文成果的學術平臺。如果你研究或從事AI領域，歡迎在公眾號後臺點選「交流群」，小助手將把你帶入PaperWeekly的交流群裡。
微信公眾號：PaperWeekly
新浪微博：@PaperWeekly