知物由學 | 使用者關係圖譜在內容安全領域的應用實踐

在內容安全領域，黑產使用者的行為、關係網都有鮮明的特點。本文講述了在強對抗背景下針對零使用者樣本和稀缺使用者資訊的難題，如何玩轉大資料和圖計算，捕獲黑產使用者在內容、行為、裝置等方面深層次的魯棒性特徵。我們拋開了內容層面繁雜的細節，從一個新的角度為保障內容安全和構建使用者風控體系提供了一種切實可行的技術路線。

01

使用者關係圖譜設計的背景

在虛擬網路中存在部分黑產使用者，這部分使用者多以色情或其他低俗內容為噱頭，在成功吸引使用者關注後，透過引流、分流等方式，將使用者拉入私人聊天空間或其他平臺，分步實施黃賭毒、詐騙、甚至槍支販賣等嚴重的犯罪行為，同時達到宣傳推廣獲利的目的。

當前工業界與學術界的許多組織推出了基於影像、文字、語音、影片等內容方面的檢測API以及解決方案，而本文則是介紹了基於使用者層面上的解決方法。為什麼需要在這一層面解決內容安全問題呢？原因有二：

其一，惡意賬號是網路黑產的源頭，大多數違規內容是非正常使用者釋出的，在賬號層面對網路黑產使用者進行挖掘可以對黑產的源頭進行精準地打擊，從賬號、IP、裝置等源頭控制內容違規風險。

其二，賬號行為對抗門檻高，使用者的行為習慣以及關係網路是很難在短期內作出改變的，而針對單一的黑產內容可以透過多種方式避免被現有的演算法所感知，僅內容檢測手段極易落入疲於應對的局面。

舉個例子，黑灰產透過圖片扭曲、特徵掩蓋、牛皮癬干擾等簡單的對抗手段即可成為影像檢測的疑難雜症，增加演算法成本。文字方面，同音詞、象形詞、拆字、干擾詞等形式帶來的隱晦有害內容也一直屢禁不止，如附骨之疽一般，難以根治。

02

使用者關係圖譜技術方案

考慮到內容釋出場景中存在大量的文字、影像、行為、裝置等多模態資料，每個模態的資料中都包含大量的資訊，且不同模態資料之間存在一定的關聯性，融合不同模態資料的特徵集並聯合學習潛在的共享資訊，有助於解決單模態資料存在的資訊不完整性問題。

為了應對黑產行為的對抗性，我們從關聯關係的角度入手，以賬號為主線，融合文字、行為、裝置等多模態資料，從內容相似性、行為協同性、裝置聚集性等方面刻畫黑產行為背後的魯棒性特徵，構建以使用者為節點的關係圖譜，一方面利用社群發現演算法，找到了儘可能多的高質量黑產使用者樣本，另一方面結合 Graph Embedding 演算法學習使用者的關係向量，在少量標籤資訊監督的情況下，鑑別使用者是否有內容違規風險。我們設計的內容安全使用者風控技術方案如圖1所示。

由圖1可見，圖計算技術基本貫穿了整個技術方案的主線。這是因為，圖具備天然的優勢，比如它可以描述黑產團伙作案的聚集性和關聯性，與黑產作案特點相符合；圖特徵對新的攻擊方式對抗性較高，黑產難以察覺，因此具有很強的魯棒性。

圖1 | 內容安全使用者風控技術方案

2.1 使用者關係網構建

關係的構建包括顯式和隱式兩類。

顯式關係，比如使用者間的好友、互動、IM 往來等社交關係，這一類資料囿於客戶對於使用者隱私的保護，在內容安全 SaaS 服務中一般不大可能獲得，因此可用的顯式關係僅侷限於以 IP 和裝置為橋樑的賬號資源共用關係。

隱式關係是透過間接關聯得到的關係，比如透過某個維度資訊使用某種相似度計算得到的使用者相關性。此類關係在使用者關係圖譜構建中佔主導，這主要是從對抗性的角度來考慮，相比 IP 可變換、裝置可篡改，黑產使用者之間潛在的隱式關聯是無法掩飾和偽造的。

2.1.1 內容相似關係

在內容釋出環節，黑產往往使用自動化工具，操縱多個平臺賬號，批次釋出同質違規內容，以此達到提高曝光量、惡意引流的目的。因此，內容相似性是建立使用者關係的最基礎特徵。

兩個使用者之間的內容相似性定義為：選取最近一段時間視窗內（e.g.近 N 小時）的內容釋出資料，使用者 A、B 釋出內容的集合分別構成文件 docA、docB。我們選用了基於 topK-NGram-TFIDF 的餘弦距離來度量 docA 和 docB 的相似性。

具體來說，首先對使用者文件生成字元級 NGram 集合，同時計算對應 TFIDF 權重，並從中擷取 topK 的 NGram 關鍵短語塊，構成文件特徵向量。則使用者 A、B 關係邊的權重計算為 docA 向量和 docB 向量的餘弦相似度。

文字相似度是個很古老的話題了，計算方法非常多，之所以採取上述方法，是從內容安全的特殊場景來考慮的：

首先，黑產釋出的內容往往具有一定的文字變種、特殊符號等特點，故首先排除所有基於分詞的相似性演算法，因為如果出現分詞不當或無法識別的詞語，這種具有區分性的特徵就會丟失，因此這裡採用字元級 NGram；

其次，文字表徵需具備區域性敏感性，在文字噪音充斥的情況下（如圖2所示），穩定的文字表徵有助於發現變種文字之間的語法聯絡，因此這裡透過擷取 topK 來過濾長尾 NGram，節省計算開銷同時對噪聲詞魯棒；

然後，出於實時計算效能的考慮，採用文件粒度的特徵向量，而不是句子粒度，前者僅需一次相似度計算，而後者需兩兩比對，引發笛卡爾積計算。

圖2 | 廣告變種內容樣例

2.1.2 行為協同關係

兩個使用者之間的行為協同性是指：特定業務場景的代表性行為，表現出節奏和步調一致的規律，或在時間和頻次維度上體現同步性。比如論壇或APP社群上，使用者 A 和 B 的發帖行為集中於相同的某一時段，而其餘時段的行為量都非常稀疏；或者，最近一段時間視窗內，A 和 B 頻繁在幾近相同的時間間隔內進行了發帖行為，若非透過同一種自動化工具，正常使用者之間一般難以達到如此高度一致的步調。

基於以上觀察，我們從兩個維度來量化使用者之間的行為協同性。一是，以小時為單位，以周為時間視窗，統計使用者釋出內容的頻率，構成行為特徵vector1=247=168維的向量，過濾掉整個時間視窗內頻率分佈較為均勻且稠密的資料；二是，選取最近一段時間視窗內（e.g.近 N 小時）的最近K條內容釋出資料，計算相鄰行為時間之差並以分鐘為單位離散化後，按時序拼接構成行為Δt序列，作為行為特徵 vector2=K 維的向量。則使用者整體的行為特徵模式表示為 [vector1, vector2]，使用者之間的行為協同關係計算為該向量的餘弦相似度。

2.1.3 裝置/IP聚集性

黑產攻擊離不開IP、手機號、裝置、身份證資訊、銀行卡等資源的支援。為降低攻擊成本，黑產團伙通常會共用硬體裝置資源。從部分客戶的內容安全過檢日誌中，我們可以直接獲取到使用者釋出內容所使用的裝置和IP。如果使用者 A、B 出現共用裝置、IP 等資源，則認為使用者 A 和使用者 B 存在關聯關係。綜合一段時間視窗內的行為日誌，我們可以獲取到 A、B 使用過的資源列表，兩者求Jaccard相似度作為使用者之間的相關性權重。

2.2 黑產團伙挖掘

至此我們已經構建了三種以使用者為節點的關係網，在此之上分別應用 Fast-Unfolding、Graph-Cut、Fraudar 等社群發現演算法進行黑產團伙挖掘是風控業界的共識做法。在使用者風險畫像從0到1構建初期，我們也遵循該路線，取得了不錯的業務效果。圖3展示了某客戶產品線上真實的團伙案例，結合內容本身的有害性（e.g.廣告、色情、違禁）、內容跨使用者的協同性（e.g. 使用相似話術、同一聯絡方式或類似的變種模式）、以及個體使用者本身的行為批次性，可驗證這些子圖均為非法利益驅動下的內容違規團伙。為避開易盾內容安全系統的內容檢測模型、專家規則等，他們交替使用了同音詞、象形詞、拆字、干擾詞等形式，構成極其隱晦的引流資訊；而透過使用者行為、關係大資料分析手段，這批黑產使用者在活躍初期被識別出團夥協同後，會近實時寫入使用者標籤庫並生效線上檢測，則中後期不管再出現何種變種模式，都能成功攔截，大大降低了攻防壓力。

團伙挖掘成果一方面作為高精度使用者風控模型獨立應用於有害內容的線上攔截，另一方面是在業務發展初期作為一種無監督學習方式，可以在無標註樣本和無人工介入的前提下自主挖掘並沉澱一批高質量的黑產使用者樣本庫，為後續的模型進階打下樣本基礎。

圖3 | 某客戶產品上黑產團伙案例

（不同顏色代表不同的團伙子圖）

2.3 使用者關係向量學習

從業務安全的視角來看，內容違規風險只是全鏈路業務風控中的一環，多種風險型別往往是組合交織在一塊的。上述三類關係網能夠反映黑產行為的成團聚集的拓撲結構，而透過社群發現由於需結合人工經驗閾值只能挖掘出其中的冰山一角，即最典型最嚴重的部分，且不具備泛化能力。如何以點帶面牽引出更多的黑灰產賬號，在透過以上無監督學習方法積累了儘可能多的壞樣本之後，我們開始嘗試基於有監督學習的擴充套件方案。

為進一步擴大黑產使用者召回，全面推廣使用者風險畫像在內容安全業務線的應用，我們融合多模態資料，將內容相似性、行為協同性、裝置聚集性三網合一構成使用者相關性圖譜，並利用黑產團伙挖掘的產出作為種子節點，透過有監督學習的節點分類任務進行黑標籤擴散，識別具有相似圖譜結構特徵的黑產使用者。演算法流程如圖4所示。

圖4 | 基於使用者關係向量的風險標籤預測流程

這裡採用了 Node2Vec 圖嵌入演算法進行使用者關係網向量化表徵學習，使得使用者節點之間的潛在關係可以進一步透過節點向量的相似度計算獲得。Graph Embedding 的相關演算法非常多，採用 Node2Vec 主要是從兩方面因素考慮：

一方面，關係網路的“同質性”：距離相近節點的 Embedding 應儘量近似（比如上圖的節點 u 和節點 v1~v4），即已知黑產使用者的鄰居也是黑產的機率很大。

另一方面，關係網路的“同構性”：結構上相似的節點 Embedding 應儘量近似，比如上圖的節點 u 和節點 v6，雖然距離較遠，但都是各自區域性網路的中介節點，其 Embedding 表徵也應該近似，若使用者 x 和某已知黑產使用者處於同一種密集連線的區域性結構，則 x 為黑產的可能性也較大。

如圖4-Step1所示，在 Node2Vec 演算法中可以靈活調節隨機遊走 BFS 和 DFS 的傾向性來同時捕獲這兩種黑產關係特徵。我們甚至可以把偏向“同質性”的 Embedding 結果和偏向“同構性”的 Embedding 結果共同輸入後續的分類器，以保留使用者的不同圖特徵資訊。

圖5 | 使用者關係向量視覺化

（左圖為 T-SNE降維，右圖為UMAP降維）

圖5是透過 T-SNE、UMAP 等降維演算法將測試集樣本的 Embedding 向量投影到三維空間進行視覺化，從而直觀地驗證 Embedding 向量的效果。可以清晰地看到，黑產使用者和正常使用者具有明顯的分類平面。於是我們利用此向量，構建使用者風險識別分類任務來鑑別這兩類群體。Node2Vec 的同質性和同構性假設保障了在關係網中距離近鄰的、結構相似的使用者節點具有相同的或相近的標籤和預測機率分。

03

應用效果

目前使用者風險識別模型已在數十家客戶上獨立生效線上攔截，覆蓋了社交娛樂、直播、遊戲、APP社群、教育等行業線，以及廣告、色情、違禁等垃圾類別；在黑灰產活躍期，有害內容攔截量相比純內容檢測手段提升顯著，圖6為多個客戶產品上不同觀測日期的線上實際淨攔截量。客觀上講，該攔截量變化受兩方面因素影響，一是該產品受黑產入侵的嚴重程度，二是不同日期/時段的黑產使用者活躍度。從該攔截量曲線，可明顯看到黑產在內容違規風險上呈明顯的“弱--強--弱”週期性。

圖6 | 使用者風險識別模型(含團伙挖掘)線上淨攔截量

（不同顏色代表不同客戶產品）

04

結語

世界上沒有完美的犯罪，只要作案了，總會留下蛛絲馬跡。針對內容安全領域強對抗場景，本文拋開了內容層面繁雜的細節，站在更高的維度將“使用者在什麼時間透過什麼 IP 或裝置進行了內容釋出行為”抽象成一張關係網，並綜合應用團伙挖掘、多模態資料融合、Graph Embedding 使用者關係向量化等大資料+圖計算方法，從關係網中深度挖掘內容違規風險使用者背後隱藏的“蛛絲馬跡”，強化黑產攻防對抗能力，降低與黑產對抗的成本。

後續，我們將持續最佳化使用者相關性圖譜的構建工作，包括擴充套件到更多型別的資料來源和應用場景，以及全鏈路跨場景的關聯建模，全面掌控每個可能影響內容風控的業務環節，從全域性視角來提升內容違規使用者識別的準確率和召回率。