知物由學 | 一文讀懂網際網路內容稽核機制

“知物由學”是網易雲易盾打造的一個品牌欄目，詞語出自漢·王充《論衡·實知》。人，能力有高下之分，學習才知道事物的道理，而後才有智慧，不去求問就不會知道。“知物由學”希望通過一篇篇技術乾貨、趨勢解讀、人物思考和沉澱給你帶來收穫的同時，也希望開啟你的眼界，成就不一樣的你。當然，如果你有不錯的認知或分享，也歡迎通過郵件（zhangyong02@corp.netease.com）投稿。

以下為本期正文：

由於Facebook，Twitter和YouTube都在不同程度上對內容稽核團隊的人力資源進行了配置，這裡介紹幾點這些系統中通常是如何工作的。其中大部分是基於我在YouTube工作時的經驗，但我發現同行公司也以類似的方式這麼做。請注意，我將重點關注使用者生成/共享內容，而不是廣告策略。廣告通常擁有自己的獨立標準。這裡更多的是關於一般使用者建立，上傳和釋出的文字，影像和視訊/音訊的稽核策略。

內容稽核意味著什麼？

內容稽核或內容審查是應用於使用者在社交平臺上上傳、釋出或共享的內容（文字，圖片，音訊，視訊）的一個術語。它與廣告或社論截然不同（例如，如果某個組織記憶體在這樣的功能，則可以在網站上查詢特色/促銷內容），這些內容通常在審查內容時具有單獨的團隊和指導方針。

大多數內容稽核團隊的目標是執行產品的社群標準或服務條款、標準中規定了平臺上可以共享的內容以及無法共享的內容。正如你可能猜到的，所有這些都有黑、白和灰色的區域，這意味著對於人工稽核人員有指導、培訓和升級策略。

人什麼時候參與到這個過程？

如下兩點稽核對於人工來說是少有的（也是不可取的）：（a）審查網站上分享的所有內容。（b）審查內容預釋出，即當使用者試圖分享某些內容時，在網站/應用程式上線之前，需要人為“批准”。

相反，公司依靠內容審查演算法來完成很多繁重的工作。這些演算法試圖“理解”正在建立和共享的內容。其中包括：是誰上傳的（帳戶歷史記錄或缺少相關資訊），是從哪裡上傳的，內容本身和其它後設資料。由於內容存在於產品中，因此會獲得更多資料—誰在使用它，是否被使用者標記，是否由使用者共享等等。

這些更豐富的訊號將影響演算法，繼續調整其結論，即一段內容是否適合該網站。這些系統大多數都有使用者標記工具，該因素嚴重影響了內容是否應該提升審查力度的演算法評分。

大體而言，可以在任意給定時間將一段內容視為綠色，黃色或紅色。綠色意味著演算法認為內容在網站上存在是好的。黃色意味著內容是存疑的。紅色，紅色意味著它不應該在網站上。它們的界限都是不固定和不完美的。一直有誤報的情況。

要想將內容策略的有效性考慮為正好，技術的質量將是不完備的。這實際上是一個由人為決定並在程式碼層面強制執行的策略問題。管理層需要設定綠色，黃色和紅色之間的分界線。他們確定一個未知的新使用者是否應該預設為可信的。他們總結了如何優先審查綠色，黃色或紅色資料儲存容器中的專案。這就是人工主要參與的地方…

什麼是審查佇列？

人工審查幫助演算法建立訓練集，但其主要功能是不斷地為演算法吐出的內容審查佇列進行人員配置。佇列通常分為不同的容器，根據審查的優先順序（例如，這是緊急的，7*24小時實時審查）以及審查人員的特點—受過不同型別的內容審查培訓，會說不同的語言等等。這是一個內建大量邏輯的類似工廠的複雜系統。

進入平臺的內容數量以及觸發人工審查所需的演算法閾值是影響進入審查佇列的內容數量的因素。人工審查人員的數量，他們的培訓/素質，以及他們工作的工具的有效性都會影響內容審查的速度。

因此，當聽說“10,000人的審查人員被新增”時，它可能是（a）更多內容要被審查[閾值正被修改以將更多內容放入審查佇列中）和/或（b）審查佇列內容需要審查的更快[相同的內容，但更多的審查人員]。

這些公司真的關心這個事情嗎？

坦白地說答案是肯定的，但是……

內容操作通常是一個成本中心，而不是收入中心，因此它的管理就有成本風險以及可能會缺乏資源。

內容操作有時可能被認為是產品經理，設計師和工程師的“初學者”工作，因此它讓較年輕的，缺少影響力的人員在1-2年後習慣性地轉向新專案。

在高層領導和團隊中缺乏多樣性和錯位激勵，可能會導致對平臺上“糟糕”內容的真實成本（對品牌，對使用者體驗）的低估。

為什麼赤裸裸的色情內容是最容易審查的...但是為什麼“性”內容審查更難？

因為比起Twitter，Facebook和YouTube，有很多更好的地方可以分享色情內容。而且演算法實際上非常擅長檢測裸體。然而，為滿足性需求而製作的內容並不明確涉及裸體，這對於平臺而言審查要困難得多。

管理層應考慮什麼是我的“最佳實踐”？

將其作為儀表盤級別的衡量標準，如果CEO和她的團隊在使用內容、收入等方面關注內容安全指標，那將證明它很重要，並且會更適當地配備人員。

用#s而不是百分比來說話，這些大平臺總是說“好的，我們的內容99％是安全的”，但他們真正的意思是“1％的點仍然是一個真正的大資料。”最小化的框架真的是公關的事情—背離了認真對待這個事情的真正目標。

致力於防止重複侵權並從最初的侵權行為中快速恢復，沒有人期望這些系統是完美的，我認為信任使用者直到他們證明自己是不可信的通常才是好的。在他們不可信之後，用力打擊。Twitter在這個問題上感覺特別糟糕—在任意給定的時間，系統上有很多灰色區域的使用者。

管理層應該把時間花在審查佇列上，當我在YouTube主導產品時，試圖習慣性地花時間在內容審查佇列上，因為我不想讓自己脫離現實。我看到了許多令人討厭的東西，但也一直讚賞我們的稽核團隊和使用者所經歷的一切。

響應時間是新的監管框架—，我想知道政府是否有責任對內容進行監管，但對內容標記的響應時間進行調整。這裡有很多複雜的事情，規則可以建立激勵不標記的內容，但這是我所不知道的一個領域。

本文為網易雲易盾組織翻譯，來源：hterterwalk，譯者：無阻我飛揚。

相關閱讀：

知物由學第一期：知物由學 | AI時代，那些黑客正在如何打磨他們的“利器”？（一）

知物由學第二期：知物由學 | AI時代，那些黑客正在如何打磨他們的“利器”？（二）