使用者原創內容是電商和社群的生命線，但它在非法分子手中也會變成一個強大的作案工具。內容審查人員必須迅速響應，時刻嚴防侮辱性內容的傳播。如果不這樣做的話，這些內容就可能會對公司的品牌和影響力造成非常嚴重的損害。
內容安全架構師Kevin Lee和Jeff Sakasegawa在這方面有著相當豐富的經驗，他們分享了有關內容審查方面的實踐。
什麼是內容審查？
Kevin Lee：內容審查就是審查你的平臺上使用者生成的任何內容（UGC）。如果是Yelp，那就意味著審查使用者的評分和評論；如果是Facebook，則意味著要審查使用者可能在網站上釋出的任何內容。
哪些型別的網站、電商或者社群可能會得益於內容審查人員？
Jeff Sakasegawa：所有的UGC網站！任何UGC網站都必須時刻對使用者體驗保持一定的敏感度，電商和社群透過內容審查來培養使用者的信任度，併為使用者之間的交流建立一個安全的空間。
有哪些內容審查是主動的，有哪些是被動的？
Kevin Lee：大多數公司都缺少相關的基礎設施和工具來主動稽核侮辱性內容。這是因為這些公司在搭建UGC平臺時不會在內容審查系統上投入太大的成本。
像Facebook、Yelp和Google這樣的大公司採取了兩種更主動的方式：第一種方法是使用機器學習，並讓使用者能夠標記有問題的內容。第二種方法仍然是被動的，因為它依賴於使用者上報侮辱性內容，但它更積極主動，因為內容管理系統可以利用上報的內容在未來剔除類似的內容。
反欺詐和風險團隊如何將內容審查納入到公司戰略中，以提升公司的品牌和安全性？
Kevin Lee：允許UGC的公司必須要在產品級上具備內容審查的能力：在技術路線圖中增加審查功能，或者允許使用者標記不適當的內容。
例如，Facebook在曾經很長的一段時間內都不允許使用者標記有問題的內容，他們的使用者是一個巨大但尚未被開發的內容審查源。事實上，內容審查不一定來自內部團隊，它也可以是外部團隊。如果社群中的任何人被允許釋出內容，那麼任何人都應該能夠上報不適當的內容。
Jeff Sakasegawa：如果團隊在一開始的時候沒有把內容審查考慮進去，那麼到後面就一定會遇到各種問題。從你業務發展的初期就考慮內容審查，並思考如何使用機器學習系統進行自動化審查，這是非常重要。如果你提前將內容審查納入到公司戰略中，那你就可以更好地擴大業務運營。
內容審查人員必須小心謹慎：要清除徹底，但又不能誤殺。在遇到有爭議的內容時，內容審查人員在保證工作效率的基礎上是如何處理的呢？
Jeff Sakasegawa：如果你跟內容審查人員交流過，那麼你可能會發現，要清楚徹底，又不能誤殺是非常困難的！這個問題在很大程度上來自於審查人員本身存在的傾向。假設某人在網站上釋出了一個提問的帖子。現在許多網站都可以利用第三方資訊來了解這個使用者的很多資訊，這些資訊可能表明該使用者是一個十分令人討厭的人。一旦內容審查人員知道了使用者的背景，他們就可能會去推斷使用者的意圖，讓自己帶著有色眼鏡去審查這個使用者的帖子。
對於內容審查人員來說，根據制定的政策和程式進行判斷可能非常困難。他們必須專注於服務條款，並將他們對使用者的主觀感受與現有的規則區分開來。
內容審查中可能出現哪些灰色案例？
Kevin Lee：假設你的平臺不允許發表仇恨性言論。問題是仇恨性言論有幾種不同的判斷標準。在推特上，你不能針對某個特定的種族或宗教。但這個問題很快就會變得模糊起來：雖然你可能可以說“我討厭美國人”，但你是否可以說“我討厭白人”呢？恐怕是不行的。
Jeff Sakasegawa：一般來說，公司不允許使用者對受保護的東西發表惡意觀點。但是，受保護的東西可能因公司而異。大多數企業透過在表達觀點和威脅行動之間畫一條線來處理灰色地帶。例如，“我討厭凱文的髮型”這句話與“每一個有著像凱文一樣髮型的人都欠揍”有著很大的區別。儘管兩句話都對他的髮型持否定態度，但第二句話崇尚暴力。
但是，許多線上社群都有自己的暗語。例如，Twitter不允許你對猶太人做出仇恨性評論，但社群可以開始使用暗語來指代猶太人，以繞過這些政策。
線上社群或電商網站上，內容審查人員該如何制定明確的指導政策來確定哪些內容可以接受，哪些不可接受？
Kevin Lee：制定指導政策最簡單和最有效的方法是提出哪些內容可以接受，哪些不可以接受的具體例子。雖然理論性的指導政策很重要，但這些政策的實際應用同樣至關重要。當你需要擴充內容審查人員和訓練模型的時候，這一點尤其重要。
手動內容審查有哪些限制和缺點？
Kevin Lee：有三個主要的限制，分別是規模、靈活性和響應時間。規模：隨著平臺的發展，僱用和培訓人員的速度很難跟上平臺發展的步伐。靈活性：舉個例子，如果你想把業務擴充到保加利亞，那麼你必須快速找到可以用保加利亞語審查內容的人員。響應時間：網站上的內容可以在一天中的任何時間釋出，這意味著審查人員必須二十四小時不間斷地工作，儘管他們已經很疲勞了。機器學習可以解決這三個限制。
Jeff Sakasegawa：其中，規模是最重要的。侮辱性的內容是活的，它可以被截圖並共享，甚至可能會進入新聞界，這會嚴重損害公司的形象和利潤。即使你擁有一個強大的內容審查團隊，他們快速響應這些內容的能力也是有限的，他們也很難無偏見的進行審查。這正是機器學習充分發揮作用的時候，它沒有這樣那樣的限制，它會隨著業務的發展而發展。
本文由網易雲易盾組織翻譯，譯者：雁驚寒