最佳實踐丨雲開發CloudBase內容稽核能力

CloudBase雲開發發表於2022-01-06

本文介紹雲開發內容稽核的使用場景,並演示如何使用內容稽核功能。

*本文主要介紹騰訊云云開發側的功能應用,微信雲開發側使用指南參見:

https://developers.weixin.qq....

內容稽核介紹

什麼是內容稽核?

內容稽核是基於影像、文字、音視訊的檢測技術,可自動檢測低俗、違法違規、色情、廣告、圖文違規等內容,對使用者上傳的圖片、文字、音視訊進行內容稽核,以滿足上傳要求,幫助客戶降低業務違規風險。

常見的內容稽核方式有:

  • 影像內容稽核

影像內容稽核,利用深度神經網路模型對圖片內容進行檢測,準確識別影像中的敏感違法元素、違規內容等,幫助業務規避違規風險。

  • 文字內容稽核

文字內容稽核,採用人工智慧文字檢測技術有效識別違法違規、廣告、辱罵、違禁品和灌水文字內容,提供定製化的文字敏感內容稽核方案。

圖片

雲開發內容稽核介紹

雲開發內容稽核為託管在雲開發內的內容(雲資料庫裡儲存的資料、雲端儲存上儲存的檔案)提供快速的內容稽核服務。可快速設定內容稽核規則(稽核範圍、稽核場景、違規後自動封禁處理),資料庫文件變更後非同步稽核,文字內容秒級完成稽核與處理。

圖片

注意:當前僅支援雲資料庫內的文件進行內容稽核。

內容稽核的常見場景

在當下的網際網路環境下,內容稽核可以說是無處不在,以一個論壇網站為例:小到一個使用者的使用者名稱註冊內容稽核、使用者在評論區或留言區的評論內容稽核,大到使用者發帖的整個帖子的內容稽核。

凡是能讓使用者自由輸入內容的地方都需要對其內容進行稽核,從而防止論壇被大量不良資訊所圍繞,造成網站伺服器資源被浪費,嚴重地影響了網站形象,更有甚者網站站長可能會承擔相關法律責任。

使用雲開發內容稽核

前提條件

已有一個可用的 按量計費環境。

https://cloud.tencent.com/doc...

操作步驟

單擊一個按量計費環境,進入環境 > 內容稽核 > 安全配置頁面,在安全配置頁可以看到有兩大部分:稽核規則和稽核詳情。

圖片

步驟1:建立稽核規則

在進行內容稽核之前,需要先建立稽核規則,即制定對哪些內容進行什麼樣的規則進行稽核。

圖片

  1. 單擊新建,開始建立稽核規則。

圖片

  1. 選擇對雲資料庫中哪個集合進行內容稽核,例如需要對使用者評論內容進行稽核,則選擇儲存使用者評論的集合,如下:

圖片

說明:該下拉框中所列出的集合即是資料庫中所有的集合,如果當前下拉框中沒有集合,則您需要在左側導航欄資料庫中先建立一個集合。
  1. 選擇完集合後,還需填寫對該集合下的哪個欄位進行稽核,例如需要對使用者評論內容進行稽核,則填寫評論集合裡的評論內容欄位,如下:

圖片

  1. 擬定一個遮蔽文案,當出現違規內容時,用於提示使用者的資訊,預設為:該內容已違規暫不顯示。如下:

圖片

  1. 開啟對違規內容進行自動遮蔽開關。開啟後,系統如果檢測到某條內容違規,則會對內容進行自動遮蔽,並以4中擬定的自定義遮蔽文案進行重寫。如果不開啟,則只對內容進行稽核打分,不自動重寫遮蔽。一般建議開啟,如下:

圖片

  1. 開啟後,需要選擇稽核場景,即對什麼型別的違規內容進行稽核,如謾罵、廣告、違法、色情等。一般建議全選,如下:

圖片

說明:違規型別後的稽核分數是指:當系統對內容進行稽核時,會對被稽核的內容進行打分,分數越高表示內容違規程度越高,當打出的分數大於所填寫的稽核分數時,系統將會對內容進行自動遮蔽。

稽核分數可理解為對當前違規型別的“容忍度”,分數越低表示容忍度越低,例如對違法資訊零容忍,本著“寧可錯殺一千,也不放過一個”的原則,即可將違法型別的分數填寫的低一點(最低60分),這樣系統一旦發現內容疑似屬於違法資訊,立即將其遮蔽。

  1. 填寫完稽核場景後,最後點選勾選條款。

圖片

單擊確定。即可建立一條新的稽核規則。

圖片

步驟2:測試稽核規則

稽核規則建立完畢後,即可測試下建立的稽核規則是否生效。

  1. 單擊左側導航欄中的資料庫頁,進入到上述所選的集合中,單擊新增文件,先新增一條正常的內容:

圖片

如下圖,對於沒有違規的內容是會正常插入到集合中的。

圖片

  1. 再次新增文件,並嘗試故意輸入一些違規內容:

圖片

如下圖,插入的文件欄位包含違規內容,已經被自動遮蔽重寫了。

圖片

以上說明建立的稽核規則已生效。

步驟3:檢視稽核詳情

  1. 單擊左側導航欄中的內容稽核頁後,再單擊頂部的稽核詳情,能看到稽核平臺的稽核內容以及稽核結果,如下:

圖片

  1. 在測試稽核規則時,第二次故意輸入的違規內容已成功被稽核系統監測到,並準確地識別出違規型別以及對內容的稽核評分,如下:

圖片

  1. 在某些特定的需求場景下,如果發現某條在特定場景下屬於是正常內容,但被稽核系統誤判為違規內容時:

可對該條違規記錄進行回滾

圖片

回滾後該條內容在稽核記錄裡的處理狀態也變成了已回滾, 並且在資料庫中該條記錄也可正常顯示。

圖片

*本文主要介紹騰訊云云開發側的功能應用,微信雲開發側的使用指南參見:

https://developers.weixin.qq....

相關文章