智慧質檢新實踐:「雙模」質檢

迴圈智慧發表於2020-03-05

原文來自:迴圈智慧(Recurrent AI)公眾號

智慧質檢新實踐:「雙模」質檢

上篇文章,我們介紹了新一代智慧質檢模式——基於 深度學習技術的“非正則”質檢落地應用效果:在很多質檢項上遠超“關鍵詞+正則”的傳統模式,能多找出 2~10 倍數量的目標通話,並且介紹了其工作原理與“關鍵詞+正則”的區別。

隨著 自然語言處理(NLP)領域技術的發展,以“非正則”質檢模式為主、“關鍵詞+正則”模式為輔的方案已成為未來發展趨勢。兩種模式將長期共存,因為它們各有其更擅長做的事情、更適配的場景

“關鍵詞+正則”模式的 2 種適配場景

在實際應用中,“關鍵詞+正則”作為一種基礎質檢模式,越來越難以滿足企業在質檢效果和效率上的精細化需求。但是,這種模式也有它的優勢:上手快。

當企業提出一個新的、此前從未用過的質檢項時,質檢項的標準尚未完全確定,因此可以用“關鍵詞+正則”模式先跑起來,快速進行探索和迭代。其後根據初步探索和迭代的結果,再判斷是否可以升級到基於 深度學習技術的“非正則”模式。這是適配“關鍵詞+正則”模式的第一種場景。

智慧質檢新實踐:「雙模」質檢

第二種場景:當一個質檢項命中的目標通話量比較少,只有幾百甚至幾十條,就無法產生足夠的“正例”給 機器學習模型進行訓練,只能繼續採用“關鍵詞+正則”模式。這是一種被動場景,也是比較常見的場景。

還有一種場景比較特殊:有些質檢項命中的目標通話比較多,原則上可以用來訓練 機器學習模型,但是因為“關鍵詞+正則”已經得出不錯的結果,既找得全(術語叫召回率高),又找得準(術語叫 準確率高),兩個值都超過 90%,那麼暫時就不迫切需要升級到“非正則”質檢模式了。比如很多企業需要的正向質檢項——“禮貌問候”,因為可以窮舉出大部分“禮貌問候”的用詞,用“關鍵詞+正則”模式就能得到雙 90%的結果。

不過,這種場景非常少見。大部分情況下,“關鍵詞+正則”質檢模式相比基於深度學習技術的“非正則”質檢模式,在找全率和找準率上有很大差距

“非正則”模式的 2 種適配場景

在實際應用中,基於 深度學習技術的“非正則”質檢模式(原理細節可參考上一篇文章),可以大幅提升質檢效率,更好地解決企業質檢任務的痛點:傳統“關鍵詞+正則”的模式,很難找得全和找得準目標通話,大大影響工作效率——如果找不全,就意味著會遺漏很多目標通話;如果找不準,就意味著在人工複檢時會浪費大量人力。

智慧質檢新實踐:「雙模」質檢

我們之前分享過實際對比的例子,貸後資產管理領域的基礎質檢項“恐嚇威脅”,採用基於 深度學習技術的“非正則”質檢模式找出的違規通話量是“關鍵詞+正則”的 9 倍。

考慮到在實際使用中,質檢項與命中的目標通話量之間的關係也存在“二八法則”——20%的質檢項貢獻了80%的質檢量,所以將質檢量大的少數質檢項升級到“非正則”模式,往往可以大幅提升整個質檢任務的找全率和找準率。這是“非正則”質檢模式的第一種適配場景,也是主要的適配場景。

第二種場景:某些質檢項,雖然從某一家企業的角度看,所命中的目標通話量不算大,但是這個質檢項是整個行業中較為成熟的、通用的質檢項,其他企業也都在用,那麼就可以採用基於 深度學習技術的“非正則”模式進行模型訓練。因為其他企業都可以比較快速的複用或者經過簡單調整之後複用,所以“非正則”模式帶來的收益就更高。比如,消費金融領域的正向質檢項“提示逾期天數”;客服領域的負向質檢項“暴露客戶隱私”等都是各自領域或行業通用的。

與“關鍵詞+正則”質檢模式相比,基於深度學習技術的“非正則”模式,不再需要既懂業務又懂正則的稀缺人才編寫規則和迭代規則,只需要普通人快速進行資料標註即可訓練演算法模型,而且通常能得到更好的效果。唯一顯著的缺陷就是,如果沒有數千條資料,很難訓練出效果好的模型。

“雙模”質檢,各司其職

當前階段,質檢項應該採取哪種模式,主要取決於該質檢項產生的目標通話量大小——通常數量大,才能快速標註資料、訓練出更好的演算法模型,採用“非正則”模式,否則仍需要繼續使用“關鍵詞+正則”模式。

智慧質檢新實踐:「雙模」質檢

其次也要考慮到質檢項的成熟度——太新的、標準尚不明確的質檢項,適合先用“關鍵詞+正則”模式迭代起來,再決定何時升級到基於 深度學習技術的“非正則”模式。

綜合來看,迴圈智慧在實踐中採用“雙模”方案,讓兩種模式各司其職,可以最大程度提升質檢效率。

相關文章