AI 演算法測試客觀指標的選擇策略

在進行演算法模型測試的時候，我們一般是需要通過一些客觀指標來反映模型演算法的好與壞，對於客觀指標的選擇來說一般也是有一定的規則，比如說：

對於不同的演算法型別，比如說分類模型或者回歸模型，對其進行評價一般是要選擇不同的指標；

對於一些演算法來說，一個指標是不夠的，通常需要多個指標聯合對其進行評價，或者在不同的測試集上同時進行評價才有意義。
比如說對於人臉識別演算法來說，通常是需要同時考慮演算法的FAR(False Accept Rate，表示把不同的人認為是同一個人的概率)和FRR(False Reject rate，表示把同一個人的多張圖片當成是不同人的概率)指標。我們的理想是要同時讓FAR和FRR都很低，但在實際情況中，比較難，這時候就需要做一個取捨。一般是在一個固定的FAR下，儘可能降低FRR的概率。
這裡再舉一個真人活體檢測的例子，對於活體檢測，是要將真人識別為真人，紙張、紙張等識別文假體。對於該演算法的評判就需要同時在真人測試集和攻擊測試集中同時得到低誤識率。但是在一般情況下，真人誤識率降低通常都會帶來攻擊誤識率的提升；反之亦然。因此就需要在不同的測試集上對演算法同時進行評價。

最後一點就是要結合實際的業務場景，選擇合適的評價指標。有可能現有的一些評價指標是不滿足的，這時候就需要自己進行一些設計或者閱讀一些相關的論文，設計一些具有業務特色的評價指標。