AI演算法測評(二)--演算法測試流程

PoJason發表於2022-02-08
AI演算法

根據演算法測試過程中遇到的一些問題和管理規範, 梳理出演算法測試工作需要關注的一些點:

編號　

名稱

描述資訊

備註

1

明確演算法測試需求
  • 明確測試目的
  • 明確測試需求, 確認測試需要的資料及場景
  • 明確演算法服務流程, 確認演算法輸入\輸出的資料, 並向開發人員提出相關資料的輸出要求
  • 確認時間節點與人力支援
  • 在需求評審階段確認
  • 若無評審, 需要跟相關人員進行確認
  • 演算法測試需求種類:　
  • 01.演算法測試種類
  • 注： 強烈建議事先對評審的專案的業務有所瞭解，對後續測試方案和資料採集有較大影響

2

編寫測試方案
  • 確認演算法測試主要場景和測試場景資訊
  • 確認各場景測試資料需求量
  • 確認演算法標籤標準
  • 確定演算法效能指標定義及計算公式
  • 演算法測試方案模板:
  • 演算法測試方案模板v1.0
  • 測試方案模板示例:
  • 演算法測試方案模板v1.0/示例--閱讀機二期/ASR演算法服務

3

測試資料方案
  • 確認資料採集場所
  • 確認資料採集裝置及能夠正常使用
  • 確認資料採集人員及進度安排
  • 資料檢查\清洗與歸類
  • 測試報告生成日期
  • 測試資料方案模板:
  • 測試資料方案模板v1.0
  • 測試資料方案示例: 測試資料方案模板v1.0/示例--閱讀機二期/ASR演算法測試資料

4

演算法測試
  • 確認演算法相關細節, 主要參考使用文件或與演算法人員溝通
  • 測試指令碼編寫
  • 測試指標統計及badcase樣例展示與儲存

 

5

形成測試報告
  • 得出測試結論, 與測試目的保持一致
  • 測試小結, 總結測試過程中發現的其他問題
  • badcase統計與展示
  • 測試報告模板:
  • AI演算法測試報告模板v1.1
  • 測試報告示例1:
  • 智慧識題演算法評測報告-v0.2.0

6

測試結果同步
  • badcase同步
  • 測試細節同步
  • 後續結果跟進

 

7

測試資料與測試報告管理
  • 對測試資料質量進行管理
  • 測試資料版本管理
  • 測試報告結果管理

 

相關文章