大家所在公司在測試領域都有哪些 AI 方面的實踐?有哪些已經產生了不錯的效果?對於 AI 提效/帶來新的保障手段信心如何?

Mr.CHEN發表於2024-10-17

先拋磚引玉下,我們團隊今年在 AI 方面主要的實踐方向、挑戰和基本成果如下:
1.功能用例生成
方案:基於產品需求和 prompt 生成功能用例(相關功能已整合到用例管理平臺)
困難:
1).需求本身的質量(一句話需求、碎片化需求)
2).PRD 文件形式各異(原型圖中標註、簡單的截圖示註等,需要 QA 人為轉換為文字才能生成用例)
效果:
1).相對通用的需求(業務領域相關性弱),用例生成質量尚可
2).整體收益看鑑於需求本身的質量、即便提供了業務知識庫的情況,效率和效果也談不上有提升

2.介面自動化用例生成
方案:基於介面文件 + 介面框架知識庫 +prompt 示例
效果:
1)介面文件規範性足夠好的話,仿寫的效果還是可以的
2)整體收益看,在有大量介面需要生成用例模版的背景下,效率上還是有所提升的
困難:
1.生成的用例資料部分仍需要手工替換(對於業務資料的依賴,這點 AI 似乎無能為力)

3.程式碼掃描
方案:針對歷史線上問題,梳理出研發易犯錯的程式碼問題,形成檢查規則(同時會搭配開源掃描工具使用),整合到流水線結合程式碼 DIFF 和大模型對程式碼進行 check
效果:
1).成本低,收益還是可以的(目前主要應用在 C++ 專案上)
困難:
1).增量程式碼往往缺少上下文,會導致出現漏檢的情況
2).生成的報告每次需要人工 check 排除干擾

4.測試報告生成
方案:
1).重點讓 AI 基於 BUG 資料進行資料分析,給出風險提示和分析結果
效果:
1).由於給 AI 提供的資訊有限,生成的結論比較泛,仍需要加入人為的分析結論

5.其它還有 AI 需求分析、需求評審、資料庫表設計評審等

相關文章