【轉自群核科技質量技術】AI 助力測試提效與大模型落地應用實踐

爱学习的饲养员發表於2025-03-17

今天看了一篇大模型在測試領域落地的文章,忍不住分享下:

從 2023 年底起,群核科技質量團隊便反覆強調 AI 可能對測試團隊帶來的價值,旋即我們組建了專門的 AIGC 虛擬小組,進行了一系列的基建能力搭建和部分領域的探索。從建設進度來看,AI 帶來的價值是非常大的。2024 年年底,deepseek 的釋出,給業界帶來了非常大的震撼,AI 推理能力已經非常強大,行業內紛紛圍繞 AI 質量測試和效能領域進行了大量探索。從這些探索、經驗和我們取得的結果上看,我們必須緊跟這個潮流,透過運用各種 AI 工具武裝我們自己,結合我們的工作流,提升我們的效能。經過一段時間的實踐探索,我們 2025 年將重點在以下幾個方面進行建設:

  • 探索更好的 AI 模型,從而助力測試提效
  • 搭建更易用的 AI 測試平臺,方便大家應用接入
  • 不斷助力各項測試效能領域/流程提效
  • 持續推廣和帶領測試同學認識 AI、使用 AI 現將取得的一些進展分享給大家,也歡迎更多的內外部團隊共建和使用。我們希望透過本文的分享,能夠激發更多創新思維,推動這一領域的深入發展,同時也鼓勵開發者積極探索,讓 AI 發揮更大作用,為行業帶來更多價值。

01 探索更好的 AI 模型,助力測試提效

2025 年開年至今,我們測試平臺已接入如下業界領先的大模型,這些模型也在各個領域得到較好反饋。

接入時間 模型 應用領域 接入效果反饋
2025 年 1 月 DeepSeek v3&r1 知識庫問答
2025 年 2 月 text-embedding-3-small bge-m3-embedding 向量模型&知識庫領域
2025 年 2 月 Claude3.5&Claude 3.7 Sonnet 自動化測試程式碼編寫

02 搭建更易用的 AI 測試平臺,方便大家應用接入

目前已有 20+ 各類應用接入質量部 AI 測試平臺 FastQA,平臺也在不斷最佳化升級能力中。

時間 平臺最佳化 接入效果反饋
2025 年 2 月 模型對接最佳化
2025 年 2 月 平臺版本升級
2025 年 1 月 企信對接問答最佳化 支援企信群 @ 機器人方式對話,方便對接知識庫應用

03 不斷助力各項測試效能領域/流程提效

思路:

  • 透過維護工單 AI 知識庫以及對接 openAPI 方式,實現 AI 線上問答&自動建立工單等功能 進展:
  • 目前在技術支援團隊最佳實踐
  • 80% 內部諮詢自動回覆,幫助客服&技術支援崗告別重複勞動
  • 自動建立工單,減少提單的提交工作量,提升了工單提交質量,節省各方澄清工單問題的溝通成本。
  • 整體上提升使用者問題的服務體驗,減少問題處理角色和流程,提升客戶滿意度。 應用展示:
  • 群聊群內@AI虛擬賬戶,進行問題諮詢,自助解決 FAQ 類問題;
  • 群聊群內@AI虛擬賬戶傳送建立工單指令,自動建立工單

  • 應用內,點選【客服酷小寶】,進行問題諮詢,自助解決 FAQ 類問題 ;

  • 應用內,點選【客服酷小寶】,傳送建立工單指令,自動建立工單

3.2【UI 自動化程式碼生成】

思路:

  • 利用 vs ode 外掛能力和 AI 知識庫,讓 AI 根據用例描述生成自動化指令碼。
  • 利用油猴外掛和 AI 能力,生成符合酷家樂 UI 自動化規範的 xpath 表示式。 進展:
  • 針對三個業務試點,生成的程式碼準確率在 50~80% 之間。降低編寫 xpath 編寫成本(約 30%),提升 xpath 的質量。 ## 3.3【AI 精選文件分享】 思路:
  • 利用 AI 根據高質量文件規則,爬取分析近期文件,並推送高質量文件方便學習。 進展:
  • 目前已經在整個質量部門進行爬取和 AI 分析推送,得到眾多同學的點贊認可

3.4【AI 知識庫秒級搭建】

思路:

  • 根據 cf 標籤進行文件爬取,快速將 cf 文件轉換為 FastQA 平臺知識庫內容

進展:

  • 目前已經在質量效能部門內部進行推廣,執行 2 周累計錄入知識量 2k 頁面,快速擴增中
  • 配套提供 AI 知識庫建立、cf 文件 AI 打標規則,AI 知識庫自動匯入,及豐富的 AI 應用落地(企信答疑群的 AI 智慧機器人自助應答 && openAPI 接入等)等配套一條龍服務
  • 預計在 Q2 進行流程規範的評審,作為新流程並納入公司級別 ITM 流程標準

3.5【AI 用例編寫】

思路:
使用 AI Agent 解析文件並生成測試用例,閱讀 CF 並解析文件中的圖片,拆分功能點,為每個功能點設計測試用例,檢查用例的中英文情況
應用:

  • 可以大幅提升用例編寫效率

3.6【AI 頁面檢測】

思路:

  • 針對國際化翻譯中容易出現的多語言問題,根據國際化網頁設計規範利用 AI 知識庫能力,預設正確錯誤國際化翻譯及佈局情況,透過 AI 動態檢測當前版本多語言、文字規範性、頁面佈局情況 進展:
  • 基本流程已經調通(典型頁面錯誤識別率超過 80%),工程化並建立常態化執行中。

04 測試管理平臺接入 AI 能力

4.1【測試分析報告撰寫】
針對大專案編寫測試分析報告,引入 LLM 大模型(文字 + 視覺),根據需求文件/CF 文件連結/設計稿,生成初步的測試分析報告。這些報告有助於測試人員擴充思維,為撰寫詳盡的測試分析報告提供有力的啟發與參考。

4.2【AI 用例生成】
生成新功能用例時,運用 LLM 大模型依據需求文件,初步生成功能用例,二次確認修改後,一鍵匯入系統。這不僅能為測試人員開啟編寫思路,還能輔助他們編寫更為全面、細緻的功能用例。



4.3【影響用例自動識別(調研中)】
由於受影響功能在開發階段已確認,且相關功能用例已存在用例庫中,在評估影響範圍時,採用 RAG/KAG 模型透過檢索增強技術,能夠快速從用例庫中精準定位相關功能用例,呈現給測試人員。這將極大地節省查詢時間,為測試人員編寫回歸用例提供了重要輔助參考依據。
4.4【AI 用例評審】
用例評審環節也可以用 LLM 大模型。具體方法是制定一系列嚴謹的評審規則,讓大模型在這些嚴格條件下執行。大模型會給出用例的合格分數,並提供具有針對性的修改意見,助力測試人員對用例進行修改與最佳化,以保障測試用例達到較高質量標準。

05 更多領域探索

除了上述介紹之外,我們還進行了以下探索的應用建設,值得我們持續期待!

5.1【使用者分析-AI 輔助七魚會話分類打標 】
目標:實現 70% 以上的七魚分類自動精準打標
思路:七魚會話結束後,透過輸入會話資訊及七魚分類後,讓大模型給出一個精準的四級分類再回傳給七魚平臺打標,減少客服的工作量
進度:進行中,基礎建設完成,提示詞待調優

5.2【自動化測試平臺接入 AI 能力】
目標:

  • 目標 1:阿波羅自動化測試平臺 AI 輔助提效,包括介面測試和 UI 自動化測試,提升自動化執行失敗和異常情況的排查能力,和小助手自助率應答能力,在去年基礎上提升 20%。
  • 目標 2:自動化 issue 有效性在去年基礎上提升 10% 思路:
  • Jenkins 錯誤日誌排查工具,提升問題排查分析能力,結合已有常見典型的錯誤日誌特徵進行聚合歸類
  • 利用 CI 鏈路問題排查分析能力,在上述錯誤日誌排查基礎之上,進一步按照鏈路順序分析,按照常規 SRE 排查思路進行鏈路問題的識別和智慧分析
  • 平臺開放功能布點,當發現有在平臺上面執行自動化測試失敗的場景,測試同學透過點選智慧分析進行快速診斷,提升排查自動化環境以及指令碼問題的耗時,進一步提升使用者在平臺體驗
  • 和業務線形成合力,共同維護自動化知識庫經典案例庫,提升問題智慧小助手自助回答&問題分析能力 進度:目前整體處於前期技術設計框架階段

06 持續推廣使用 AI

我們整個部門團隊非常重視 AI 領域提效,也希望整個團隊同學提升這方面的能力和意識,因此制定了三步走計劃:

  • 團隊進行 AI 相應的培訓學習和考試
  • 團隊熟悉使用各個 AI 工具和考試
  • 結合自身業務及測試能力/平臺,需要進行 AI 提效思考並探索接入。

當前培訓計劃如下:AIGC 知識培訓

07 小結

隨著 AI 的持續發展,我們已然看到了它對於網際網路及軟體工程領域帶來的巨大價值,測試領域也是受用方之一。AI 是一個萬花筒,對於我們測試同學來說不僅要持續學習 AI、掌握 AI,更要結合我們實際業務場景和訴求,合理利用 AI 能力,與我們現有的系統、流程做深度結合,才能發揮它最大的價值。酷家樂質量效能部門將會持續投入到 AI 學習和基於 AI 落地實踐的浪潮中。

原文連結:https://mp.weixin.qq.com/s/zghVVVDIkgy5EDTKv6zLyQ

相關文章