【轉自群核科技質量技術】AI 助力測試提效與大模型落地應用實踐
今天看了一篇大模型在測試領域落地的文章,忍不住分享下:
從 2023 年底起,群核科技質量團隊便反覆強調 AI 可能對測試團隊帶來的價值,旋即我們組建了專門的 AIGC 虛擬小組,進行了一系列的基建能力搭建和部分領域的探索。從建設進度來看,AI 帶來的價值是非常大的。2024 年年底,deepseek 的釋出,給業界帶來了非常大的震撼,AI 推理能力已經非常強大,行業內紛紛圍繞 AI 質量測試和效能領域進行了大量探索。從這些探索、經驗和我們取得的結果上看,我們必須緊跟這個潮流,透過運用各種 AI 工具武裝我們自己,結合我們的工作流,提升我們的效能。經過一段時間的實踐探索,我們 2025 年將重點在以下幾個方面進行建設:
- 探索更好的 AI 模型,從而助力測試提效
- 搭建更易用的 AI 測試平臺,方便大家應用接入
- 不斷助力各項測試效能領域/流程提效
- 持續推廣和帶領測試同學認識 AI、使用 AI 現將取得的一些進展分享給大家,也歡迎更多的內外部團隊共建和使用。我們希望透過本文的分享,能夠激發更多創新思維,推動這一領域的深入發展,同時也鼓勵開發者積極探索,讓 AI 發揮更大作用,為行業帶來更多價值。
01 探索更好的 AI 模型,助力測試提效
2025 年開年至今,我們測試平臺已接入如下業界領先的大模型,這些模型也在各個領域得到較好反饋。
接入時間 | 模型 | 應用領域 | 接入效果反饋 |
---|---|---|---|
2025 年 1 月 | DeepSeek v3&r1 | 知識庫問答 | ![]() |
2025 年 2 月 | text-embedding-3-small bge-m3-embedding | 向量模型&知識庫領域 | ![]() |
2025 年 2 月 | Claude3.5&Claude 3.7 Sonnet | 自動化測試程式碼編寫 | ![]() |
02 搭建更易用的 AI 測試平臺,方便大家應用接入
目前已有 20+ 各類應用接入質量部 AI 測試平臺 FastQA,平臺也在不斷最佳化升級能力中。
時間 | 平臺最佳化 | 接入效果反饋 |
---|---|---|
2025 年 2 月 | 模型對接最佳化 | ![]() |
2025 年 2 月 | 平臺版本升級 | ![]() |
2025 年 1 月 | 企信對接問答最佳化 | 支援企信群 @ 機器人方式對話,方便對接知識庫應用![]() |
03 不斷助力各項測試效能領域/流程提效
思路:
- 透過維護工單 AI 知識庫以及對接 openAPI 方式,實現 AI 線上問答&自動建立工單等功能 進展:
- 目前在技術支援團隊最佳實踐
- 80% 內部諮詢自動回覆,幫助客服&技術支援崗告別重複勞動
- 自動建立工單,減少提單的提交工作量,提升了工單提交質量,節省各方澄清工單問題的溝通成本。
- 整體上提升使用者問題的服務體驗,減少問題處理角色和流程,提升客戶滿意度。 應用展示:
- 群聊群內@AI虛擬賬戶,進行問題諮詢,自助解決 FAQ 類問題;
群聊群內@AI虛擬賬戶傳送建立工單指令,自動建立工單
應用內,點選【客服酷小寶】,進行問題諮詢,自助解決 FAQ 類問題 ;
應用內,點選【客服酷小寶】,傳送建立工單指令,自動建立工單
3.2【UI 自動化程式碼生成】
思路:
- 利用 vs ode 外掛能力和 AI 知識庫,讓 AI 根據用例描述生成自動化指令碼。
- 利用油猴外掛和 AI 能力,生成符合酷家樂 UI 自動化規範的 xpath 表示式。 進展:
- 針對三個業務試點,生成的程式碼準確率在 50~80% 之間。降低編寫 xpath 編寫成本(約 30%),提升 xpath 的質量。
## 3.3【AI 精選文件分享】 思路:
- 利用 AI 根據高質量文件規則,爬取分析近期文件,並推送高質量文件方便學習。
進展:
- 目前已經在整個質量部門進行爬取和 AI 分析推送,得到眾多同學的點贊認可
3.4【AI 知識庫秒級搭建】
思路:
- 根據 cf 標籤進行文件爬取,快速將 cf 文件轉換為 FastQA 平臺知識庫內容
進展:
- 目前已經在質量效能部門內部進行推廣,執行 2 周累計錄入知識量 2k 頁面,快速擴增中
- 配套提供 AI 知識庫建立、cf 文件 AI 打標規則,AI 知識庫自動匯入,及豐富的 AI 應用落地(企信答疑群的 AI 智慧機器人自助應答 && openAPI 接入等)等配套一條龍服務
- 預計在 Q2 進行流程規範的評審,作為新流程並納入公司級別 ITM 流程標準
3.5【AI 用例編寫】
思路:
使用 AI Agent 解析文件並生成測試用例,閱讀 CF 並解析文件中的圖片,拆分功能點,為每個功能點設計測試用例,檢查用例的中英文情況
應用:
- 可以大幅提升用例編寫效率
3.6【AI 頁面檢測】
思路:
- 針對國際化翻譯中容易出現的多語言問題,根據國際化網頁設計規範利用 AI 知識庫能力,預設正確錯誤國際化翻譯及佈局情況,透過 AI 動態檢測當前版本多語言、文字規範性、頁面佈局情況 進展:
- 基本流程已經調通(典型頁面錯誤識別率超過 80%),工程化並建立常態化執行中。
04 測試管理平臺接入 AI 能力
4.1【測試分析報告撰寫】
針對大專案編寫測試分析報告,引入 LLM 大模型(文字 + 視覺),根據需求文件/CF 文件連結/設計稿,生成初步的測試分析報告。這些報告有助於測試人員擴充思維,為撰寫詳盡的測試分析報告提供有力的啟發與參考。
4.2【AI 用例生成】
生成新功能用例時,運用 LLM 大模型依據需求文件,初步生成功能用例,二次確認修改後,一鍵匯入系統。這不僅能為測試人員開啟編寫思路,還能輔助他們編寫更為全面、細緻的功能用例。
4.3【影響用例自動識別(調研中)】
由於受影響功能在開發階段已確認,且相關功能用例已存在用例庫中,在評估影響範圍時,採用 RAG/KAG 模型透過檢索增強技術,能夠快速從用例庫中精準定位相關功能用例,呈現給測試人員。這將極大地節省查詢時間,為測試人員編寫回歸用例提供了重要輔助參考依據。
4.4【AI 用例評審】
用例評審環節也可以用 LLM 大模型。具體方法是制定一系列嚴謹的評審規則,讓大模型在這些嚴格條件下執行。大模型會給出用例的合格分數,並提供具有針對性的修改意見,助力測試人員對用例進行修改與最佳化,以保障測試用例達到較高質量標準。
05 更多領域探索
除了上述介紹之外,我們還進行了以下探索的應用建設,值得我們持續期待!
5.1【使用者分析-AI 輔助七魚會話分類打標 】
目標:實現 70% 以上的七魚分類自動精準打標
思路:七魚會話結束後,透過輸入會話資訊及七魚分類後,讓大模型給出一個精準的四級分類再回傳給七魚平臺打標,減少客服的工作量
進度:進行中,基礎建設完成,提示詞待調優
5.2【自動化測試平臺接入 AI 能力】
目標:
- 目標 1:阿波羅自動化測試平臺 AI 輔助提效,包括介面測試和 UI 自動化測試,提升自動化執行失敗和異常情況的排查能力,和小助手自助率應答能力,在去年基礎上提升 20%。
- 目標 2:自動化 issue 有效性在去年基礎上提升 10% 思路:
- Jenkins 錯誤日誌排查工具,提升問題排查分析能力,結合已有常見典型的錯誤日誌特徵進行聚合歸類
- 利用 CI 鏈路問題排查分析能力,在上述錯誤日誌排查基礎之上,進一步按照鏈路順序分析,按照常規 SRE 排查思路進行鏈路問題的識別和智慧分析
- 平臺開放功能布點,當發現有在平臺上面執行自動化測試失敗的場景,測試同學透過點選智慧分析進行快速診斷,提升排查自動化環境以及指令碼問題的耗時,進一步提升使用者在平臺體驗
- 和業務線形成合力,共同維護自動化知識庫經典案例庫,提升問題智慧小助手自助回答&問題分析能力 進度:目前整體處於前期技術設計框架階段
06 持續推廣使用 AI
我們整個部門團隊非常重視 AI 領域提效,也希望整個團隊同學提升這方面的能力和意識,因此制定了三步走計劃:
- 團隊進行 AI 相應的培訓學習和考試
- 團隊熟悉使用各個 AI 工具和考試
- 結合自身業務及測試能力/平臺,需要進行 AI 提效思考並探索接入。
當前培訓計劃如下:AIGC 知識培訓
07 小結
隨著 AI 的持續發展,我們已然看到了它對於網際網路及軟體工程領域帶來的巨大價值,測試領域也是受用方之一。AI 是一個萬花筒,對於我們測試同學來說不僅要持續學習 AI、掌握 AI,更要結合我們實際業務場景和訴求,合理利用 AI 能力,與我們現有的系統、流程做深度結合,才能發揮它最大的價值。酷家樂質量效能部門將會持續投入到 AI 學習和基於 AI 落地實踐的浪潮中。
原文連結:https://mp.weixin.qq.com/s/zghVVVDIkgy5EDTKv6zLyQ
相關文章
- AI 大模型輔助測試提效的思考AI大模型
- AI 大模型輔助測試全流程提效AI大模型
- 技術前沿:AI大模型在自動化測試中的應用例項AI大模型
- 研效優化實踐:WeTest提效測試優化
- 研效最佳化實踐:WeTest提效測試
- Embedding技術與應用(3):Embeddings技術的實踐應用
- 技術實踐 | AI 安全:透過大模型解決高危WEB應用識別問題AI大模型Web
- 經緯恆潤全鏈路測試平臺,助力智慧駕駛技術落地應用
- vivo直播應用技術實踐與探索
- 自動化測試:Monkey工具實踐應用~
- AI技術在基於風險測試模式轉型中的應用AI模式
- 璞華AI大模型應用的探索之路:從AI大模型開發與運營平臺到應用寶庫的最佳實踐AI大模型
- 寫好測試,提升應用質量
- 提升提測質量之研測共建 | 京東雲技術團隊
- 黃波:AI技術在知乎的應用實踐AI
- 大資料技術與應用課堂測試-資料清洗同步大資料
- 專欄文章 質量保障系統的落地實踐 (七)-AI 落地&指標評估AI指標
- 大模型基礎應用框架(ReACTSFTRAG)技術創新及零售業務落地應用大模型框架React
- 後臺開發 -- 核心技術與應用實踐
- Serverless 應用引擎 SAE 助力袋拉拉研發提效 70%Server
- Xinference實戰指南:全面解析LLM大模型部署流程,攜手Dify打造高效AI應用實踐案例,加速AI專案落地程序大模型AI
- Docker與自動化測試及其測試實踐Docker
- 單元測試的入門實踐與應用
- ai 測試、ai 模型訓練 ai 生成用例真有可行的落地方案嗎?AI模型
- 助力AI技術場景化落地 | 資料標註AI
- 人臉識別:技術應用與商業實踐
- 得物技術時間切片的實踐與應用
- 自動化測試框架選型和落地實踐路徑框架
- AI大模型+低程式碼,在專案管理中的應用實踐AI大模型專案管理
- IPIDEA助力大資料價值應用落地Idea大資料
- 大模型在程式碼缺陷檢測領域的應用實踐大模型
- 超詳細,自動化測試接入Jenkins+Sonar質量門禁實踐Jenkins
- 騰訊雲 AI 程式碼助手:單元測試應用實踐AI
- 【行行AI公開課】AIGC從模型到落地:促進技術落地與產業變革AIGC模型產業
- 機器視覺技術在木材加工質量檢測中的應用視覺
- 文件解析技術加速大模型訓練與應用路演直播大模型
- 後臺開發:核心技術與應用實踐 -- C++C++
- AI浪潮下,大模型如何在音影片領域運用與實踐?AI大模型
- Java效能測試利器:JMH入門與實踐|得物技術Java