【私有云場景案例分享③】批次回歸測試自動化流程

fishfish-yu發表於2024-09-12

此文章來源於專案官方公眾號:“AirtestProject”
版權宣告:允許轉載,但轉載必須保留原連結;請勿用作商業或者非法用途

一、前言

在軟體開發生命週期中,迴歸測試是必不可少的環節。它確保新功能的引入不會破壞現有功能。然而,手動進行這些測試不僅效率低,且容易疏漏測試點。如果透過DeviceKeeper私有云以及AirtestIDE企業版自動化測試相結合,可以大大提高測試的效率以及測試機型的覆蓋性。

二、痛點分析

  1. 迴歸測試耗時長:每次版本迭代後,需要在多臺裝置上重複執行大量測試用例,耗時巨大。
  2. 人力資源浪費:手動執行迴歸測試佔用大量測試人員時間,影響其他高價值工作。
  3. 測試覆蓋不足:由於時間和人力限制,難以在所有目標裝置上進行全面迴歸測試。
  4. 結果整理繁瑣:多裝置測試結果分散,測試報告彙總分析費時費力。
  5. 一致性難保證:手動操作可能導致不同裝置間的測試過程存在差異。

三、方案介紹:私有云批次回歸測試

  1. 並行執行:透過AirtestIDE企業版,隨時選擇DeviceKeeper上的多個裝置,同時執行預設的迴歸測試指令碼。
  2. 實時監控:測試過程中可隨時透過多機跑測彈窗檢視各裝置的測試進度和狀態。
  3. 結果聚合:自動收集各裝置測試資料,生成統一的聚合報告。
  4. 對比分析:提供多裝置測試結果的對比功能,可以直接跳轉到問題裝置的報告頁面。
  5. CI/CD 整合:將測試流程整合到 CI/CD 管道中,自動觸發測試,減少人為干預。
  6. 資源動態分配:利用DeviceKeeper私有云的彈效能力,在跑測結束後自動釋放測試所選擇的裝置。
  7. 遠端執行與監控:透過遠端技術實現測試的自動執行,並實時監控測試進度和結果。

四、真實示例

場景一:

某專案組有500+迴歸指令碼需要在全服進行迴歸跑測。

引入專案之前:

測試團隊手動進行迴歸測試,需要排期安排跑測任務,通常耗時2-3人天。

引入專案之後:

採用DeviceKeeper私有云以及AirtestIDE企業版結合的迴歸方案,結合持續整合工具如Jenkins,打通了整個自動化迴歸測試鏈路,將任務分佈到多臺跑測pc或伺服器上同時進行,每輪迴歸測試控制在1小時左右,人工複核結果只需要耗時2-3小時。

場景二:

需要對網易雲APP的點選播放功能進行迴歸測試,保障使用者體驗不受更新影響。透過DeviceKeeper私有云以及AirtestIDE企業版結合的迴歸方案,可以選擇多臺裝置進行迴歸測試,開啟APP進入熱歌榜做持續切歌的操作。

image

五、收益和價值

  1. 時間效率提升:迴歸測試時間從2-3人天縮短到1人天,效率提升顯著。

  2. 人力資源最佳化:自動化迴歸釋放了90%的測試人員時間,讓他們專注於專業性測試和用例設計。

  3. 全面測試覆蓋:實現對所有目標裝置的100%覆蓋,提高了產品質量。

  4. 一致性提高:標準化自動測試流程確保了所有裝置測試的一致性,減少人為差異。

  5. 成本節約:減少了加班和人力投入,每個版本的測試成本降低約40%。

  6. 資料洞察:聚合報告幫助團隊快速識別跨裝置和系統版本的共性問題,提供最佳化方向。

  7. 團隊協作提升:測試結果快速獲取和共享,促進開發、測試和產品團隊的協作。

  8. 測試質量提升:自動化執行減少人為錯誤,提高了測試的準確性和可重複性。

  9. 資源利用最大化:預置環境與自動化執行,使測試裝置可以24*7不間斷工作,提高硬體資源利用率。

  10. 風險降低:早期發現缺陷,減少上線後出現嚴重問題的風險。

DeviceKeeper私有云以及AirtestIDE企業版結合的批次回歸測試方案徹底改變了傳統迴歸測試的模式,將其轉變為一個高效、準確且可擴充套件的自動化流程。並行執行和實時監控跑測進度的特性,則使得測試過程變得透明和可控,團隊可以在第一時間發現和響應問題。聚合報告的生成更是為測試結果的分析提供了強大支援。它不僅節省了大量的人工整理時間,還透過資料視覺化和操作截圖留存,幫助團隊快速洞察問題,做出準確決策。這種資料驅動的方法極大地提高了測試的價值,使其從單純的質量保證工具轉變為產品最佳化的重要依據。


AirtestIDE下載:airtest.netease.com/
Airtest 教程官網:airtest.doc.io.netease.com/
搭建企業私有云服務:airlab.163.com/b2b

官方答疑 Q 群:526033840

相關文章