介面自動化測試的覆蓋和 Diff 平臺的悖論

simonpatrick發表於2020-10-05

看了一下這個視訊 https://cloud.tencent.com/developer/salon/live-1262
裡面說有個介面自動化平臺有很多的用例,大概有幾萬這個數量級。然後還有什麼Diff平臺,如果重構就會根據diff平臺進行測試。最近也經常看到什麼Diff平臺,比較介面返回的差異等等,這樣可以幫助快速找到問題等等,這裡面說實話有些真的不能理解,為什麼:

  1. 如果介面自動化平臺足夠好了,覆蓋的Case那麼多,為什麼重構之後測試的時候不能直接用,還要Diff平臺幫助找到差別
  2. 如果需要Diff平臺幫助,為什麼又說介面自動化平臺做的如何如何好,如何如何方便呢,如何如何效率高呢?

我感覺如果兩個是互補關係的,那麼必然有互補的道理,但是缺沒有人說明白。

我這邊的想法很簡單:

  1. 介面自動化測試平臺足夠好,自動化測試用例覆蓋足夠多,難道介面的返回結構變了都檢查不出來?
  2. Diff平臺真的有很大用處嗎?全量的介面測試結構檢查需要多長時間?如果有自動化Case了直接把case跑起來不就可以了嗎,如果case在不同環境裡面都可以直接執行,那為什麼還要什麼diff平臺?如果自動化case都不全,又花精力去搞什麼diff,那為什麼不去多補補case
  3. 測試用例,diff工具到底分工在哪裡?Diff出來的東西到底有多大的用處?

期待各位大佬們的幫忙呢。

相關文章