介面自動化測試的覆蓋和 Diff 平臺的悖論

simonpatrick發表於2020-10-05

看了一下這個影片 https://cloud.tencent.com/developer/salon/live-1262
裡面說有個介面自動化平臺有很多的用例,大概有幾萬這個數量級。然後還有什麼 Diff 平臺,如果重構就會根據 diff 平臺進行測試。最近也經常看到什麼 Diff 平臺,比較介面返回的差異等等,這樣可以幫助快速找到問題等等,這裡面說實話有些真的不能理解,為什麼:

  1. 如果介面自動化平臺足夠好了,覆蓋的 Case 那麼多,為什麼重構之後測試的時候不能直接用,還要 Diff 平臺幫助找到差別
  2. 如果需要 Diff 平臺幫助,為什麼又說介面自動化平臺做的如何如何好,如何如何方便呢,如何如何效率高呢?

我感覺如果兩個是互補關係的,那麼必然有互補的道理,但是缺沒有人說明白。

我這邊的想法很簡單:

  1. 介面自動化測試平臺足夠好,自動化測試用例覆蓋足夠多,難道介面的返回結構變了都檢查不出來?
  2. Diff 平臺真的有很大用處嗎?全量的介面測試結構檢查需要多長時間?如果有自動化 Case 了直接把 case 跑起來不就可以了嗎,如果 case 在不同環境裡面都可以直接執行,那為什麼還要什麼 diff 平臺?如果自動化 case 都不全,又花精力去搞什麼 diff,那為什麼不去多補補 case
  3. 測試用例,diff 工具到底分工在哪裡?Diff 出來的東西到底有多大的用處?

期待各位大佬們的幫忙呢。

相關文章