黑盒測試、白盒測試與灰盒測試方法

測試奇譚發表於2021-12-24

測試奇譚,BUG不見。

大家好,我是譚叔。

對於黑盒、白盒與灰盒測試方法的理解,幾年前我在某乎做過一個概念性的回答,當時提問者詢問:如何跟非技術人員解釋黑盒、白盒、灰盒測試的區別?

我的回答原文如下:


既然是對非技術人員解釋,就不能用專業術語。

這樣說吧,有個打孔機,類似這樣。

image-20210403202257785

紙條從盒子左方插入,從右方出來時,分別打出圓形、正方形、三角形三個樣式的孔。

img

某天,打出來的紙條,只有一種圖形。

image-20210403202330773

黑盒測試員只能說:“這個打孔機壞了!”

灰盒測試員把打孔機的蓋子掀開,發現打孔機的造型原來是這樣的。

image-20210403202349683

於是他說:“機器仍能打孔,說明主機沒壞;三個樁子也都是好的;但只列印出了圓形,可能因為連線正方形和三角形樁子的地方有問題。”

白盒測試員把機器拆開,檢視內部的電線、電路、控制器等等,發現連線正方形和三角形的電線燒壞了,於是說:“原因找到了,換根電線吧。”


彼時,我還是一位測試小鳥,在研習了不少理論知識後,回答了這個問題。現在,我算不上測試老鳥,但能算個測試大鳥,在工作中,越發頻繁地接觸這三種測試方法。

如果你要問我哪種測試方法更好,我不置評價,每個人的口味不一樣,別人適合的不一定自己適合

對於黑盒測試方法來說,是每一位測試的必備技術,沒有誰不會:發現問題,丟擲問題。簡單、輕鬆、快速,是黑盒測試的優點,特別是在專案特別趕,測試時間無限被壓縮的時候——只需要拋給開發問題,剩下的讓開發自個兒玩去吧。

但黑盒測試人員常常被人詬病只知道點點點,拋開此類“鄙視”不談,接著上面繼續,我們是不是忽略了一個事實:專案既然趕,那開發的時間亦不充足,如果恰好遇上稍稍複雜的bug,並搭配不靠譜的開發,一個bug的生命週期可能會拉得極長,效率特別低下。

這麼說,那用白盒測試方法唄,看程式碼,查原因,丟給開發後,留下一個高大帥氣的背影,讓開發心裡默唸——這個測試不簡單。

白盒測試可以,但使用它時,你需要盤算盤算:

是否有充足的時間研究程式碼以及和程式碼相關的環境部署、配置設定等?

付出和產出是否成正比,如同自動化測試,能達到高價效比嗎?

白盒是一種選擇,但同樣是一個難題。更別說白盒對於測試技術的高要求。

廢話了這麼多,你一定會說:譚叔,你不就是拐彎抹角地推薦灰盒測試嘛。

我不知道該怎麼回答你,就像剛開始說的,每個人的口味不一樣,適合自己的測試方法,最醇最香。

但說實話,日常工作中我使用灰盒測試方法的場景相對較多,總結來說,就這麼一個流程:

發現問題-->我大概知道你是怎麼玩的-->初步定位問題原因-->同開發確定問題-->接下來呢?

會分成兩類:

1、我定位的原因並不是真正的原因。但我能通過這個過程學習到新知識、新業務,積攢個人經驗(很多人往往棄步於此)

2、我定位的問題是真正的原因。就此打住嗎?並不是。你能提出問題的解決建議嗎?你的建議是否比開發的修改 or 產品給的方案更好,更具有可實施性?

合理地提出解決問題的建議,這才是你關注的重點,而不是因為找到問題原因而沾沾自喜,迷失於他人的讚許中。

實踐是檢驗真理的唯一標準。恰好,我最近遇到一個問題,並且剛好使用到灰盒測試方法,分享給大家窺其一二。

先描述下業務:

我測試的X系統會從配置系統拉取幾條資料,並儲存在資料庫A(讀寫庫)中,資料庫A又會將新資料實時同步到資料庫B(讀寫庫)中。業務上:a類使用者從資料庫A中讀資料,b類使用者從資料庫B中讀資料。

再說下bug:

我在配置系統刪除了一條資料,結果a類使用者沒有讀到該條資料(預期結果),b類使用者卻讀到了該條資料(非預期結果)。去資料庫檢視,A庫沒有被刪除的資料,B庫仍然存在被刪除的資料。

按理說,走到這一步,便可以到bug系統提交一條bug指給開發解決。不過我想到開發最近天天晚上加班,並且我之前提的幾個bug反覆修改,開發效率很低,加之臨近上線,時間被壓縮,於是乎,我額外抽出一點時間,簡單定位下問題。

這個問題看起來簡單,無非是同步導致兩個庫的資料不一致,可以得出兩個猜測:

一 同步沒有觸發。

二 同步觸發了,但資料沒有在B庫落庫。

接著,我做了一個實驗:在配置系統修改了一條資料,結果A庫和B庫的資料保持一致。據此,猜測一不成立。

緊接著,我又做了一個實驗:進入A庫,在資料庫內刪除一條資料,奇怪的是,B庫的資料被刪除了,猜測二也不成立。

兩種猜測同時被證明無效,那問題究竟出在哪裡呢?

於是,我上到伺服器,重新在配置系統刪掉一條資料,並觸發了一次同步操作,我在日誌上找到了兩條sql:

truncate table xxtable;

insert into xxtable……;

到此,我恍然大悟。

原來因為這個業務的資料不多,開發可能是這樣處理的:從配置系統拉取資料時,先清空A庫的xxtable,再向A庫的xxtable插入資料,以此簡化資料增刪改的邏輯。但我司DBA做過處理,不允許資料庫級別之間進行truncate table的同步。

最後找開發討論,果真是這個問題。

怎麼解決呢,將truncate table xxtable換成delete from xxtable即可。

這算是一次我所理解的完整的灰盒測試,也是我一直推薦給組內人員的高效率的一種工作方式:我大概知道你是怎麼實現業務的,實踐定位問題,達到快速解決問題的目的。

一如既往,做個總結

01 測試時,特別簡單的bug建議直接丟擲,讓開發去玩,沒必要浪費精力定位問題

02 複雜問題多總結,定位問題時頭腦要清晰且靈活,證實或否定每一個猜測

03 和開發打好關係(或強制要求),讓他們在解決bug的時候註明bug產生的原因

04 多花時間在業務上,絕對物超所值

相關文章