缺陷評估規範

缺陷評估規範

 

 

 

目的 ：

為測試人員提交Bug 提供判斷的標準，避免個人的主觀臆斷。如：將比較輕微的Bug 提成較高階別，誇大Bug 的嚴重度，將影響軟體質量的正確評估，也消耗開發人員辨別和處理缺陷的時間；若將很嚴重的Bug 提成輕微的級別，這樣可能掩蓋了很多嚴重的缺陷，給生產帶來巨大風險，為此在原有黑盒測試評估規範的基礎上做適當修改，使其更適合我們當前的工作。

 

總則：

軟體Bug 評估是以Bug 的風險係數作為等級劃分的依據，風險係數的評估來源於問題的嚴重程度，顧客發現問題的可能性2 個方面（同於軟體問題的特殊性，不涉及可檢測性），而顧客發現問題的可能性與問題的復現率、出現問題的路徑及使用者的使用習慣相關，本規範就是從以上列舉的方面對軟體Bug 評估進行儘可能性的量化，以使軟體評估規範及其使用趨於客觀、科學。

 

適用範圍：

軟體測試Bug 風險評估、針對軟體問題而設計的專項試驗資料風險評估。

不適地故障出現的路徑毫無規律或尚未了解故障出現的路徑規律的情況。

對於故障出現路徑無規律的情況，有必要組織專項測試。

 

Bug 分級原則：

類問題： 嚴重缺陷，必然會引起客戶投訴，必須要改善以後才可以出貨。

A 類問題： 一般缺陷，引起顧客投訴的可能性非常大，建議改善以後才可用於出貨。

B 類問題：輕微缺陷，引起顧客投訴的可能性比較小，可先出貨後續改善。

C 類問題：級別不易確定， 引起顧客投訴的可能性極小，不影響出貨。

 

評估規則：

1>.S 類bug ＞0 軟體存在重大缺陷，必然會引起客戶投訴，出貨風險大，不同意作為出貨軟體版本；

2>.S 類 bug =0 且 A 類 bug ≥ 15 軟體投訴可能性非常大，出貨風險非常大，建議改善後再用 於出貨軟體版本；

3>.S 類bug =0 且0 ＜A 類bug ＜15 ，軟體存在一定的投訴可能性和出貨風險，研發承諾期限改善的條件下，同意作為出貨版本；

4>.S 類bug =0 且A 類bug =0 ，B 類bug ≥30 存在較小的投訴可能性和出貨風險，但使用者滿意度可能比較低，同意作為出貨軟體，同時須積極跟進市場反饋情況；

5>.S 類bug =0 且A 類bug =0 ，0 ＜B 類bug <15 同意作為出貨版本。

 

 

1、   Bug 嚴重程度分級（S ）

分值	影響程度	評分標準
C	很低	幾乎不會對使用者使用有影響
	低	使用者可能會注意； 可能會對使用者造成輕微的維修或升級要求的缺陷；
B	中	會給使用者的操作造成不便，可能會引起使用者投訴，但不至於很嚴重。 功能基本可實現，但操作和提示繁瑣，或存在誤導的可能。 功能 異常導致輕微影響使用者感知的功能效果或使用者不易感知的異常（如：輕微瞬間的雜音、電流聲）；
A	高	功能異常引起使用者的反感，功能暫時不能實現； 功能異常導致影響使用者感知的功能效果；（如：較小的雜音、電流聲，待機時間短）； 功能基本可實現，但不完全符合客戶的要求或成文的規範； 功能實現的過程中無提示/ 提示錯誤/ 提示歧義/ 錯別字、亂碼/ 格式混亂存在較大的可能性會誤導使用者、對使用者的使用造成較大的干擾； 部分功能暫時不能實現或凍結於某處，但可透過使用者操作恢復（如：顯示畫面重疊，拍打翻蓋OK ）
	相當高	故障一旦發生，中斷顧客使用；部分功能不能實現。 某項功能部分不能實現或設定衝突時不能實現； 功能異常導致顯著影響使用者感知的功能效果（如：明顯的雜音，電流聲、 擴音聲音模糊或明顯的破音） 功能實現過程中無提示/ 提示錯誤/ 提示歧義/ 錯別字、亂碼/ 格式混亂導致會誤導使用者、對使用者使用造成嚴重障礙； 中斷使用者正常操作，但是可以自動復位（如：重啟、搜尋、瞬間黑屏、時無發受話、 桌面程式無響應、有時觸屏不靈敏、登陸 QQ 死程式、 WIFI 有時無法連線成功或自動斷網 ）
S	很高	主要功能完全不能實現 故障引起人不舒服，反感（如：尖銳的嘯叫）； 話機死程式；不識別 UIM/SIM 卡；丟失 1X 或 EVDO 網路；常用 APK 無法安裝、使用；觸屏失效；自動關機、無法開機、開機定屏、訊號頻繁跳變、無法上網、無法充電、充電充不滿、電池溫度過高、通話主 / 被叫聲音小、不能正常呼入、簡訊 /MMS 傳送失敗、通話聲音斷斷續續時有時無、側鍵不靈敏、話機的 U 盤功能無法使用、用 1X 或 EVDO 或 EDGE 無法連線網路、不能拍照、手寫屏失靈、擴音噪音大、經常出現死程式、開機一直重複開機畫面、透過網際網路下載出現死程式、觸屏失效、長時間通話無法聽到聲音、 SD 卡識別失敗等 功能定義完全不符合業界標準和使用者普遍認知及習慣（如：3G 圖示）； 使用者正常操作時突現，且不能自動復位，但可以透過開關機復位。（ 如：當機、掉電、掉卡、持續黑屏、破圖、） 對部分功能產生破壞性影響，且不可透過使用者操作復位，（如：預定義簡訊丟失，需重新下載才可以恢復）
	非常高	一旦發生情況非常嚴重，導致顧客非常反感，必會導致退機和投訴，甚至事故和訴訟； 對產品功能實現有致命性影響（如： 檔案系統崩潰、電話、簡訊等基本功能無法使用）； 會對產品功能造成嚴重破壞性的影響，且透過使用者操作不可修復（如： 大資料量上網後不開機，需重新下載 OK ）； 對人身造成傷害、可能導致安全事故； 違反銷售國家或地區的法律法規； 手機裡存在與銷售地區宗教信仰、民俗衝突，會引起當地顧客強烈反感的字元或應用。

 

 

附：各類問題具體描述

 

（1 ）S 類問題：嚴重的缺陷

顧客發現問題的可能性非常大，一旦發生， 透過使用者操作不可修復 ，使用者需到售後部門方可處理，故必須改善才可用於出貨。具體的來說可能表現在如下的一些方面：

1)   危及人身安全，例如：

嚴重的電池或者充電器軟硬體控制故障，充電發燙、充電電池爆炸、充電手機燒燬等；

2)   與宗教信仰、民風民俗衝突的字元和應用等。

3)   穩定復現的功能缺陷，例如：

A、 不能正確執行功能，執行開啟指令功能未開啟；執行關閉指令功能未關閉 ；

B、 使用者輸入的資料不能完整地儲存，傳送或者複製，又沒有提示；

C、 錯誤刪除；

D、 功能錯亂，設定甲得到乙效果，設定乙得到甲效果；

E、 不充電、充電圖示異常、不識卡（UIM以及多媒體儲存卡）、鬧鐘不響、事件提示音不響、時鐘不準或者不保持、待機時間和通話時間短；

F、 軟體的功能設計不完備或者與硬體不匹配不相容，如選單上列有的功能條目，但由於硬體不支援或者軟體沒能實現從而不能操作；

G、 雙模終端僅能識別出1種模式的卡，無法識別另一種模式的卡；雙待機功能或雙通無法實現；

4)   穩定復現的效能缺陷，例如：

A、 軟體的可靠性較差， 中斷使用者的使用， 如易於當機（按住關機鍵也不能夠關機，只能拔電池關機後重開機）、顯示凍結按鍵無反應（按住關機鍵能夠關機）、頻繁重啟（自動復位）、 掉電（無關機過程）、自動關機（有關機過程）、不能反覆開關機、不能保持開機；

B、 與網路匹配故障，無訊號、訊號弱/訊號不穩、通話過程中易掉話、通話音質不良 、無發/收話、頻響不良、不能撥出、不能呼入 ；在1X和EVDO覆蓋區域內，僅能搜到1X或EVDO網路；或能搜到2個網路，但經常丟失EVDO網；在GSM和WCDMA覆蓋區域內，僅能搜到GSM或W網路；或能搜到2個網路，但經常丟失W網.

C、 軟體的效率差，如處理某項或某幾項功能的時間過長，某項功能佔記憶體資源過多,開機第三方APP自動啟動，佔用記憶體等。

D、 軟體難於操作使用，一些常用的選單的操作繁瑣或不易尋找，選單結構設計凌亂拖沓，極易產生困惑；

E、 操作步驟或者介面顯示、提示燈、提示圖示、提示音等沒有一致性，時顯時不顯，時亮時不亮，時振動時不振；

F、 效果差，如照相效果模糊；

5)   顯著的成熟度低，例如：

A、 無提示語、提示語錯誤、提示語歧義、提示語和實際動作不符、亂碼、錯別字、格式混亂；

B、 無顯示、顯示淡、顯示對比度不能調節、顯示缺行、空白介面、標題顯示不全、顯示重疊、屏閃、黑屏藍色畫面，螢幕有非常明顯的斑點；

C、 無調節音量、調節提示燈亮度入口；

D、 同樣功能的選單項在同一列表內出現；

E、 設計完全不符合業界標準、使用者普遍認知習慣和關注指標，如相同訊號強度下訊號格少使使用者誤認為訊號弱；

6)   顯著的設計漏洞，例如：

A、 進入某種操作、模式或者使用環境後螢幕燈一直點亮；

7 ） 重大美學缺陷，嚴重影響產品感知質量

8 ） 電流過高，例如：正常待機電流1.5mA,但測試時電流達到十幾甚至幾十毫安；程式已被客戶關閉但後臺仍在執行導致電流過高；搜網、通話、攝像等的電流明顯高於行業標準

 

 

（2 ） A 類問題：一般缺陷

顧客發現問題的可能性比較大，引起顧客投訴的可能性比較大，建議改善之後再用於出貨。具體的來說可能表現在如下的一些方面：

1)    軟體的功能比較正確和完備，但是某些功能仍有出現問題的可能，如通話中第三方撥入時無“呼叫等待”介面等；

2)    軟體的可靠性較好，但是在某些特定情況下仍會出現問題的可能，如在照相時電話呼入導致的當機、通話中有時候會出現輕微雜音等；

3)    軟體的易用性整體較滿意，但在有些地方仍有出現問題的可能，如相簿中的照片無上下箭頭不能連續翻看、無法識別不同型別手機的彩信等；

4)    軟體的效率整體較好，但有些地方仍有出現問題的可能，如照相或錄影拍攝儲存經歷時間較長讓使用者誤以為當機等。

 

 

（3 ） B類問題：輕微功能或者美學缺陷

顧客發現問題的可能性比較小，引起顧客投訴的可能性比較小， 使操作者不方便或遇到麻煩，但它不影響執行工作功能或重要功能 ，可先出貨後續改善。或者不影響使用者正常使用，為提高產品美譽和顧客滿意，建議作為後續完善專案。具體的來說可能表現在如下的一些方面：

 

1)   軟體的功能的正確和完備性已經比較令人滿意，但是在一些細小的地方尚需改進，如在刪除照片後無任何提示語等；

2)   軟體的可靠性已經比較令人滿意，但是在一些細小的地方尚需改進，如在遊戲的時候來電會導致黑屏幾秒等；

3)   軟體的易用性已經比較令人滿意，但是在一些細小的地方可能會需要改進，如中文版軟體某些選單用英文表示時顯示的字母不全、確定刪除資料夾時左軟鍵提示語不是“確定”而是“選擇”等；

4)   軟體的效率已經比較令人滿意，但是在一些細小的地方可能會需要改進，如某項遊戲載入時的時間過長等；

5)   由於個體要求的不同，或者從美學的角度來看，有些非常細微的地方建議改進，如短訊息選單下的各個子選單的排列次序等。

 

（4 ） C 類問題：建議性類問題

  顧客發現問題的可能性極小，一般不會引起顧客的投訴，可以直接出貨。不影響使用者正常使用，為提高產品美譽和顧客滿意，在後續專案上可以最佳化。

 

舉例:錯誤的Bug等級

1: S 類的缺陷

Title ：

進入攝像機，將影片尺寸改為“WVGA/VGA"時 手機當機；

Step ：

1 、進入攝像機；

2 、將 影片尺寸改為“WVGA/VGA"；

Expected result ：

能正常錄影、播放；

Test result ：

開始錄影後介面當機

Frequency ：

100%

 

2 ：A類的缺陷

Title ：

連線藍芽耳機，開/關飛航模式後，來電介面15秒左右 自動接聽 。

Step ：

1 ， 連線藍芽耳機

2 ，播放音樂。

3 ，開啟和關閉飛航模式

4 ，來電介面等待15秒左右，電話自動接聽 。

5 ，一共有兩臺機器遇到過此情況，且出現後重啟仍存在。（恢復出廠設定才消失）

Expected result ：

接聽來電正常

Test result ：

經過上述操作後，來電自動接聽。

Frequency ：

2 次

備註：有兩臺機器出現過，出現後是必現的，重啟也存在。暫時未找到必現路徑 。

 

3 ：B類缺陷

Title ：

第一次進入星空高速檔案管理器出現無響應的提示框

Step ：

第一次進入星空高速檔案管理器出現無響應的提示框

Expected result ：

能正常進入星空高速檔案管理器

Test result ：

第一次進入星空高速檔案管理器出現無響應的提示框

Frequency ：

100%

 

4 ：C 類缺陷

Title ：

刪除通話記錄成功後，彈出“完成”POP框介面有點小

Step ：

1 、進入通話記錄，按Menu鍵-》清除通話記錄-》執行刪除

2 、檢視介面顯示

Expected result ：

彈出的刪除成功的POP框介面，大小適中

Test result ：

彈出的刪除成功的POP框介面有點小

Frequency ：

100%

 

 

 

判斷bug優先順序例題：

1.

Title ：

VPN 無法連線成功，不能正常使用     

Step ：

1 、連線WLAN,設定—》無線和網路—》虛擬專用網，選擇PPTP型別登陸VPN賬號。

2 、觀察VPN是否能正常連線成功

Expected result ：

能正常連線上VPN，且能正常使用

Test result ：

VPN 無法連線成功，提示超時或失敗。

Frequency ：

100%

答案： A 類bug

2.

Title ：

遊戲時，來電，在通話結束後會彈出無響應。

Step ：

1 、遊戲時，來電話，接通來電

2 、來電結束後，觀察有無異常。

Expected result ：

來電結束後，返回遊戲介面，無異常。

Test result ：

來電結束後，會彈出無響應提示。

Frequency ：

10 0%

答案：B類

 

 

2、 距離感測器通話時失效。（透過自己感觸，使用者體驗） A 類

3、 UI 未按需求排版。（根據專案實際情況） A 類或C類