測試的基本概念
測試是軟體生存週期中十分重要的一個過程,是產品釋出、提交給終端使用者前的穩定化階段。
一、 測試的分類:
從測試方法的角度可以分為手工測試和自動化測試。
手工測試:不使用任何測試工具,根據事先設計好的測試用例來執行系統,測試各功能模組。
自動化測試:利用測試工具,通過編寫測試指令碼和輸入測試資料,自動執行測試程式。目前最常用的自動化測試工具是基於GUI的自動化測試工具,基本原理都是錄製、回放技術。
單元測試:是針對軟體設計的最小單位—程式模組,進行正確性檢驗的測試工作。一般包括邏輯檢查、結構檢查、介面檢查、出錯處理、程式碼註釋、輸入校驗、邊界值檢查。
單元測試的依據是系統的詳細設計;一般由專案組開發人員自己完成。
整合測試:在單元測試的基礎上,將所有模組按照設計要求組裝進行測試。一般包括邏輯關係檢查、資料關係檢查、業務關係檢查、模組間介面檢查、外部介面檢查。
系統測試:系統測試是在所有單元、整合測試後,對系統的功能及效能的總體測試。
確認測試:模擬使用者執行的業務環境,運用黑盒測試方法,驗證軟體系統是否滿足使用者需求或軟體需求說明書中指明的軟體特性(功能、非功能)上的。
從測試原理上分為:白盒測試、黑盒測試和灰盒測試。
白盒測試:是通過程式的原始碼進行測試而不使用使用者介面。這種型別的測試需要從程式碼句法發現內部程式碼在演算法,溢位,路徑,條件等等中的缺點或者錯誤,進而加以修正。
黑盒測試:是通過使用整個軟體或某種軟體功能來嚴格地測試, 而並沒有通過檢查程式的原始碼或者很清楚地瞭解該軟體的原始碼程式具體是怎樣設計的。測試人員通過輸入他們的資料然後看輸出的結果從而瞭解軟體怎樣工作。在測試時,把程式看作一個不能開啟的黑盆子,
在完全不考慮程式內部結構和內部特性的情況下,測試者在程式介面進行測試,它只檢查程式功能是否按照需求規格說明書的規定正常使用,程式是否能適當地接收和正確的輸出。
黑盒測試方法主要有等價類劃分、邊界值分析、因—果圖、錯誤推測法。
等價類劃分:
是把所有可能的輸入資料,即程式的輸入域劃分成若干部分(子集),然後從每一個子集中選取少數具有代表性的資料作為測試用例.該方法是一種重要的,常用的黑盒測試用例設計方法.
劃分等價類: 等價類是指某個輸入域的子集合.在該子集合中,各個輸入資料對於揭露程式中的錯誤都是等效的.併合理地假定:測試某等價類的代表值就等於對這一類其它值的測試.因此,可以把全部輸入資料合理劃分為若干等價類,在每一個等價類中取一個資料作為測試的輸入條件,就可以用少量代表性的測試資料.取得較好的測試結果.等價類劃分可有兩種不同的情況:有效等價類和無效等價類.
有效等價類:是指對於程式的規格說明來說是合理的,有意義的輸入資料構成的集合.利用有效等價類可檢驗程式是否實現了規格說明中所規定的功能和效能.
無效等價類:與有效等價類的定義恰巧相反.
設計測試用例時,要同時考慮這兩種等價類.因為,軟體不僅要能接收合理的資料,也要能經受意外的考驗.這樣的測試才能確保軟體具有更高的可靠性.
邊界值分析:
長期的測試工作經驗告訴我們,大量的錯誤是發生在輸入或輸出範圍的邊界上,而不是發生在輸入輸出範圍的內部.因此針對各種邊界情況設計測試用例,可以查出更多的錯誤。
錯誤推測法:
基於經驗和直覺推測程式中所有可能存在的各種錯誤, 從而有針對性的設計測試用例的方法.錯誤推測方法的基本思想: 列舉出程式中所有可能有的錯誤和容易發生錯誤的特殊情況,根據他們選擇測試用例. 例如, 在單元測試時曾列出的許多在模組中常見的錯誤. 以前產品測試中曾經發現的錯誤等, 這些就是經驗的總結. 還有, 輸入資料和輸出資料為0的情況. 輸入表格為空格或輸入表格只有一行. 這些都是容易發生錯誤的情況.
可選擇這些情況下的例子作為測試用例。
灰盒測試:
灰盒測試就像黑盒測試一樣是通過使用者介面測試,但是測試人員已經有所瞭解該軟體或某種軟體功能的原始碼程式具體是怎樣設計的。甚至於還讀過部分原始碼。因此測試人員可以有真對性地進行某種確定的條件/功能的測試。
功能測試:是指為了確保軟體系統功能實現的正確性,完整性和其他特性而進行的測試。
效能測試:是指為了評估軟體系統的效能狀況,和預測軟體系統效能趨勢而進行的測試和分析。
二、BUG的定義:
BUG:(小錯誤,缺陷,不足,過失 …) 一個計算機bug指在計算機程式中存在的一個錯誤(error)、缺陷(flaw)、疏忽(mistake)或者故障(fault),這些bug使程式無法正確的執行。Bug產生於程式的原始碼或者程式設計階段的疏忽或者錯誤。
Defect:(缺陷) 在軟體工程(Software Engineering)中,軟體與它的需求(requirements)不一致,常常指軟體無法正確完成需求所要求的功能,也稱之為bug。
Fault:(故障)被定義為存在於元件、裝置或者子系統中異常的條件或者缺陷,常常會導致系統的失敗。
Error:(錯誤) 一個error是指編寫錯誤的程式碼,通常是無意中造成的。一般有兩類主要的錯誤,一是語法錯誤(syntax error),該類錯誤易於檢測,因為程式碼在編譯階段無法解析而不能正常編譯通過。另一個是邏輯錯誤(logical error),因為它與程式碼的實際執行密切相關所以不易發現。
三、專案測試的規劃
專案測試內容:
將專案測試分為專案開發階段測試和專案完工驗收測試兩個部分。
開發階段測試內容主要包括:模組功能測試、整合測試和文件檢查。
模組功能測試:確保系統各功能模組能夠正常執行,資料的IPO符合系統設計的要求。單元和模組功能滿足需求定義。
整合測試:系統各模組組裝後,根據業務流程的要求,能夠正確地完成各業務功能,並且資料的處理和輸出正確。
文件檢查:在專案開發階段,按照專案進度表,根據《專案文件測試規範與標準》,對提交的專案文件和記錄(技術文件和管理文件)進行檢查和驗證,以符合公司質量體系和專案制度的要求,對於技術類文件的關鍵要素,驗證是否能夠達到通過標準。
完工驗收測試內容主要包括:安裝測試、功能驗證、效能測試、需求驗證、文件測試。完工驗收測試實際上是專案在結項前的一個全面的檢查和驗證。可以作為專案結項的依據和放行條件。
需求測試:檢查軟體產品是否滿足該專案的需求說明書中規定的功能需求,檢查需求的完整性、一致性、最新性,該項測試重點是需求滿足的完整性。
安裝測試:根據專案提供的安裝文件中的安裝步驟,搭建系統執行環境,檢查系統安裝過程是否正確。可能包括資料庫伺服器的安裝與配置、應用伺服器、控制元件註冊、客戶端的安裝與配置、應用軟體的安裝。
功能驗證:按照需求說明書和系統概要設計,逐項檢查各項功能(功能單元、功能模組)的可執行性和正確性。
文件測試:文件測試從專案立項時就開始了,實際上就是文件檢查,包括規範性檢查和有效性檢查。目的是使專案相關的文件和記錄既規範又有意義,不是為了應付的無用檔案。對於技術文件如:需求說明書、概要設計、詳細設計等,在技術評審時也進行了評測。使用者文件,如安裝手冊、使用者操作手冊,根據文件檢查規範進行。
效能測試:這部分測試的來源,嚴格來講,取決於使用者對軟體特性的一些特定要求,另外,就是公司的開發部門對產品的一些基本的效能要求。若使用者從業務的角度考慮,對軟體產品本身有特定的非功能要求,則必須在軟體需求說明書中加以說明,使之具有可度量和可測試性。對於一些多使用者環境或資料處理能力和負載方面的測試,很難通過手工搭建測試環境來測試,所以可以參考使用一些專門的效能測試工具和手工測試相結合的方式。
四、專案測試的基本流程:
專案測試啟動:專案立項後,在測試配置庫中建立專案。
測試計劃:系統詳細設計後,制定測試計劃,準備測試資源。
設計測試用例,主要是與業務相關的測試用例。
實施功能模組測試,搭建執行或開發環境,採用功能模組測試表的方式,開發人員在功能模組測試表中更新進度狀態,測試人員在該表中描述測試進度。形成測試錯誤列表,該表對每個錯誤都有相應的測試記錄與之連結,在測試記錄中,詳細描述錯誤的情況。在測試記錄中還要包括修正資訊和驗證資訊。
錯誤關閉後,測試人員維護測試記錄表和更新測試用例庫和問題庫,作為經驗積累。
專案在結項時,測試人員進行專案完工驗收測試,填寫專案測試報告。該測試報告可作為使用者驗收的輸入工件。
五、功能測試方法與內容
資料輸入測試:向系統輸入資料或輸入資料庫操作命令時,一般是測試系統對資料庫中資料操作的過程。
資料型別測試:由於不同的資料庫系統對資料型別要求的不同,在定義資料庫表時,也規定了資料欄位的資料型別。
1、測試步驟和方法:在系統的資料維護功能介面上,錄入或修改資料時,特意輸入非系統設計的資料型別,檢查系統是否可以接受,若不能接受則檢查是否滿足了系統在這方面的設計要求,如即刻清除非法內容、輸入焦點不能到下一輸入位置、出現系統自定義的提示資訊、不允許出現開發工具的報錯資訊等。若系統可以接受並儲存,則要看資料庫表的欄位型別設計是否與使用者或習慣上不一致,並且要注意其他模組在調取該資料時,是否有特定要求。
邊界值測試:根據資料取值範圍的要求,輸入符合取值範圍的資料、取值範圍的上、下限和超過取值範圍的資料。注意,除要測試資料庫系統本身資料型別取值範圍外,還要根據軟體系統設計中的一些特定要求,設計測試用例來測試。
資料合法性測試:測試人員除了要測試輸入資料是否滿足所使用資料庫系統本身的資料型別和取值範圍的要求外,還應該根據經驗和軟體系統和需求的特定要求檢查輸入資料的合法性。比如:日期合法性(出生年月、參保日期、發生時間、根據習慣和業務邏輯順序對日期合理性的要求等)。工資、比例、率等,都要注意輸入的合理、合法性。
單引號和雙引號:不要忽略輸入單引號和雙引號可能引起的錯誤和資料問題。在功能錄入介面上,在某欄位的輸入框輸入了包括單引號和雙引號的資料,以後在通過Select 語句查詢時可能會出問題。特別在基於WEB方式的系統,輸入了單引號,在查詢資料記錄時,肯定會出現頁面連結錯誤(頁面無法連結或找不到或連結物件錯誤)。
空值測試:在測試資料錄入或修改的功能介面時,若不輸入任何東西,系統又沒有設計成NOT NULL,則這時,要非常注意其影響。因為資料可以正常儲存,但資料表該欄位是空值,那麼所有與該欄位有關的操作,如:查詢(AND)、計算(累加、連乘)等,則可能出現資料問題(計算結果為0,無記錄返回)。對於測試人員首先要檢查系統到底是作為空值,還是作為空串或空字元處理。另外對於允許不輸入任何值的欄位,在測試過程中,要檢查是否在介面顯示或列印報表時,這些欄位作為了關鍵要素或標題等情況。
空格:在資料維護的功能介面上,輸入資料時,要注意是否在輸入位置有空格,首先看系統設計時,是怎麼考慮的,若系統允許輸入空格,則檢查條件查詢或作為呼叫引數時的資料返回情況;另外檢查程式是否使用了去掉空格的函式。
資料校驗的不一致:測試時,對於一些編號、編碼、程式碼等主鍵或作為查詢或呼叫條件的欄位,要注意系統對他們的輸入合法性檢查與查詢或呼叫條件的要求是否是一致的。特別是對於資料結構設計中沒有特定約束,而由程式進行校驗控制的情況。
分析:資料輸入測試的主要目的是保證輸入到系統中資料的合法、合理性。我覺得,資料輸入過程的檢查是非常重要的,若在程式設計過程中,不注重資料的校驗功能,雖然看起來加快了開發進度,但給以後會帶來一些不可預計的程式設計或維護工作量。
2、目錄路徑測試:測試系統中規定的路徑要求,更改路徑,檢查系統的是否可以正確執行及系統的排錯功能。測試時,根據系統設計說明書(詳細設計)或通過對程式原始碼的熟悉,找出系統執行過程中指定的路徑或在執行過程中,需要使用者選擇路徑的地方。特意更改路徑(選擇正確的路徑、選擇另外的路徑、輸入不存在的路徑)。檢查系統是否具有路徑上的容錯性和靈活性。比如,原則上在程式中,最好不要寫絕對路徑,另外可以提供配置路徑的對話方塊,若輸入了非法路徑,系統有無提示等。
3、 資料操作測試:包括資料操作測試和使用者介面操作的測試。
修改、新增資料:對於新增和修改資料,要注重以下幾個方面的測試。介面上,新增資料成功後,資料列表是否立即重新整理,輸入有錯誤時,是否清空錯誤的資料,輸入焦點是否得以控制。在提示資訊上,是否有儲存成功的提示,輸入有錯誤時,提示的錯誤資訊是否準確,可讀。資料方面,要通過SQL檢查資料提交是否正確。
刪除資料:測試刪除記錄時,系統是否有確認提示,能否批量刪除,根據系統詳細設計,檢查刪除主表記錄時,在業務上,其他相關表是否相應更改。
事物的提交與回滾:熟悉C/S模式開發或資料庫應用系統開發的人都知道,資料庫事物的概念。對於一個比較複雜的業務邏輯或業務上有資料一致和完整性要求時,儘量使用事物對資料進行提交,這樣一旦由於意外原因引起系統或硬體故障時,可以回滾。根據系統的設計要求在測試時,可人為模擬意外故障,來測試系統的資料完整性和容錯能力。
4、工具條和快捷鍵測試:在功能介面測試時,對系統選單中定義的快捷鍵和選單工具條中的工具按鈕要測試。主要是有效性和一致性測試。有效性:檢查是否有效,介面有無反應。一致性:定義或提示的資訊是否與實際完成的功能一致。
5、 操作順序測試
按鈕順序測試:在功能介面上,不按照設計上或習慣上的操作順序點選功能按鈕,看系統有什麼反應;多次、反覆點選某一按鈕,看系統有什麼反應。主要是測試系統的控制、校驗和容錯能力。
業務邏輯順序:不按照系統的正常業務邏輯、流程操作,來測試系統是否控制了業務流程的順序。
6、按鈕有效性控制測試:主要是測試當不具備條件或無實際意義的情況下,按鈕的“Enabled”屬性。比如:某一業務未處理,下一環節的功能按鈕則應變灰(不可用)。逐條顯示資料記錄,當遊標已經指到了最後一條時,“下一條”和“末記錄”按鈕則應變灰等。
7、同時刻操作測試:對於刪除、修改、增加資料和一些業務功能,進行多客戶端同時刻操作測試,看系統有什麼反應。
8、附件壓力測試:對於有傳送、上傳、下載、郵件等功能的系統,選取大的檔案,進行測試,來檢查系統的介面效果和穩定性,看是否會當機或長時間無任何反應等。
9、 資料輸出測試:
資料處理輸出測試:主要測試對資料的排序、條件查詢是否按照輸入的條件或要求輸出了正確的資料。
列印輸出:測試列印功能是否能夠正常列印出報表,列印設定後,是否能按照設定的要求列印。
10、WEB測試:基於WEB方式的應用,對於一些提交表單的頁面,通過多次點選“back”鍵,來測試系統的處理情況。對於有儲存資料功能的頁面,多次點選“儲存”,來測試系統的處理情況。