提高你的Python能力:理解單元測試

pythontab發表於2015-11-20

對於程式開發新手來說,一個最常見的困惑是測試的主題。他們隱約覺得“單元測試”是很好的,而且他們也應該做單元測試。但他們卻不懂這個詞的真正含義。如果這聽起來像是在說你,不要怕!在這篇文章中,我將介紹什麼是單元測試,為什麼它有用,以及如何對Python的程式碼進行單元測試。

什麼是測試?

在討論為什麼測試很有用、怎樣進行測試之前,讓我們先花幾分鐘來定義一下“單元測試”究竟是什麼。在一般的程式設計術語中,“測試”指的是透過編寫可以呼叫的程式碼(獨立於你實際應用程式的程式碼)來幫助你確定程式中是否有錯誤。這並不能證明你的程式碼是正確的(在非常有限的情況下這是唯一的可能)。它只是報告了測試者認為的那種情況是否被正確處理了。

注:當我使用“測試”一次時,我指的是“自動化測試”,即這些測試是在機器上執行的。“手動測試”則是一個人執行程式,並與它進行互動,從而發現漏洞,這是個獨立的概念。

測試可以檢查出什麼樣的情況呢?語法錯誤是語言的意外誤用,如

my_list..append(foo)

後面多餘的一個 “.“。邏輯錯誤是當演算法(可以看成是“解決問題的方式”)不正確時引發的。可能程式設計師忘記Python是“零索引“的並且試圖透過寫

print(my_string[len(my_string)])

(這樣會引起IndexError)來列印出一個字串中的最後一個字元。更大、更系統的錯誤也可以被檢查出來。比如當使用者輸入一個大於100的數字、或者在網站檢索不可用的時候掛起此網站的話,程式會一直崩潰。

這些所有的錯誤都可以透過對程式碼的仔細測試檢查出來。Unit testing,特指在一個分隔的程式碼單元中的測試。一個單元可以是整個模組,一個單獨的類或者函式,或者這兩者間的任何程式碼。然而,重要的是,測試程式碼要與我們沒有測試到的其他程式碼相互隔離(因為其它程式碼本身有錯誤的話會因此混淆測試結果)。考慮如下例子:

def is_prime(number):
    """Return True if *number* is prime."""
    for element in range(number):
        if number % element == 0:
            return False
    return True
def print_next_prime(number):
    """Print the closest prime number larger than *number*."""
    index = number
    while True:
        index += 1
        if is_prime(index):
            print(index)

你有兩個函式,is_prime 和 print_next_prime。如果你想測試print_next_prime,我們就需要確定is_prime是正確的,因為print_next_prime 中呼叫了這個函式。在這種情況下,print_next_prime 函式是一個單元,is_prime 函式是另一個單元。由於單元測試每次只測試一個單元,因此我們需要仔細考慮怎樣才能準確的測試 print_next_prime ?(更多的是關於之後怎樣實現這些測試)。

因此,測試程式碼應該長什麼樣呢?如果上一個例子存在一個叫primes.py 的檔案中,我們可以把測試程式碼寫在一個叫 test_primes.py 的檔案中。下面是 test_primes.py 中的最基本內容,比如下面這個測試樣例:

import unittest
from primes import is_prime
class PrimesTestCase(unittest.TestCase):
    """Tests for `primes.py`."""
    def test_is_five_prime(self):
        """Is five successfully determined to be prime?"""
        self.assertTrue(is_prime(5))
if __name__ == '__main__':
    unittest.main()

這個檔案透過一個test case:?test_is_five_prime. 建立了一個單元測試。透過Python內嵌的一個測試框架 unittest。當unittest.main()被呼叫時,任何一個以test開頭命名的成員函式將被執行,他們是unittest.TestCase的一個派生類,並且是斷言檢查的。如果我們透過輸入python test_primes.py來執行測試,我們能夠看到unittest框架在控制檯上 的輸出:

$ python test_primes.py
E
======================================================================
ERROR: test_is_five_prime (__main__.PrimesTestCase)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_primes.py", line 8, in test_is_five_prime
    self.assertTrue(is_prime(5))
File "/home/jknupp/code/github_code/blug_private/primes.py", line 4, in is_prime
    if number % element == 0:
ZeroDivisionError: integer division or modulo by zero
----------------------------------------------------------------------
Ran 1 test in 0.000s

單獨的“E”表示的是我們單元測試的結果(如果它成功了,會列印出一個“.”)。我們可以看到我們的測試失敗了,以及導致失敗的那行程式碼,還有任何引發的異常資訊。

為什麼要測試?

在我們繼續那個例子之前,要問個很重要的問題:“為什麼測試對我來說有價值”?這是個公平的問題,也是那些對於程式碼測試不熟悉的人常問的問題。畢竟,測試需要一定的時間,而我們完全可以用這些時間去編程式碼,為什麼要測試而不是去做那些最有生產效率的事?

有很多答案可以有效的回答這個問題,我列出了以下幾點:

測試可以保證你的程式碼在一系列給定條件下正常工作

測試確保了一系列條件下的正確性。語法錯誤基本上一定透過測試被查出來,一個程式碼單元的基本的邏輯也可以透過測試被檢測出來,以確保一定條件下的正確性。再次,它不是要證明程式碼是在任何條件下都正確的。我們只是簡單的瞄準了一套比較完整的可能的條件(例如,你可以寫一個測試來監測當你呼叫my_addition_function(3, 'refrigerator), 的時候,但你不必為每個引數檢測所有可能的字串)

測試允許人們確保對程式碼的改動不會破壞現有的功能

重構程式碼時,這一點特別有用。如果沒有測試到位,你就沒法保證你的程式碼的改變沒有破壞之前工作正常的東西。如果你希望更改或重寫你的程式碼,並希望不會破壞任何東西,適當的單元測試是很必要的。

測試迫使人們在不尋常條件的情況下思考程式碼,這可能會揭示出邏輯錯誤

編寫測試強迫你去思考在非正常條件下你的程式碼可能遇到的問題。在上面的例子中,my_addition_function函式可以將兩個數字相加。測試基本正確性的簡單測試將呼叫my_addition_function(2,2),並斷言說結果是4。然而,進一步的測試可能會透過呼叫my_addition_function(2.0,2.0)來測試該功能是否能正確進行浮點數的運算。防禦性的編碼原則表明你的程式碼應該能夠在非法輸入的情況下正常失效,因此測試時,當字串型別被作為引數傳遞到函式中時應當丟擲一個異常。

良好的測試要求模組化,解耦程式碼,這是一個良好的系統設計的標誌

單元測試的整體做法是透過程式碼的鬆散耦合使其變得更容易。如果你的應用程式程式碼直接呼叫資料庫,例如,測試你應用程式的邏輯依賴於一個有效的資料庫連線,並且測試資料要存在於資料庫中。另一方面,隔離了外部資源的程式碼在測試過程中更容易被模擬物件所替代。出於必要,(人們)設計的有測試能力的應用程式最終採用了模組化和鬆散耦合。

單元測試的剖析

透過繼續之前的例子,我們將看到如何編寫並組織單元測試。回想一下,primes.py包含以下程式碼:

def is_prime(number):
    """Return True if *number* is prime."""
    for element in range(number):
        if number % element == 0:
            return False
    return True
def print_next_prime(number):
    """Print the closest prime number larger than *number*."""
    index = number
    while True:
        index += 1
        if is_prime(index):
            print(index)

同時,檔案test_primes.py包含如下程式碼:

import unittest
from primes import is_prime
class PrimesTestCase(unittest.TestCase):
    """Tests for `primes.py`."""
    def test_is_five_prime(self):
        """Is five successfully determined to be prime?"""
        self.assertTrue(is_prime(5))
if __name__ == '__main__':
    unittest.main()

做出斷言

unittest是Python標準庫中的一部分,並且也是我們開始“單元測試之旅”的一個好的起點。一個單元測試中包括一個或多個斷言(一些宣告被測試程式碼的一些屬性為真的語句)。會想你上學的時候“斷言”這個詞的字面意思就是“陳述事實”。在單元測試中,斷言也是同樣的作用。

self.assertTrue 更像是自我解釋。它能宣告傳遞過去的引數的計算結果為真。unittest.TestCase類包含了許多斷言方法,所以一定要檢查列表並選擇合適的方法進行測試。如果在每個測試中都用到assertTrue的話,則應該考慮一個反模式,因為它增加了測試中讀者的認知負擔。正確使用斷言的方法應當是使測試能夠明確說明究竟是什麼在被斷言(例如,很明顯?,只需掃一眼assertIsInstance 的方法名,就知道它要說明的是其引數)。

每個測試應該測試一個單獨、有具體特性的程式碼,並且應該被賦予相關的命名。就單元測試發現機制的研究表明(主要在Python2.7+和3.2+版本中),測試方法應該以test_為字首命名。(這是可配置的,但是其目的是鑑別測試方法和非測試的實用方法)。如果我們把test_is_five_prime 的命名改為is_five_prime的話,執行python中的test_primes.py時會輸出如下資訊:

$ python test_primes.py
----------------------------------------------------------------------
Ran 0 tests in 0.000s
OK

不要被上面資訊中的“OK”所糊弄了,只有當什麼測試都沒真正執行的時候才會顯示出“OK”!我認為一個測試也沒跑其實應該顯示個報錯的,但是個人感覺放在一邊,這是一個你應該注意是行為,尤其是當透過程式執行來檢查測試結果的時候(例如,一個持續的整合工具,像TracisCI)。

異常

讓我們回到test_primes.py的實際內容中去,回憶一下執行python test_primes.py指令後的輸出結果:

$ python test_primes.py
E
======================================================================
ERROR: test_is_five_prime (__main__.PrimesTestCase)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_primes.py", line 8, in test_is_five_prime
    self.assertTrue(is_prime(5))
File "/home/jknupp/code/github_code/blug_private/primes.py", line 4, in is_prime
    if number % element == 0:
ZeroDivisionError: integer division or modulo by zero
----------------------------------------------------------------------
Ran 1 test in 0.000s

這些輸出告訴我們,我們一個測試的結果失敗並不是因為一個斷言失敗了,而是因為出現了一個未捕獲的異常。事實上,由於丟擲了一個異常,unittest框架並沒有能夠執行我們的測試就返回了。

這裡的問題很明確:我們使用的求模運算的計算範圍中包括了0,因此執行了一個除以0的操作。為了解決這個問題,我們可以很簡單的將起始值由0變為2,並指出對0求模是錯誤的,而對1求模則一直是真(並且一個素數只能被自身和1整除,因此我們無需檢查1)。

解決問題

一次失敗的測試使我們修改了程式碼。一旦我們改好了這個錯誤(將s_prime中的一行改為for element in range(2, number):),我們就得到了如下輸出:

$ python test_primes.py
.
----------------------------------------------------------------------
Ran 1 test in 0.000s

現在錯誤已經改了,這是不是意味著我們應該刪掉test_is_five_prime這個測試方法(因為很明顯,它將不會一直能透過測試)?不應該刪。由於透過測試是最終目標的話單元測試應該儘量少的被刪除。我們已經測試過is_prime的語法是有效的,並且,至少在一種情況下,它返回正確的結果。我們的目標是要建立一套能全部透過的(單元測試的邏輯分組)測試,雖然有些一開始可能會失敗。

test_is_five_prime用於處理一個“非特殊”的素數。讓我們確保它也能正確處理非素數。將以下方法新增到PrimesTestCase類:

def test_is_four_non_prime(self):
    """Is four correctly determined not to be prime?"""
    self.assertFalse(is_prime(4), msg='Four is not prime!')

請注意,這時我們給assert呼叫新增了可選的msg引數。如果該測試失敗了,我們的資訊將被列印到控制檯,並給執行測試的人提供額外的資訊。

邊界情況

我們已經成功的測試了兩種普通情況。現在讓我們考慮邊界情況下、或者那些不尋常或意外的輸入的用例。當測試一個其範圍是正整數的函式時,邊界情況下的例項包括0、1、負數和一個很大的數字。現在讓我們來測試其中的一些。

新增一個對0的測試很簡單。我們預計?is_prime(0)返回的是false,因為,根據定義,素數必須大於1。

def test_is_zero_not_prime(self):
    """Is zero correctly determined not to be prime?"""
    self.assertFalse(is_prime(0))

可惜呀,輸出是:

python test_primes.py
..F
======================================================================
FAIL: test_is_zero_not_prime (__main__.PrimesTestCase)
Is zero correctly determined not to be prime?
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_primes.py", line 17, in test_is_zero_not_prime
    self.assertFalse(is_prime(0))
AssertionError: True is not false
----------------------------------------------------------------------
Ran 3 tests in 0.000s
FAILED (failures=1)

0被錯誤的判定為素數。我們忘記了,我們決定在數字範圍中跳過0和1。讓我們增加一個對他們的特殊檢查。

def is_prime(number):
    """Return True if *number* is prime."""
    if number in (0, 1):
        return False
    for element in range(2, number):
        if number % element == 0:
            return False
    return True

現在測試透過了。我們的函式應該怎樣處理一個負數?在寫這個測試用例之前就知道輸出結果是很重要的。在這種情況下,任何負數都應該返回false。

def test_negative_number(self):
    """Is a negative number correctly determined not to be prime?"""
    for index in range(-1, -10, -1):
        self.assertFalse(is_prime(index))

這裡我們覺得檢查從-1到-9的所有數字。在一個迴圈中呼叫test方法是非常合法的,在一個測試中多次呼叫斷言方法也可以。我們可以在下面用(更詳細)的方式改寫程式碼。

def test_negative_number(self):
    """Is a negative number correctly determined not to be prime?"""
    self.assertFalse(is_prime(-1))
    self.assertFalse(is_prime(-2))
    self.assertFalse(is_prime(-3))
    self.assertFalse(is_prime(-4))
    self.assertFalse(is_prime(-5))
    self.assertFalse(is_prime(-6))
    self.assertFalse(is_prime(-7))
    self.assertFalse(is_prime(-8))
    self.assertFalse(is_prime(-9))

這兩個是完全等價的。除了當我們執行迴圈版本時,我們得到了一個我們不太想要的資訊:

python test_primes.py
...F
======================================================================
FAIL: test_negative_number (__main__.PrimesTestCase)
Is a negative number correctly determined not to be prime?
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_primes.py", line 22, in test_negative_number
    self.assertFalse(is_prime(index))
AssertionError: True is not false
----------------------------------------------------------------------
Ran 4 tests in 0.000s
FAILED (failures=1)

嗯···我們知道測試失敗了,但是是在哪個負數上失敗的?非常沒用的是,Python的單元測試框架並沒有列印出預期值和實際值。我們可以移步到兩種方式上,並用其中之一來解決問題:透過msg引數,或透過使用一個第三方的單元測試框架。

使用msg引數來assertFalse僅僅能夠使我們認識到我們可以用字串的格式設定來解決問題。

def test_negative_number(self):
    """Is a negative number correctly determined not to be prime?"""
    for index in range(-1, -10, -1):
        self.assertFalse(is_prime(index), msg='{} should not be determined to be prime'.format(index))

從而給出瞭如下輸出資訊:

python test_primes
...F
======================================================================
FAIL: test_negative_number (test_primes.PrimesTestCase)
Is a negative number correctly determined not to be prime?
----------------------------------------------------------------------
Traceback (most recent call last):
File "./test_primes.py", line 22, in test_negative_number
    self.assertFalse(is_prime(index), msg='{} should not be determined to be prime'.format(index))
AssertionError: True is not false : -1 should not be determined to be prime
----------------------------------------------------------------------
Ran 4 tests in 0.000s
FAILED (failures=1)

妥善地修復程式碼

我們看到,失敗的負數是第一個數字:-1。為了解決這個問題,我們可以為負數增再增加一個特殊檢查,但是編寫單元測試的目的不是盲目的新增程式碼來檢測邊界情況。當一個測試失敗時,我們應該退後一步並且確定解決問題的最佳方式。在這種情況下,我們就不該增加一個額外的if:

def is_prime(number):
    """Return True if *number* is prime."""
    if number < 0:
        return False
    if number in (0, 1):
        return False
    for element in range(2, number):
        if number % element == 0:
            return False
    return True

應當首先使用如下程式碼:

def is_prime(number):
    """Return True if *number* is prime."""
    if number <= 1:
        return False
    for element in range(2, number):
        if number % element == 0:
            return False
    return True

在後一個程式碼中,我們發現如果引數小於等於1時,兩個if語句可以合併到一個返回值為false的語句中。這樣做不僅更加簡潔,並且很好的貼合了素數的定義(一個比1大並且只能被1和它本身整除的數)。

第三方測試框架

我們本來也可以透過使用第三方測試框架解決這個由於資訊太少導致測試失敗的問題。最常用的兩個是py.test和nose。透過執行語句py.test -l(-l為顯示區域性變數的值)可以得到如下結果。

#! bash
py.test -l test_primes.py
============================= test session starts ==============================
platform linux2 -- Python 2.7.6 -- pytest-2.4.2
collected 4 items
test_primes.py ...F
=================================== FAILURES ===================================
_____________________ PrimesTestCase.test_negative_number ______________________
self =     def test_negative_number(self):
        """Is a negative number correctly determined not to be prime?"""
        for index in range(-1, -10, -1):
>           self.assertFalse(is_prime(index))
E           AssertionError: True is not false
index      = -1
self       = test_primes.py:22: AssertionError

正如你所看到的,一些更有用的資訊。這些框架提供了比單純的更詳細的輸出更多的功能,但問題是僅僅知道它們能存在和擴充套件內建unittest測試包的功能。

結束語

在這篇文章中,你學到了什麼是單元測試,為什麼它們如此重要,還有怎樣編寫測試。這就是說,要注意我們只是剖開了測試方法學中的表層,更多高階的話題,比如測試案例的組織、持續整合以及測試案例的管理等都是可供那些想要進一步學習Python中的測試的讀者研究的很好的話題。

在不改變其功能的前提下重組/清理程式碼

編程式碼時不暴露其內部資料或函式並且不使用其他程式碼的內部資料或函式


文章轉自:http://blog.jobbole.com/55180/ 作者:卷卷怪

英文出處:http://jeffknupp.com/blog/2013/12/09/improve-your-python-understanding-unit-testing/

相關文章