- Python爬蟲入門（1）：綜述
- Python爬蟲入門（2）：爬蟲基礎瞭解
- Python爬蟲入門（3）：Urllib庫的基本使用
- Python爬蟲入門（4）：Urllib庫的高階用法
- Python爬蟲入門（5）：URLError異常處理
- Python爬蟲入門（6）：Cookie的使用
- Python爬蟲入門（7）：正規表示式
- Python爬蟲入門（8）：Beautiful Soup的用法
大家好，本節在這裡主要說的是URLError還有HTTPError，以及對它們的一些處理。
1.URLError
首先解釋下URLError可能產生的原因：
- 網路無連線，即本機無法上網
- 連線不到特定的伺服器
- 伺服器不存在
在程式碼中，我們需要用try-except語句來包圍並捕獲相應的異常。下面是一個例子，先感受下它的風騷
|
1 2 3 4 5 6 7 |
import urllib2 requset = urllib2.Request('http://www.xxxxx.com') try: urllib2.urlopen(requset) except urllib2.URLError, e: print e.reason |
我們利用了 urlopen方法訪問了一個不存在的網址，執行結果如下：
|
1 |
[Errno 11004] getaddrinfo failed |
它說明了錯誤代號是11004，錯誤原因是 getaddrinfo failed
2.HTTPError
HTTPError是URLError的子類，在你利用urlopen方法發出一個請求時，伺服器上都會對應一個應答物件response，其中它包含一個數字”狀態碼”。舉個例子，假如response是一個”重定向”，需定位到別的地址獲取文件，urllib2將對此進行處理。
其他不能處理的，urlopen會產生一個HTTPError，對應相應的狀態嗎，HTTP狀態碼錶示HTTP協議所返回的響應的狀態。下面將狀態碼歸結如下：
100：繼續 客戶端應當繼續傳送請求。客戶端應當繼續傳送請求的剩餘部分，或者如果請求已經完成，忽略這個響應。
101： 轉換協議 在傳送完這個響應最後的空行後，伺服器將會切換到在Upgrade 訊息頭中定義的那些協議。只有在切換新的協議更有好處的時候才應該採取類似措施。
102：繼續處理 由WebDAV（RFC 2518）擴充套件的狀態碼，代表處理將被繼續執行。
200：請求成功 處理方式：獲得響應的內容，進行處理
201：請求完成，結果是建立了新資源。新建立資源的URI可在響應的實體中得到 處理方式：爬蟲中不會遇到
202：請求被接受，但處理尚未完成 處理方式：阻塞等待
204：伺服器端已經實現了請求，但是沒有返回新的信 息。如果客戶是使用者代理，則無須為此更新自身的文件檢視。 處理方式：丟棄
300：該狀態碼不被HTTP/1.0的應用程式直接使用， 只是作為3XX型別迴應的預設解釋。存在多個可用的被請求資源。 處理方式：若程式中能夠處理，則進行進一步處理，如果程式中不能處理，則丟棄
301：請求到的資源都會分配一個永久的URL，這樣就可以在將來通過該URL來訪問此資源 處理方式：重定向到分配的URL302：請求到的資源在一個不同的URL處臨時儲存 處理方式：重定向到臨時的URL
304：請求的資源未更新 處理方式：丟棄
400：非法請求 處理方式：丟棄
401：未授權 處理方式：丟棄
403：禁止 處理方式：丟棄
404：沒有找到 處理方式：丟棄
500：伺服器內部錯誤 伺服器遇到了一個未曾預料的狀況，導致了它無法完成對請求的處理。一般來說，這個問題都會在伺服器端的原始碼出現錯誤時出現。
501：伺服器無法識別 伺服器不支援當前請求所需要的某個功能。當伺服器無法識別請求的方法，並且無法支援其對任何資源的請求。
502：錯誤閘道器 作為閘道器或者代理工作的伺服器嘗試執行請求時，從上游伺服器接收到無效的響應。
503：服務出錯 由於臨時的伺服器維護或者過載，伺服器當前無法處理請求。這個狀況是臨時的，並且將在一段時間以後恢復。
HTTPError例項產生後會有一個code屬性，這就是是伺服器傳送的相關錯誤號。
因為urllib2可以為你處理重定向，也就是3開頭的代號可以被處理，並且100-299範圍的號碼指示成功，所以你只能看到400-599的錯誤號碼。
下面我們寫一個例子來感受一下，捕獲的異常是HTTPError，它會帶有一個code屬性，就是錯誤代號，另外我們又列印了reason屬性，這是它的父類URLError的屬性。
|
1 2 3 4 5 6 7 8 |
import urllib2 req = urllib2.Request('http://blog.csdn.net/cqcre') try: urllib2.urlopen(req) except urllib2.HTTPError, e: print e.code print e.reason |
執行結果如下
|
1 2 |
403 Forbidden |
錯誤代號是403，錯誤原因是Forbidden，說明伺服器禁止訪問。
我們知道，HTTPError的父類是URLError，根據程式設計經驗，父類的異常應當寫到子類異常的後面，如果子類捕獲不到，那麼可以捕獲父類的異常，所以上述的程式碼可以這麼改寫
|
1 2 3 4 5 6 7 8 9 10 11 |
import urllib2 req = urllib2.Request('http://blog.csdn.net/cqcre') try: urllib2.urlopen(req) except urllib2.HTTPError, e: print e.code except urllib2.URLError, e: print e.reason else: print "OK" |
如果捕獲到了HTTPError，則輸出code，不會再處理URLError異常。如果發生的不是HTTPError，則會去捕獲URLError異常，輸出錯誤原因。
另外還可以加入 hasattr屬性提前對屬性進行判斷，程式碼改寫如下
|
1 2 3 4 5 6 7 8 9 10 11 12 |
import urllib2 req = urllib2.Request('http://blog.csdn.net/cqcre') try: urllib2.urlopen(req) except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason else: print "OK" |
首先對異常的屬性進行判斷，以免出現屬性輸出報錯的現象。
以上，就是對URLError和HTTPError的相關介紹，以及相應的錯誤處理辦法，小夥伴們加油！
打賞支援我寫出更多好文章，謝謝！
打賞作者
打賞支援我寫出更多好文章，謝謝！
任選一種支付方式
