爬蟲常見錯誤程式碼及解決措施

一些 使用者反映在爬蟲的過程中，使用了代理IP但是依舊出現請求失敗的情況 。 如果爬蟲使用不當或者用了 質量較低 的代理IP都 可能 會導致上述情況的發生。 以下是一些 使用代理IP時常見的報錯及原因 ：

 

1 、 錯誤程式碼401 （未授權）

 

當錯誤程式碼為401 時，網頁會 先 請求身份驗證 ， 這種錯誤 一般是 在需要登入賬號密碼來訪問網頁時發生 。 當 使用者 在使用代理IP 瀏覽器訪問時，會轉跳到一個有賬號密碼登入的視窗。 如果 發生這種錯誤， 是由於在 使用代理IP 錢 沒有授權白名單IP ， 或是 沒有繫結固定的IP 授權， 此時應該 再次去繫結授權白名單IP ，並重新進入。

 

2 、 錯誤程式碼403 （禁止）

 

此 錯誤程式碼是爬蟲使用者遇見多的程式碼，它 意味 著伺服器拒絕了 使用者 的請求。 出現的原因一 般是 有欲 爬蟲抓取的頻率太大，在反覆高速訪問頁面時給目標伺服器帶來了過大的壓力，導致伺服器判定爬蟲使用者的IP 為非正常訪問，從而禁止 了 爬蟲使用者的IP 。這種時候爬蟲使用者 可以通過更換新的 IP 地址來 解決 。

 

品易雲全球HTTP 已向多知名網站提供服務，支援 API 批量使用，支援多執行緒高併發使用。