爬蟲學習日記(七)

KIM曉峰發表於2019-01-15

今天上午繼續在弄WHLC的東西,是環境的問題。

下午繼續解決12PD的bug:
因為12PD的網站只能支援一個月內的搜尋,所以當工具釐米的起始時間和結束時間超過一個月,無法返回正確的內容。

關於這個是因為我之前研究過這個網站,確實是不能搜尋超過一個月,會報一個錯,所以當時間超過1個月是,我會返回一個noResult的exception,我以為這是正確的。但是站在客戶的角度講,他可能會需要搜尋到兩個月,三個月的的資訊,而這些資訊是存在的,只要在網站上分開一個一個月來搜尋就行了,所以返回noResult是錯的,這是之前開發的時候所沒有想到的。

解法方案:
我之前的邏輯是:從instruction獲取資訊(時間 城市等)-> 拼接header -> 拼接request body -> 獲取 response -> 解析 response
現在的邏輯:從instruction獲取資訊(時間 城市等) -> 將起始時間賦值給FromDate 結束時間賦值給ToDate -> 判斷FromDate和ToDate之間是不是超過30天 -> 超過30天就擷取前30天執行查詢

processon打不開,不然就能畫圖了。

爬蟲學習日記(七)

相關文章