爬蟲學習日記(一)

KIM曉峰發表於2018-11-28

專案放到IDEA一直都跑不出起來,設定了module 各種source也沒有用,待解決。

放到MyEcliese後,就可以跑了。

需要解決的問題是:

爬蟲學習日記(一)

爬蟲學習日記(一)

在stack裡面去掉selenium的log,保留InvalidInput的log

剛開始我的做法是:

爬蟲學習日記(一)

直接不去丟擲這個Exception

爬蟲學習日記(一)

好的 我的做法有點蠢

現在開始從重現問題開始:

重現問題也遇到了很多困難,首先要知道重現的是什麼問題,開啟test有個網址,應該是從裡面爬東西。

爬蟲學習日記(一)

裡面有這麼一個輸入框,我推測這個爬蟲應該是模擬輸入,然後爬取資訊的,我在stack裡面找到了模擬輸入的資訊:

爬蟲學習日記(一)

然後在爬蟲中設定了要輸入的值:

爬蟲學習日記(一)

然而在debug時,並沒有出現跟郵件裡一樣的stack,報了這種錯:

爬蟲學習日記(一)

debug以後是這一句:

爬蟲學習日記(一)

問了東哥,是本地的phantoms沒有設定,所以它獲取不到,就會報錯,開啟專案中本地的webdriver測試方法,然後在本地安裝phantoms和webdriver(ChromeDriver),期間搜尋了一下,phantoms是一個無頭瀏覽器,而selenuim可以模擬使用者操作,模擬過程需要一個瀏覽器驅動。

本地安裝完全都東西,設定完以後:

爬蟲學習日記(一)

再次debug 出現同樣的stack:

爬蟲學習日記(一)

相關文章