關於爬蟲工具 colly 的問題
c.OnHTML("div[class] p", func(element *colly.HTMLElement) {
//能否在此處獲取所有想獲取的 html 元素資訊並插入資料庫獲取其他
//用途,而不是另外再開闢一個 c.OnHTML 回撥函式?
})
比如說我不止想獲得所有的 "div[class] p" ,還想獲得 "div[class] a" 等等,根據我的測試,當我執行多個 c.OnHTML 程式碼塊時,回撥總是按照上下順序依次執行,這樣我就不能同時獲取到 同一個 "div[class]" 下面的元素資訊了。 因為剛接觸爬蟲技術,並且對 html 不是那麼熟悉,不知道我描述得清不清楚?
更多原創文章乾貨分享,請關注公眾號
- 加微信實戰群請加微信(註明:實戰群):gocnio
相關文章
- 用Golang寫爬蟲(六) - 使用collyGolang爬蟲
- Golang 網路爬蟲框架gocolly/collyGolang爬蟲框架
- 關於Python爬蟲面試50道題Python爬蟲面試
- 爬蟲抓取UserAgent問題爬蟲
- 關於非同步爬蟲排序的困惑非同步爬蟲排序
- 網路爬蟲之關於爬蟲 http 代理的常見使用方式爬蟲HTTP
- 爬蟲過程中遇到的問題爬蟲
- Python爬蟲亂碼問題Python爬蟲
- 爬蟲必備工具,掌握它就解決了一半的問題爬蟲
- python爬蟲常見的那點問題!Python爬蟲
- 關於strace 工具處理問題技巧
- Python 爬蟲的工具鏈Python爬蟲
- Python 爬蟲的工具列表Python爬蟲
- 爬蟲學習之基於Scrapy的網路爬蟲爬蟲
- 網路爬蟲編寫常見問題爬蟲
- 爬蟲常見問題及解決方式爬蟲
- python爬蟲爬取網頁中文亂碼問題的解決Python爬蟲網頁
- 如何選擇爬蟲工具?爬蟲
- Python爬蟲工具列表Python爬蟲
- python爬蟲如何爬知乎的話題?Python爬蟲
- 關於SQLServerDriver的問題SQLServer
- 關於 JavaMail 的問題JavaAI
- 關於session的問題Session
- 【Python學習】爬蟲爬蟲爬蟲爬蟲~Python爬蟲
- 關於一些爬蟲專案教程的整理(轉載)爬蟲
- 網路爬蟲常見問題(個人總結)爬蟲
- 基於java的分散式爬蟲Java分散式爬蟲
- Windows下安裝配置爬蟲工具Scrapy及爬蟲環境Windows爬蟲
- 網路爬蟲專案開發日誌(一):關於爬蟲專案所涉及的領域知識爬蟲
- 如何利用ip住宅代理解決python爬蟲遇到反爬措施的問題?Python爬蟲
- 對於反爬蟲偽裝瀏覽器進行爬蟲爬蟲瀏覽器
- 寫爬蟲,免不了要研究JavaScript設定cookies的問題爬蟲JavaScriptCookie
- Python小白的爬蟲問題與解決(含程式碼)Python爬蟲
- 【0基礎學爬蟲】爬蟲基礎之自動化工具 Pyppeteer 的使用爬蟲
- 關於javascript的this指向問題JavaScript
- 關於跨域的問題跨域
- 關於bit code的問題
- 關於序列同步的問題