Java實現網路爬蟲 案例程式碼3:使用webmagic框架獲取天氣預報
案例3:獲取天氣預報資訊
需求說明
搭建開發環境,實現從“hao123.com”中獲取當地天氣預報資訊,從控制檯輸出結果
分析
訪問網址:
分析網站URL、文件內容特徵
獲取網頁內容
拆分出需求內容
控制檯輸出結果
搭建WebMagic開發環境
示例程式碼
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.ConsolePipeline;
import us.codecraft.webmagic.processor.PageProcessor;
public class WeatherRepo implements PageProcessor{
// 部分一:抓取網站的相關配置,包括編碼、抓取間隔、重試次數等
private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
@Override
// process是定製爬蟲邏輯的核心介面,在這裡編寫抽取邏輯
public void process(Page page) {
// 部分二:定義如何抽取頁面資訊,並儲存下來
page.putField("city",
page.getHtml().xpath("//span[@class='weather2-item']/text()").toString());
page.putField("info_today",
page.getHtml().xpath("//div[@data-hook='weather']/text()").toString());
page.putField("temperature_today",
page.getHtml().xpath("//div[@data-hook='tempera']/text()").toString());
page.putField("info_tomorrow",
page.getHtml().xpath("//div[@data-hook='weather-tomorrow']/text()").toString());
page.putField("temperature_tomorrow",
page.getHtml().xpath("//div[@data-hook='tempera-tomorrow']/text()").toString());
}
@Override
public Site getSite() {
return site;
}
public static void main(String[] args) {
Spider.create(new WeatherRepo())
//從""開始抓
.addUrl("")
.addPipeline(new ConsolePipeline()) // 控制檯輸出
.run();
}
}
————————————————
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69940641/viewspace-2934421/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Java實現網路爬蟲 案例程式碼Java爬蟲
- Java實現網路爬蟲 案例程式碼:從網上獲取《三國演義》全文Java爬蟲
- python爬蟲獲取天氣網實時資料Python爬蟲
- WebMagic 爬蟲框架淺析Web爬蟲框架
- Python 獲取當地未來五天天氣 天氣預報 獲取天氣Python
- 使用這個開源工具獲取本地天氣預報開源工具
- 《Python3網路爬蟲開發實戰程式碼》基本庫使用Python爬蟲
- python網路爬蟲(14)使用Scrapy搭建爬蟲框架Python爬蟲框架
- Python使用多程式提高網路爬蟲的爬取速度Python爬蟲
- Python爬蟲入門教程 53-100 Python3爬蟲獲取三亞天氣做旅遊參照Python爬蟲
- Python網路爬蟲實踐案例:爬取貓眼電影Top100Python爬蟲
- 請利用SAX編寫程式解析Yahoo的XML格式的天氣預報,獲取天氣預報——python學習筆記XMLPython筆記
- Java網路爬蟲實操(10)Java爬蟲
- Java網路爬蟲實操(8)Java爬蟲
- Java網路爬蟲實操(9)Java爬蟲
- Java網路爬蟲實操(7)Java爬蟲
- 使用和風天氣介面獲取天氣資訊
- 爬蟲搭建代理池、爬取某網站影片案例、爬取新聞案例爬蟲網站
- python3網路爬蟲開發實戰_Python 3開發網路爬蟲(一)Python爬蟲
- python實現selenium網路爬蟲Python爬蟲
- 3、爬蟲-selenium-獲取使用者cookie的使用爬蟲Cookie
- 最簡單的網路圖片的爬取 --Pyhon網路爬蟲與資訊獲取爬蟲
- 使用webmagic爬蟲對百度百科進行簡單的爬取Web爬蟲
- 爬蟲(9) - Scrapy框架(1) | Scrapy 非同步網路爬蟲框架爬蟲框架非同步
- python3網路爬蟲開發實戰_Python3 爬蟲實戰Python爬蟲
- 《網路爬蟲開發實戰案例》筆記爬蟲筆記
- 《Python3網路爬蟲開發實戰》PDF+原始碼+《精通Python爬蟲框架Scrapy》中英文PDF原始碼...Python爬蟲原始碼框架
- 手把手教你寫網路爬蟲(3):開源爬蟲框架對比爬蟲框架
- .NET使用分散式網路爬蟲框架DotnetSpider快速開發爬蟲功能分散式爬蟲框架IDE
- 網路爬蟲——爬蟲實戰(一)爬蟲
- [網路爬蟲] 網路爬蟲實踐:大麥網演唱會預約搶票 【待續】爬蟲
- 網路爬蟲如何獲取IP進行資料抓取爬蟲
- 用Python網路爬蟲獲取Mikan動漫資源Python爬蟲
- 網路爬蟲——Urllib模組實戰專案(含程式碼)爬取你的第一個網站爬蟲網站
- 基於Python的簡單天氣爬蟲程式Python爬蟲
- 《Python3網路爬蟲開發實戰》教程||爬蟲教程Python爬蟲
- 0828-T3 天氣預報
- Python 3網路爬蟲開發實戰Python爬蟲