Java實現網路爬蟲 案例程式碼3:使用webmagic框架獲取天氣預報
案例3:獲取天氣預報資訊
需求說明
搭建開發環境,實現從“hao123.com”中獲取當地天氣預報資訊,從控制檯輸出結果
分析
訪問網址:
分析網站URL、檔案內容特徵
獲取網頁內容
拆分出需求內容
控制檯輸出結果
搭建WebMagic開發環境
示例程式碼
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.ConsolePipeline;
import us.codecraft.webmagic.processor.PageProcessor;
public class WeatherRepo implements PageProcessor{
// 部分一:抓取網站的相關配置,包括編碼、抓取間隔、重試次數等
private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
@Override
// process是定製爬蟲邏輯的核心介面,在這裡編寫抽取邏輯
public void process(Page page) {
// 部分二:定義如何抽取頁面資訊,並儲存下來
page.putField("city",
page.getHtml().xpath("//span[@class='weather2-item']/text()").toString());
page.putField("info_today",
page.getHtml().xpath("//div[@data-hook='weather']/text()").toString());
page.putField("temperature_today",
page.getHtml().xpath("//div[@data-hook='tempera']/text()").toString());
page.putField("info_tomorrow",
page.getHtml().xpath("//div[@data-hook='weather-tomorrow']/text()").toString());
page.putField("temperature_tomorrow",
page.getHtml().xpath("//div[@data-hook='tempera-tomorrow']/text()").toString());
}
@Override
public Site getSite() {
return site;
}
public static void main(String[] args) {
Spider.create(new WeatherRepo())
//從""開始抓
.addUrl("")
.addPipeline(new ConsolePipeline()) // 控制檯輸出
.run();
}
}
————————————————
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69940641/viewspace-2934421/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- php,java獲取天氣預報程式碼PHPJava
- Java實現網路爬蟲 案例程式碼Java爬蟲
- Java實現網路爬蟲 案例程式碼:從網上獲取《三國演義》全文Java爬蟲
- python爬蟲獲取天氣網實時資料Python爬蟲
- Java爬蟲框架,WebMagic 0.4.0 釋出Java爬蟲框架Web
- WebMagic 爬蟲框架淺析Web爬蟲框架
- Python 獲取當地未來五天天氣 天氣預報 獲取天氣Python
- 爬蟲框架Webmagic原始碼分析之Spider爬蟲框架Web原始碼IDE
- Java+MySQL實現網路爬蟲程式JavaMySql爬蟲
- Java網路爬蟲實操(3)Java爬蟲
- 中央氣象局天氣預報介面---java實現Java
- 使用這個開源工具獲取本地天氣預報開源工具
- 天氣預報程式碼大全
- 利用Python爬蟲爬取天氣資料Python爬蟲
- 使用WebService獲取天氣實況Web
- PHPAjaxJavaScriptJson實現天氣資訊獲取PHPJavaScriptJSON
- 使用和風天氣介面獲取天氣資訊
- python網路爬蟲(14)使用Scrapy搭建爬蟲框架Python爬蟲框架
- 《Python3網路爬蟲開發實戰程式碼》基本庫使用Python爬蟲
- 請利用SAX編寫程式解析Yahoo的XML格式的天氣預報,獲取天氣預報——python學習筆記XMLPython筆記
- Python使用多程式提高網路爬蟲的爬取速度Python爬蟲
- Python爬蟲入門教程 53-100 Python3爬蟲獲取三亞天氣做旅遊參照Python爬蟲
- 中國天氣網免費天氣預報介面APIAPI
- Java網路爬蟲實操(10)Java爬蟲
- Java網路爬蟲實操(1)Java爬蟲
- Java網路爬蟲實操(6)Java爬蟲
- Java網路爬蟲實操(2)Java爬蟲
- Java網路爬蟲實操(4)Java爬蟲
- Java網路爬蟲實操(5)Java爬蟲
- Java網路爬蟲實操(7)Java爬蟲
- Java網路爬蟲實操(9)Java爬蟲
- Java網路爬蟲實操(8)Java爬蟲
- Flutter實踐:天氣預報Flutter
- 最簡單的網路圖片的爬取 --Pyhon網路爬蟲與資訊獲取爬蟲
- Java呼叫取得天氣預報WebServicesJavaWeb
- 爬蟲搭建代理池、爬取某網站影片案例、爬取新聞案例爬蟲網站
- Tempescope:可接入網際網路的天氣預報盒子
- 使用webmagic爬蟲對百度百科進行簡單的爬取Web爬蟲