上一篇：Java網路爬蟲實操（2）
本篇文章主要介紹NetDiscovery框架中pipeline模式的一些實際使用方法。
1) 什麼是pipeline
pipeline是一種常見的演算法模式，針對不斷迴圈的耗時任務，如果要等一個迴圈結束後再輪到處理下一個任務的話，時間上有點浪費。
所以，把耗時任務拆分為幾個環節，只要一個環節完成了，就可以輪到下一個任務的那個環節就馬上開始處理。不用等到這個耗時任務全部結束了才開始。
我認為應用在處理爬蟲程式獲取的資料上，非常合適。
2) pipeline在框架中的角色
從框架提供的原理圖上可以瞭解到，pipeline物件扮演的角色是什麼：
- downloader物件訪問url
- 訪問成功後的page物件交給parser物件，進行頁面的解析工作
- 把解析成果交給pipleline物件去按順序逐一處理，例如：去重、封裝、儲存、發訊息等等
3) 目標任務
任務步驟：
- 訪問拉勾網站
- 找出網頁裡的圖片連結
- 下載連結上的圖片到本地
- 儲存圖片資訊到mysql資料庫
4) 建立pipeline物件
pipeline類：DownloadImage
package com.sinkinka.pipeline;
import com.cv4j.netdiscovery.core.domain.ResultItems;
import com.cv4j.netdiscovery.core.pipeline.Pipeline;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.Map;
public class DownloadImage implements Pipeline {
@Override
public void process(ResultItems resultItems) {
Map<String, Object> map = resultItems.getAll();
for(String key : map.keySet()) {
String filePath = "./temp/" + key + ".png";
saveRemoteImage(map.get(key).toString(), filePath);
}
}
private boolean saveRemoteImage(String imgUrl, String filePath) {
InputStream in = null;
OutputStream out = null;
try {
URL url = new URL(imgUrl);
URLConnection connection = url.openConnection();
connection.setConnectTimeout(5000);
in = connection.getInputStream();
byte[] bs = new byte[1024];
int len;
out = new FileOutputStream(filePath);
while ((len = in.read(bs)) != -1) {
out.write(bs, 0, len);
}
} catch(Exception e) {
return false;
} finally {
try {
out.flush();
out.close();
in.close();
} catch(IOException e) {
return false;
}
}
return true;
}
}
複製程式碼pipeline類：SaveImage
package com.sinkinka.pipeline;
import com.cv4j.netdiscovery.core.domain.ResultItems;
import com.cv4j.netdiscovery.core.pipeline.Pipeline;
import com.safframework.tony.common.utils.Preconditions;
import java.sql.*;
import java.util.Map;
public class SaveImage implements Pipeline {
@Override
public void process(ResultItems resultItems) {
Map<String, Object> map = resultItems.getAll();
for(String key : map.keySet()) {
System.out.println("2"+key);
saveCompanyInfo(key, map.get(key).toString());
}
}
private boolean saveCompanyInfo(String shortName, String logoUrl) {
int insertCount = 0;
Connection conn = getMySqlConnection();
Statement statement = null;
if(Preconditions.isNotBlank(conn)) {
try {
statement = conn.createStatement();
String insertSQL = "INSERT INTO company(shortname, logourl) VALUES('"+shortName+"', '"+logoUrl+"')";
insertCount = statement.executeUpdate(insertSQL);
statement.close();
conn.close();
} catch(SQLException e) {
return false;
} finally {
try{
if(statement!=null) statement.close();
}catch(SQLException e){
}
try{
if(conn!=null) conn.close();
}catch(SQLException e){
}
}
}
return insertCount > 0;
}
//演示程式碼，不建議用於生產環境
private Connection getMySqlConnection() {
//使用的是mysql connector 5
//資料庫：test 賬號/密碼： root/123456
final String JDBC_DRIVER = "com.mysql.jdbc.Driver";
final String DB_URL = "jdbc:mysql://localhost:3306/test";
final String USER = "root";
final String PASS = "123456";
Connection conn = null;
try {
Class.forName(JDBC_DRIVER);
conn = DriverManager.getConnection(DB_URL,USER,PASS);
} catch(SQLException e) {
return null;
} catch(Exception e) {
return null;
}
return conn;
}
}
複製程式碼5) 執行程式
Main類
package com.sinkinka;
import com.cv4j.netdiscovery.core.Spider;
import com.sinkinka.parser.LagouParser;
import com.sinkinka.pipeline.DownloadImage;
import com.sinkinka.pipeline.SaveImage;
public class PipelineSpider {
public static void main(String[] args) {
String url = "https://xiaoyuan.lagou.com/";
Spider.create()
.name("lagou")
.url(url)
.parser(new LagouParser())
.pipeline(new DownloadImage()) //1. 首先，下載圖片到本地目錄
.pipeline(new SaveImage()) //2. 然後，把圖片資訊儲存到資料庫
.run();
}
}
複製程式碼Parser類
package com.sinkinka.parser;
import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.domain.ResultItems;
import com.cv4j.netdiscovery.core.parser.Parser;
import com.cv4j.netdiscovery.core.parser.selector.Selectable;
import java.util.List;
public class LagouParser implements Parser {
@Override
public void process(Page page) {
ResultItems resultItems = page.getResultItems();
List<Selectable> liList = page.getHtml().xpath("//li[@class='nav-logo']").nodes();
for(Selectable li : liList) {
String logoUrl = li.xpath("//img/@src").get();
String companyShortName = li.xpath("//div[@class='company-short-name']/text()").get();
resultItems.put(companyShortName, logoUrl);
}
}
}
複製程式碼通過DownloadImage，儲存到本地的圖片資料：
通過SaveImage，儲存到資料庫裡的資料：
6) 總結
以上程式碼簡單演示了pipeline模式的用法，記住一點，pipeline是有執行順序的。在大量資料、高頻次的生產環境中再去體會pipeline模式的優點吧。
下一篇：Java網路爬蟲實操（4）