使用 HttpClient 和 HtmlParser 實現簡易爬蟲(轉載)

weixin_34391854發表於2012-10-17

HttpClient 與 HtmlParser 簡介

本小結簡單的介紹一下 HttpClinet 和 HtmlParser 兩個開源的專案，以及他們的網站和提供下載的地址。

HttpClient 簡介
HTTP 協議是現在的因特網最重要的協議之一。除了 WEB 瀏覽器之外， WEB 服務，基於網路的應用程式以及日益增長的網路計算不斷擴充套件著 HTTP 協議的角色，使得越來越多的應用程式需要 HTTP 協議的支援。雖然 JAVA 類庫 .net 包提供了基本功能，來使用 HTTP 協議訪問網路資源，但是其靈活性和功能遠不能滿足很多應用程式的需要。而 Jakarta Commons HttpClient 元件尋求提供更為靈活，更加高效的 HTTP 協議支援，簡化基於 HTTP 協議的應用程式的建立。 HttpClient 提供了很多的特性，支援最新的 HTTP 標準，可以訪問這裡瞭解更多關於 HttpClinet 的詳細資訊。目前有很多的開源專案都用到了 HttpClient 提供的 HTTP功能，登陸網址可以檢視這些專案。本文中使用 HttpClinet 提供的類庫來訪問和下載 Internet上面的網頁，在後續部分會詳細介紹到其提供的兩種請求網路資源的方法： Get 請求和 Post 請求。Apatche 提供免費的 HTTPClien t原始碼和 JAR 包下載，可以登陸這裡下載最新的HttpClient 元件。筆者使用的是 HttpClient3.1。

HtmlParser 簡介
當今的 Internet 上面有數億記的網頁，越來越多應用程式將這些網頁作為分析和處理的資料物件。這些網頁多為半結構化的文字，有著大量的標籤和巢狀的結構。當我們自己開發一些處理網頁的應用程式時，會想到要開發一個單獨的網頁解析器，這一部分的工作必定需要付出相當的精力和時間。事實上，做為 JAVA 應用程式開發者， HtmlParser 為其提供了強大而靈活易用的開源類庫，大大節省了寫一個網頁解析器的開銷。 HtmlParser 是 http://sourceforge.net 上活躍的一個開源專案，它提供了線性和巢狀兩種方式來解析網頁，主要用於 html 網頁的轉換(Transformation) 以及網頁內容的抽取 (Extraction)。HtmlParser 有如下一些易於使用的特性：過濾器 (Filters)，訪問者模式 (Visitors)，處理自定義標籤以及易於使用的 JavaBeans。正如 HtmlParser 首頁所說：它是一個快速，健壯以及嚴格測試過的元件；以它設計的簡潔，程式執行的速度以及處理 Internet 上真實網頁的能力吸引著越來越多的開發者。本文中就是利用HtmlParser 裡提取網頁裡的連結，實現簡易爬蟲裡的關鍵部分。HtmlParser 最新的版本是HtmlParser1.6，可以登陸這裡下載其原始碼、 API 參考文件以及 JAR 包。

開發環境的搭建
筆者所使用的開發環境是 Eclipse Europa，此開發工具可以在 www.eclipse.org 免費的下載；JDK是1.6，你也可以在 www.java.sun.com 站點下載，並且在作業系統中配置好環境變數。在 Eclipse 中建立一個 JAVA 工程，在工程的 Build Path 中匯入下載的Commons-httpClient3.1.Jar，htmllexer.jar 以及 htmlparser.jar 檔案。

圖 1. 開發環境搭建

HttpClient 基本類庫使用
HttpClinet 提供了幾個類來支援 HTTP 訪問。下面我們通過一些示例程式碼來熟悉和說明這些類的功能和使用。 HttpClient 提供的 HTTP 的訪問主要是通過 GetMethod 類和 PostMethod 類來實現的，他們分別對應了 HTTP Get 請求與 Http Post 請求。

GetMethod
使用 GetMethod 來訪問一個 URL 對應的網頁，需要如下一些步驟。
生成一個 HttpClinet 物件並設定相應的引數。
生成一個 GetMethod 物件並設定響應的引數。
用 HttpClinet 生成的物件來執行 GetMethod 生成的 Get 方法。
處理響應狀態碼。
若響應正常，處理 HTTP 響應內容。
釋放連線。
清單 1 的程式碼展示了這些步驟，其中的註釋對程式碼進行了較詳細的說明。

清單 1.

[java] view plain copy

/* 1 生成 HttpClinet 物件並設定引數*/
HttpClient httpClient=new HttpClient();
//設定 Http 連線超時為5秒
httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(5000);
/*2 生成 GetMethod 物件並設定引數*/
GetMethod getMethod=new GetMethod(url);
//設定 get 請求超時為 5 秒
getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT,5000);
//設定請求重試處理，用的是預設的重試處理：請求三次
getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMethodRetryHandler());
/*3 執行 HTTP GET 請求*/
try{
int statusCode = httpClient.executeMethod(getMethod);
/*4 判斷訪問的狀態碼*/
if (statusCode != HttpStatus.SC_OK)
{
System.err.println("Method failed: "+ getMethod.getStatusLine());
}
/*5 處理 HTTP 響應內容*/
//HTTP響應頭部資訊，這裡簡單列印
Header[] headers=getMethod.getResponseHeaders();
for(Header h: headers)
System.out.println(h.getName()+" "+h.getValue());*/
//讀取 HTTP 響應內容，這裡簡單列印網頁內容
byte[] responseBody = getMethod.getResponseBody();//讀取為位元組陣列
System.out.println(new String(responseBody));
//讀取為 InputStream，在網頁內容資料量大時候推薦使用
InputStream response = getMethod.getResponseBodyAsStream();//
…
}
catch (HttpException e)
{
// 發生致命的異常，可能是協議不對或者返回的內容有問題
System.out.println("Please check your provided http address!");
e.printStackTrace();
}
catch (IOException e)
{
// 發生網路異常
e.printStackTrace();
} finally {
/*6 .釋放連線*/
getMethod.releaseConnection();
}

這裡值得注意的幾個地方是：
設定連線超時和請求超時，這兩個超時的意義不同，需要分別設定。
響應狀態碼的處理。
返回的結果可以為位元組陣列，也可以為 InputStream，而後者在網頁內容資料量較大的時候推薦使用。
在處理返回結果的時候可以根據自己的需要，進行相應的處理。如筆者是需要儲存網頁
到本地，因此就可以寫一個 saveToLocaleFile(byte[] data, String filePath) 的方法，將位元組陣列儲存成本地檔案。後續的簡易爬蟲部分會有相應的介紹。

PostMethod
PostMethod 方法與 GetMethod 方法的使用步驟大體相同。但是由於 PostMethod 使用的是HTTP 的 Post 請求，因而請求引數的設定與 GetMethod 有所不同。在 GetMethod 中，請求的引數直接寫在 URL 裡，一般以這樣形式出現：http://hostname:port//file?name1=value1&name2=value …。請求引數是 name，value 對。比如我想得到百度搜尋“Thinking In Java”的結果網頁，就可以使 GetMethod 的構造方法中的 url 為：http://www.baidu.com/s?wd=Thinking+In+Java 。而 PostMethod 則可以模擬網頁裡表單提交的過程，通過設定表單裡 post 請求引數的值，來動態的獲得返回的網頁結果。清單 2 中的程式碼展示瞭如何建立一個 Post 物件，並設定相應的請求引數。

清單2

[java] view plain copy

PostMethod postMethod = new PostMethod("http://dict.cn/");
postMethod.setRequestBody(new NameValuePair[]{new NameValuePair("q","java")});

HtmlParser 基本類庫使用
HtmlParser 提供了強大的類庫來處理 Internet 上的網頁，可以實現對網頁特定內容的提取和修改。下面通過幾個例子來介紹 HtmlParser 的一些使用。這些例子其中的程式碼，有部分用在了後面介紹的簡易爬蟲中。以下所有的程式碼和方法都在在類 HtmlParser.Test.java 裡，這是筆者編寫的一個用來測試 HtmlParser 用法的類。
迭代遍歷網頁所有節點
網頁是一個半結構化的巢狀文字檔案，有類似 XML 檔案的樹形巢狀結構。使用HtmlParser 可以讓我們輕易的迭代遍歷網頁的所有節點。清單 3 展示瞭如何來實現這個功能。

清單 3

[java] view plain copy

// 迴圈訪問所有節點，輸出包含關鍵字的值節點
public static void extractKeyWordText(String url, String keyword) {
try {
//生成一個解析器物件，用網頁的 url 作為引數
Parser parser = new Parser(url);
//設定網頁的編碼,這裡只是請求了一個 gb2312 編碼網頁
parser.setEncoding("gb2312");
//迭代所有節點, null 表示不使用 NodeFilter
NodeList list = parser.parse(null);
//從初始的節點列表跌倒所有的節點
processNodeList(list, keyword);
} catch (ParserException e) {
e.printStackTrace();
}
}
private static void processNodeList(NodeList list, String keyword) {
//迭代開始
SimpleNodeIterator iterator = list.elements();
while (iterator.hasMoreNodes()) {
Node node = iterator.nextNode();
//得到該節點的子節點列表
NodeList childList = node.getChildren();
//孩子節點為空，說明是值節點
if (null == childList)
{
//得到值節點的值
String result = node.toPlainTextString();
//若包含關鍵字，則簡單列印出來文字
if (result.indexOf(keyword) != -1)
System.out.println(result);
} //end if
//孩子節點不為空，繼續迭代該孩子節點
else
{
processNodeList(childList, keyword);
}//end else
}//end wile
}

上面的中有兩個方法：
private static void processNodeList(NodeList list, String keyword)
該方法是用類似深度優先的方法來迭代遍歷整個網頁節點，將那些包含了某個關鍵字的值節點的值列印出來。
public static void extractKeyWordText(String url, String keyword)
該方法生成針對 String 型別的 url 變數代表的某個特定網頁的解析器，呼叫 1中的方法實現簡單的遍歷。
清單 3 的程式碼展示瞭如何迭代所有的網頁，更多的工作可以在此基礎上展開。比如找到某個特定的網頁內部節點，其實就可以在遍歷所有的節點基礎上來判斷，看被迭代的節點是否滿足特定的需要。

使用 NodeFilter
NodeFilter 是一個介面，任何一個自定義的 Filter 都需要實現這個介面中的 boolean accept() 方法。如果希望迭代網頁節點的時候保留當前節點，則在節點條件滿足的情況下返回 true；否則返回 false。HtmlParse 裡提供了很多實現了 NodeFilter 介面的類，下面就一些筆者所用到的，以及常用的 Filter 做一些介紹：
對 Filter 做邏輯操作的 Fitler 有：AndFilter，NotFilter ，OrFilter，XorFilter。
這些 Filter 來組合不同的 Filter，形成滿足兩個 Filter 邏輯關係結果的 Filter。
判斷節點的孩子，兄弟，以及父親節點情況的 Filter 有：HasChildFilter HasParentFilter，HasSiblingFilter。
判斷節點本身情況的 Filter 有 HasAttributeFilter：判讀節點是否有特定屬性；LinkStringFilter：判斷節點是否是具有特定模式 (pattern) url 的節點；
TagNameFilter：判斷節點是否具有特定的名字；NodeClassFilter：判讀節點是否是某個 HtmlParser 定義好的 Tag 型別。在 org.htmlparser.tags 包下有對應 Html標籤的各種 Tag，例如 LinkTag，ImgeTag 等。
還有其他的一些 Filter 在這裡不一一列舉了，可以在 org.htmlparser.filters 下找到。
清單 4 展示瞭如何使用上面提到過的一些 filter 來抽取網頁中的 <a> 標籤裡的 href屬性值，<img> 標籤裡的 src 屬性值，以及 <frame> 標籤裡的 src 的屬性值。

清單4

[java] view plain copy

// 獲取一個網頁上所有的連結和圖片連結
public static void extracLinks(String url) {
try {
Parser parser = new Parser(url);
parser.setEncoding("gb2312");
//過濾 <frame> 標籤的 filter，用來提取 frame 標籤裡的 src 屬性所、表示的連結
NodeFilter frameFilter = new NodeFilter() {
public boolean accept(Node node) {
if (node.getText().startsWith("frame src=")) {
return true;
} else {
return false;
}
}
};
//OrFilter 來設定過濾 <a> 標籤，<img> 標籤和 <frame> 標籤，三個標籤是 or 的關係
OrFilte rorFilter = new OrFilter(new NodeClassFilter(LinkTag.class), new
NodeClassFilter(ImageTag.class));
OrFilter linkFilter = new OrFilter(orFilter, frameFilter);
//得到所有經過過濾的標籤
NodeList list = parser.extractAllNodesThatMatch(linkFilter);
for (int i = 0; i < list.size(); i++) {
Node tag = list.elementAt(i);
if (tag instanceof LinkTag)//<a> 標籤
{
LinkTag link = (LinkTag) tag;
String linkUrl = link.getLink();//url
String text = link.getLinkText();//連結文字
System.out.println(linkUrl + "**********" + text);
}
else if (tag instanceof ImageTag)//<img> 標籤
{
ImageTag image = (ImageTag) list.elementAt(i);
System.out.print(image.getImageURL() + "********");//圖片地址
System.out.println(image.getText());//圖片文字
}
else//<frame> 標籤
{
//提取 frame 裡 src 屬性的連結如 <frame src="test.html"/>
String frame = tag.getText();
int start = frame.indexOf("src=");
frame = frame.substring(start);
int end = frame.indexOf(" ");
if (end == -1)
end = frame.indexOf(">");
frame = frame.substring(5, end - 1);
System.out.println(frame);
}
}
} catch (ParserException e) {
e.printStackTrace();
}
}

簡單強大的 StringBean
如果你想要網頁中去掉所有的標籤後剩下的文字，那就是用 StringBean 吧。以下簡單的程式碼可以幫你解決這樣的問題：

清單5

[java] view plain copy

StringBean sb = new StringBean();
sb.setLinks(false);//設定結果中去點連結
sb.setURL(url);//設定你所需要濾掉網頁標籤的頁面 url
System.out.println(sb.getStrings());//列印結果

HtmlParser 提供了強大的類庫來處理網頁，由於本文旨在簡單的介紹，因此只是將與筆者後續爬蟲部分有關的關鍵類庫進行了示例說明。感興趣的讀者可以專門來研究一下 HtmlParser 更為強大的類庫。

簡易爬蟲的實現
HttpClient 提供了便利的 HTTP 協議訪問，使得我們可以很容易的得到某個網頁的原始碼並儲存在本地；HtmlParser 提供瞭如此簡便靈巧的類庫，可以從網頁中便捷的提取出指向其他網頁的超連結。筆者結合這兩個開源包，構建了一個簡易的網路爬蟲。
爬蟲 (Crawler) 原理
學過資料結構的讀者都知道有向圖這種資料結構。如下圖所示，如果將網頁看成是圖中的某一個節點，而將網頁中指向其他網頁的連結看成是這個節點指向其他節點的邊，那麼我們很容易將整個 Internet 上的網頁建模成一個有向圖。理論上，通過遍歷演算法遍歷該圖，可以訪問到Internet 上的幾乎所有的網頁。最簡單的遍歷就是寬度優先以及深度優先。以下筆者實現的簡易爬蟲就是使用了寬度優先的爬行策略。

圖 2. 網頁關係的建模圖

簡易爬蟲實現流程
在看簡易爬蟲的實現程式碼之前，先介紹一下簡易爬蟲爬取網頁的流程。

圖 3. 爬蟲流程圖

各個類的原始碼以及說明
對應上面的流程圖，簡易爬蟲由下面幾個類組成，各個類職責如下：
Crawler.java：爬蟲的主方法入口所在的類，實現爬取的主要流程。
LinkDb.java：用來儲存已經訪問的 url 和待爬取的 url 的類，提供url出對入隊操作。
Queue.java：實現了一個簡單的佇列，在 LinkDb.java 中使用了此類。
FileDownloader.java：用來下載 url 所指向的網頁。
HtmlParserTool.java：用來抽取出網頁中的連結。
LinkFilter.java：一個介面，實現其 accept() 方法用來對抽取的連結進行過濾。
下面是各個類的原始碼，程式碼中的註釋有比較詳細的說明。

清單6 Crawler.java

[java] view plain copy

package com.ie;
import java.util.Set;
public class Crawler {
/* 使用種子 url 初始化 URL 佇列*/
private void initCrawlerWithSeeds(String[] seeds)
{
for(int i=0;i<seeds.length;i++)
LinkDB.addUnvisitedUrl(seeds[i]);
}
/* 爬取方法*/
public void crawling(String[] seeds)
{
LinkFilter filter = new LinkFilter(){
//提取以 http://www.twt.edu.cn 開頭的連結
public boolean accept(String url) {
if(url.startsWith("http://www.twt.edu.cn"))
return true;
else
return false;
}
};
//初始化 URL 佇列
initCrawlerWithSeeds(seeds);
//迴圈條件：待抓取的連結不空且抓取的網頁不多於 1000
while(!LinkDB.unVisitedUrlsEmpty()&&LinkDB.getVisitedUrlNum()<=1000)
{
//隊頭 URL 出對
String visitUrl=LinkDB.unVisitedUrlDeQueue();
if(visitUrl==null)
continue;
FileDownLoader downLoader=new FileDownLoader();
//下載網頁
downLoader.downloadFile(visitUrl);
//該 url 放入到已訪問的 URL 中
LinkDB.addVisitedUrl(visitUrl);
//提取出下載網頁中的 URL
Set<String> links=HtmlParserTool.extracLinks(visitUrl,filter);
//新的未訪問的 URL 入隊
for(String link:links)
{
LinkDB.addUnvisitedUrl(link);
}
}
}
//main 方法入口
public static void main(String[]args)
{
Crawler crawler = new Crawler();
crawler.crawling(new String[]{"http://www.twt.edu.cn"});
}
}

清單7 LinkDb.java

[java] view plain copy

package com.ie;
import java.util.HashSet;
import java.util.Set;
/**
* 用來儲存已經訪問過 Url 和待訪問的 Url 的類
*/
public class LinkDB {
//已訪問的 url 集合
private static Set<String> visitedUrl = new HashSet<String>();
//待訪問的 url 集合
private static Queue<String> unVisitedUrl = new Queue<String>();
public static Queue<String> getUnVisitedUrl() {
return unVisitedUrl;
}
public static void addVisitedUrl(String url) {
visitedUrl.add(url);
}
public static void removeVisitedUrl(String url) {
visitedUrl.remove(url);
}
public static String unVisitedUrlDeQueue() {
return unVisitedUrl.deQueue();
}
// 保證每個 url 只被訪問一次
public static void addUnvisitedUrl(String url) {
if (url != null && !url.trim().equals("")
&& !visitedUrl.contains(url)
&& !unVisitedUrl.contians(url))
unVisitedUrl.enQueue(url);
}
public static int getVisitedUrlNum() {
return visitedUrl.size();
}
public static boolean unVisitedUrlsEmpty() {
return unVisitedUrl.empty();
}
}

清單8 Queue.java

[java] view plain copy

package com.ie;
import java.util.LinkedList;
/**
* 資料結構佇列
*/
public class Queue<T> {
private LinkedList<T> queue=new LinkedList<T>();
public void enQueue(T t)
{
queue.addLast(t);
}
public T deQueue()
{
return queue.removeFirst();
}
public boolean isQueueEmpty()
{
return queue.isEmpty();
}
public boolean contians(T t)
{
return queue.contains(t);
}
public boolean empty()
{
return queue.isEmpty();
}
}

清單 9 FileDownLoader.java

[java] view plain copy

package com.ie;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;
public class FileDownLoader {
/**根據 url 和網頁型別生成需要儲存的網頁的檔名
*去除掉 url 中非檔名字元
*/
public String getFileNameByUrl(String url,String contentType)
{
url=url.substring(7);//remove http://
if(contentType.indexOf("html")!=-1)//text/html
{
url= url.replaceAll("[\\?/:*|<>\"]", "_")+".html";
return url;
}
else//如application/pdf
{
return url.replaceAll("[\\?/:*|<>\"]", "_")+"."+ \
contentType.substring(contentType.lastIndexOf("/")+1);
}
}
/**儲存網頁位元組陣列到本地檔案
* filePath 為要儲存的檔案的相對地址
*/
private void saveToLocal(byte[] data,String filePath)
{
try {
DataOutputStream out=new DataOutputStream(
new FileOutputStream(new File(filePath)));
for(int i=0;i<data.length;i++)
out.write(data[i]);
out.flush();
out.close();
} catch (IOException e) {
e.printStackTrace();
}
}
/*下載 url 指向的網頁*/
public String downloadFile(String url)
{
String filePath=null;
/* 1.生成 HttpClinet 物件並設定引數*/
HttpClient httpClient=new HttpClient();
//設定 Http 連線超時 5s
httpClient.getHttpConnectionManager().getParams().
setConnectionTimeout(5000);
/*2.生成 GetMethod 物件並設定引數*/
GetMethod getMethod=new GetMethod(url);
//設定 get 請求超時 5s
getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT,5000);
//設定請求重試處理
getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMethodRetryHandler());
/*3.執行 HTTP GET 請求*/
try{
int statusCode = httpClient.executeMethod(getMethod);
//判斷訪問的狀態碼
if (statusCode != HttpStatus.SC_OK)
{
System.err.println("Method failed: "+ getMethod.getStatusLine());
filePath=null;
}
/*4.處理 HTTP 響應內容*/
byte[] responseBody = getMethod.getResponseBody();//讀取為位元組陣列
//根據網頁 url 生成儲存時的檔名
filePath="temp\\"+getFileNameByUrl(url,
getMethod.getResponseHeader("Content-Type").getValue());
saveToLocal(responseBody,filePath);
} catch (HttpException e) {
// 發生致命的異常，可能是協議不對或者返回的內容有問題
System.out.println("Please check your provided http
address!");
e.printStackTrace();
} catch (IOException e) {
// 發生網路異常
e.printStackTrace();
} finally {
// 釋放連線
getMethod.releaseConnection();
}
return filePath;
}
//測試的 main 方法
public static void main(String[]args)
{
FileDownLoader downLoader = new FileDownLoader();
downLoader.downloadFile("http://www.twt.edu.cn");
}
}

清單 10 HtmlParserTool.java

[java] view plain copy

package com.ie;
import java.util.HashSet;
import java.util.Set;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
public class HtmlParserTool {
// 獲取一個網站上的連結,filter 用來過濾連結
public static Set<String> extracLinks(String url,LinkFilter filter) {
Set<String> links = new HashSet<String>();
try {
Parser parser = new Parser(url);
parser.setEncoding("gb2312");
// 過濾 <frame >標籤的 filter，用來提取 frame 標籤裡的 src 屬性所表示的連結
NodeFilter frameFilter = new NodeFilter() {
public boolean accept(Node node) {
if (node.getText().startsWith("frame src=")) {
return true;
} else {
return false;
}
}
};
// OrFilter 來設定過濾 <a> 標籤，和 <frame> 標籤
OrFilter linkFilter = new OrFilter(new NodeClassFilter(
LinkTag.class), frameFilter);
// 得到所有經過過濾的標籤
NodeList list = parser.extractAllNodesThatMatch(linkFilter);
for (int i = 0; i < list.size(); i++) {
Node tag = list.elementAt(i);
if (tag instanceof LinkTag)// <a> 標籤
{
LinkTag link = (LinkTag) tag;
String linkUrl = link.getLink();// url
if(filter.accept(linkUrl))
links.add(linkUrl);
} else// <frame> 標籤
{
// 提取 frame 裡 src 屬性的連結如 <frame src="test.html"/>
String frame = tag.getText();
int start = frame.indexOf("src=");
frame = frame.substring(start);
int end = frame.indexOf(" ");
if (end == -1)
end = frame.indexOf(">");
String frameUrl = frame.substring(5, end - 1);
if(filter.accept(frameUrl))
links.add(frameUrl);
}
}
} catch (ParserException e) {
e.printStackTrace();
}
return links;
}
//測試的 main 方法
public static void main(String[]args)
{
Set<String> links = HtmlParserTool.extracLinks(
"http://www.twt.edu.cn",new LinkFilter()
{
//提取以 http://www.twt.edu.cn 開頭的連結
public boolean accept(String url) {
if(url.startsWith("http://www.twt.edu.cn"))
return true;
else
return false;
}
});
for(String link : links)
System.out.println(link);
}
}

清單11 LinkFilter.java

[java] view plain copy

package com.ie;
public interface LinkFilter {
public boolean accept(String url);
}

這些程式碼中關鍵的部分都在 HttpClient 和 HtmlParser 介紹中說明過了，其他部分也比較容易，請感興趣的讀者自行理解。

參考資料
學習
Developworks 學習其他關於 HttpClien t和 HtmlParser 的技術文章。
Developworks 其它專區學習更多的最新技術。
獲得技術和產品
在 www.eclipse.org 獲得免費的 IDE
討論
在 Developerworks 社群參與更多的討論

爬蟲--Scrapy簡易爬蟲
2020-10-07
爬蟲
HttpClient和HtmlParser配合實現自動登陸系統抽取頁面資訊
2008-01-03
HTTPclientHTML
Springboot+JPA下實現簡易爬蟲--爬取豆瓣電視劇資料
2020-10-15
Spring Boot爬蟲
分享一個簡易淘寶爬蟲
2017-11-29
爬蟲
簡易多執行緒爬蟲框架
2018-06-02
執行緒爬蟲框架
Java爬蟲系列二：使用HttpClient抓取頁面HTML
2019-05-23
Java爬蟲HTTPclientHTML
Python+PhantomJS+selenium+BeautifulSoup實現簡易網路爬蟲
2017-10-21
PythonJS爬蟲
運用node實現簡單爬蟲
2018-02-03
爬蟲
scrapy_redis 和 docker 實現簡單分散式爬蟲
2016-08-15
RedisDocker分散式爬蟲
使用Python爬蟲實現自動下載圖片
2021-09-11
Python爬蟲
urllib2實現簡單爬蟲
2014-06-16
爬蟲
使用slenium+chromedriver實現無敵爬蟲
2018-02-06
Chrome爬蟲
使用Go語言實現爬蟲功能
2017-12-14
Go爬蟲
Java 爬蟲專案實戰之爬蟲簡介
2018-11-24
Java爬蟲
scrapy爬蟲函式間傳值簡易教程
2017-05-09
爬蟲函式
Python爬蟲的兩套解析方法和四種爬蟲實現
2018-07-03
Python爬蟲
python爬蟲簡單實現逆向JS解密
2019-08-29
Python爬蟲JS解密
(1)使用superagent和cheerio構建簡單爬蟲
2016-07-20
爬蟲
微博爬蟲 java實現
2015-08-31
爬蟲Java
java實現一個簡單的爬蟲小程式
2020-08-11
Java爬蟲
javascript 非同步模組載入簡易實現
2015-09-18
JavaScript非同步
使用Python和requests庫的簡單爬蟲程式
2023-11-13
Python爬蟲
python爬蟲:爬蟲的簡單介紹及requests模組的簡單使用
2022-02-24
Python爬蟲
Java培訓教程之使用Jsoup實現簡單的爬蟲技術
2021-07-12
JavaJS爬蟲
python 爬蟲簡單實現百度翻譯
2020-04-14
Python爬蟲
實用爬蟲-02-爬蟲真正使用代理 ip
2018-09-08
爬蟲
Python 爬蟲實戰（一）：使用 requests 和 BeautifulSoup
2017-12-11
Python爬蟲
nodeJS 爬蟲，通過Puppeteer實現滾動載入
2018-09-19
NodeJS爬蟲
namedtuple簡易實現
2019-02-24
爬蟲與反爬蟲技術簡介
2022-09-20
爬蟲
爬蟲-BeautifulSoup簡單分析和學習
2017-02-26
爬蟲
如何使用queue模組實現多執行緒爬蟲
2023-11-29
執行緒爬蟲
關於爬蟲平臺的架構實現和框架的選型(二)--scrapy的內部實現以及實時爬蟲的實現
2019-07-16
爬蟲架構框架
HttpClient的簡單使用
2017-07-30
HTTPclient
基於RxJava2實現的簡單圖片爬蟲
2017-10-28
RxJava爬蟲
BeautifulSoup與正則_簡單爬蟲python3實現
2017-06-12
爬蟲Python
python 爬蟲實現增量去重和定時爬取例項
2020-03-06
Python爬蟲
scrapy-redis實現爬蟲分散式爬取分析與實現
2015-05-20
Redis爬蟲分散式

使用 HttpClient 和 HtmlParser 實現簡易爬蟲(轉載)

相關文章