Java網路爬蟲實操（1）

sinkinka發表於2018-02-11

大家好，說起爬蟲相信很多程式設計師都聽到過，簡單來講就是自動批量抓網路上資訊的程式。接下來我結合github上一個爬蟲框架NetDiscovery進行演示。

1）為什麼要用框架？

框架能夠幫助我們處理一些基礎的、與目標任務沒直接聯絡的工作，讓我們專注在目標任務上。尤其對於爬蟲初學者來說，很快就能體會到操作爬蟲帶來的效果與成就感，而不必去操心額外的事情。等入了門，再嘗試不依賴框架獨立從零寫一個爬蟲程式，然後再去研究別人已經搭建好的爬蟲框架，等到能閱讀爬蟲框架原始碼以後，相信您已經對網路爬蟲有一定的研究了。

2）演示環境

Java JDK8、IntelliJ IDEA、Google Chrome

爬蟲框架NetDiscovery： github.com/fengzhizi71…

3）確定爬蟲任務

從某人才招聘網上獲取指定的崗位資訊：公司名稱、崗位名稱

4）人肉分析網頁

用chrome瀏覽器開啟目標網頁，輸入查詢條件，找到展示崗位資訊的網頁：

紅框位置裡的文字是我們計劃要寫程式去自動獲取的資訊。

這個環節的分析工作很重要，我們要對抓取的目標網頁、目標資料有明確的瞭解。人眼已經能看到這些資訊了，接下來就是寫程式教電腦去幫我們抓取。

5）建立Java工程

建立一個gradle的java工程：

在專案中新增爬蟲框架NetDiscovery的兩個jar包，目前版本是0.0.9.3，版本不高，但版本的更新迭代很快，相信是一個有成長力的框架。

group 'com.sinkinka'
version '1.0-SNAPSHOT'

apply plugin: 'java'

sourceCompatibility = 1.8

repositories {
    maven{url 'http://maven.aliyun.com/nexus/content/groups/public/'}
    mavenCentral()
    jcenter();
}

dependencies {
    testCompile group: 'junit', name: 'junit', version: '4.12'

    implementation 'com.cv4j.netdiscovery:netdiscovery-core:0.0.9.3'
    implementation 'com.cv4j.netdiscovery:netdiscovery-extra:0.0.9.3'
}

複製程式碼

如果下載不了，請配上阿里雲映象地址：

maven.aliyun.com/nexus/conte…

6）程式碼實現

參考框架中example模組下的示例程式碼，以及另一個例項專案： github.com/fengzhizi71…

建立main方法的入口類，在main裡啟動爬蟲
針對目標網頁的解析，需要建立實現parser介面的類
從html字串中抓取目標內容有多種方法，比如xpath、jsoup、正規表示式等

在java的main方法裡編寫如下程式碼：

package com.sinkinka;

import com.cv4j.netdiscovery.core.Spider;
import com.sinkinka.parser.TestParser;

public class TestSpider {
    public static void main(String[] args) {

        //目標任務的網頁地址，可以拷貝到瀏覽器去檢視
        String url = "http://www.szrc.cn/HrMarket/WLZP/ZP/0/%E6%95%B0%E6%8D%AE";

        //依靠NetDiscovery，我們只需要寫一個parser類就可以實現基本的爬蟲功能了
        Spider.create()
                .name("spider-1")         //名字隨便起
                .url(url)
                .parser(new TestParser())  //parser類
                .run();
    }
}
複製程式碼

TestParser類的程式碼：

package com.sinkinka.parser;

import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.parser.Parser;
import com.cv4j.netdiscovery.core.parser.selector.Selectable;
import java.util.List;

/**
 * 針對目標網頁的解析類
 */
public class TestParser implements Parser {

    @Override
    public void process(Page page) {

        String xpathStr = "//*[@id=\"grid\"]/div/div[1]/table/tbody/tr";
        List<Selectable> trList = page.getHtml().xpath(xpathStr).nodes();

        for(Selectable tr : trList) {
            String companyName = tr.xpath("//td[@class='td_companyName']/text()").get();
            String positionName = tr.xpath("//td[@class='td_positionName']/a/text()").get();

            if(null != companyName && null != positionName) {
                System.out.println(companyName+"------"+positionName);
            }
        }
   }
}
複製程式碼

執行結果：