我用了30行程式碼，爬了知乎好多妹子

JoinWe發表於2017-09-25
行程

寫一個爬蟲有多簡單？答案是：不到30行程式碼

我用了不到30行程式碼，爬了知乎好多妹子圖！！！

跟著我一步一步來，你也可以簡簡單單建立一個爬蟲。

目標

爬蟲的第一步就是決定要爬些什麼。作為一個屌的不能再屌的屌絲，當然要爬妹子！！！

每當這個時候，就要拿出我的儲備了。 欲罷不能的大美妞 ，要說妹子圖的質量，還是得知乎啊。

分析

目標有了，我們就要先分析一下。頁面結構。在頁面中找任一個爬取目標，點選滑鼠右鍵，選擇【檢查】選項。便會開啟瀏覽器的控制檯，並定位到我們的目標圖片的節點上。如下圖：

圖中的img標籤就是我們的爬取目標，我們可以明確的看到 data-original 元素的內容與 src 元素的內容都是圖片的地址。經過驗證， src 元素的內容可能會是縮圖地址，所以我們放棄 src 選擇 data-original。

以上就是我們要分析的部分，接下來就是程式碼。

編碼

新建專案

這裡我們使用 maven 作為專案的依賴管理工具。

新建一個 maven 專案，並在 pom.xml 中引入依賴。

<dependencies>
        <dependency>
            <groupId>com.github.zhangyingwei</groupId>
            <artifactId>cockroach</artifactId>
            <version>1.0-Alpha</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <dependency>
            <groupId>com.squareup.okhttp3</groupId>
            <artifactId>okhttp</artifactId>
            <version>3.8.1</version>
        </dependency>
        <!--json-lib-->
        <dependency>
            <groupId>net.sf.json-lib</groupId>
            <artifactId>json-lib</artifactId>
            <version>2.4</version>
            <classifier>jdk15</classifier>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.8.3</version>
        </dependency>
    </dependencies>複製程式碼

這裡我們使用了爬蟲框架 cockroach 。並引入了 log4j 作為日誌框架，okhttp3 作為 http 客戶端，json-lib 作為 json 解析工具，以及 jsoup 作為 html 解析工具。

建立包結構如下

  • store 主要存放頁面解析以及結果儲存相關類
  • utils 主要存放專案中用到的相關工具類
  • App.java 專案入口

編碼

程式主入口 App.java

public class App {
    public static void main(String[] args) throws InstantiationException, IllegalAccessException, InterruptedException {
        CockroachConfig config = new CockroachConfig().setAppName("知乎上的妹子們").setThread(10).setStore(ZhihuGirlsStore.class);
        TaskQueue queue = TaskQueue.of();
        getPageFrom(queue);
        CockroachContext context = new CockroachContext(config);
        context.start(queue);
    }

    private static void getPageFrom(TaskQueue queue) throws InterruptedException {
        String basePath = "https://www.zhihu.com/collection/72114548?page=";
        for (int i = 1; i <= 68; i++) {
            queue.push(new Task(basePath + i));
        }
    }
}複製程式碼

在上邊的程式碼中，我們一共分為5步。

  1. 我們建立了一個名稱為 知乎上的妹子們 的爬蟲，使用了 10 個執行緒來爬取內容，並指定了頁面解析以及結果儲存的處理類為 ZhihuGirlsStore.class
  2. 建立了一個預設長度的任務佇列
  3. 初始化任務到任務佇列中
  4. 建立了一個 Cockroach 爬蟲上下文物件
  5. 啟動爬蟲

頁面解析以及儲存 ZhihuGirlsStore.java

public class ZhihuGirlsStore implements IStore {
    public void store(TaskResponse taskResponse) throws Exception {
        if (taskResponse.getTask().getGroup().equals("img")) {
            byte[] bytes = taskResponse.getResponse().body().bytes();
            ImageUtils.save(bytes);
        } else {
            Elements imgs = taskResponse.select(".zm-item-answer").select("img");
            imgs.stream().map(element -> element.attr("data-original")).forEach(url -> {
                try {
                    taskResponse.getQueue().push(new Task(url, "img"));
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
        }
    }
}複製程式碼

Cockroach 的 task 中為我們提供了 group 欄位來標識每一個 任務，如果不設定，任務預設的 group 為 default 。
在本爬蟲程式中，我們的 task 一共可分為兩種，一種是解析頁面得到頁面中的圖片地址，另外一種就是爬取圖片內容。
這裡我們通過 group 欄位來區分兩種任務，具體操作就是在解析到圖片地址並新增到佇列中的時候，給 task 設定 group 為 img，這樣我們在收到一個結果的時候，就可以通過 task 中的 group 欄位來區分我們要做何種操作（解析頁面 / 儲存圖片）。

圖片儲存 ImageUtils.java

public class ImageUtils {
    public static void save(byte[] bytes) throws IOException {
        String fileName = UUID.randomUUID().toString();
        String dirpath = "meizhi2";
        File dir = new File(dirpath);
        if(!dir.exists()){
            dir.mkdirs();
        }
        FileOutputStream outputStream = new FileOutputStream(dirpath + "/" + fileName + ".jpg");
        outputStream.write(bytes);
        outputStream.close();
        System.out.println("save image:" + fileName);
    }
}複製程式碼

以上程式碼就是把接收到的二進位制圖片內容儲存為圖片。圖片的名稱使用一個隨機的 UUID 值。

沒錯老鐵們，以上就是我們的全部的程式碼。包括方法宣告在內的有效程式碼不到30行！！！

別忘了最後一步。執行 App.java 中的 main 方法，接下來就休息休息吧。。。

相關文章