通用爬蟲技術框架是什麼？

通用爬蟲技術框架爬蟲系統首先 會 從網際網路頁面中精心選擇一部分網頁， 然後以 這些網頁的連結地址作為種子URL， 再 將這些種子放入待抓取URL佇列中， 之後 爬蟲從待抓取URL佇列依次讀取，並 通過DNS解析 URL， 再將 連結地址轉換為網站伺服器對應的IP地址。

 

然後將其和網頁相對路徑名稱交給網頁下載器 處理， 網頁下載器 則 負責頁面的下載。對於下載到本地的網頁， 一邊 將其儲存到頁面庫中，等待建立索引等後續處理 ， 另 一邊 將下載網頁的URL 放入已抓取佇列中，這個佇列 即 記錄了爬蟲系統已經下載過的網頁URL ， 可以以此 避免系統的重複抓取。

 

對於剛下載 過 的網頁，從中 可以 抽取出包含的所有連結資訊，並在已下載的URL 佇列中進行檢查，如果發現 還沒有被抓取過的 連結，則 會 放到待抓取URL 佇列的末尾，在之後的抓取排程中 再次 下載這個URL 對應的網頁。

 

如此 迴圈， 直到待抓取URL 佇列為空 ， 這代表著爬蟲系統將能夠抓取的網頁已經 被 悉數抓完，此時 又 完成了一輪完整的抓取過程。

 

品易雲全球HTTP 已向多知名網站提供服務，支援 API 批量使用，支援多執行緒高併發使用。