什麼是爬蟲?爬蟲的工作原理是什麼呢

　　隨著網際網路的發展，大家對於爬蟲這個詞已經不再陌生了。但是什麼是爬蟲?爬蟲的工作原理是什麼呢?對於IT小白還是非常疑惑的，今天就為大家詳細的介紹一下。

　　什麼是網路爬蟲?

　　網路爬蟲就是一種從網際網路抓取資料資訊的自動化程式，如果我們將網際網路比作一張大的蜘蛛網，資料就是存放在蜘蛛網的一個節點，爬蟲就是一個小蜘蛛，沿著網路抓取資料。

　　爬蟲可以在抓取的過程中進行各種異常處理、錯誤重試等操作，確保抓取持續高效執行。

　　爬蟲分為通用爬蟲以及專用爬蟲，通用爬蟲是搜尋引擎抓取系統的重要組成部分，主要目的將網際網路網頁下載到本地，形成一個網際網路內容的映象備份;專用爬蟲主要為某一類特定的人群提供服務。

　　爬蟲工作原理是什麼?

　　爬蟲首先要做的工作是獲取網頁的原始碼，原始碼裡包含了網頁的部分有用資訊;之後爬蟲構造一個請求併傳送給伺服器，伺服器接收到響應並將其解析出來。實際上，獲取網頁——分析網頁原始碼——提取資訊，便是爬蟲工作的三部曲。