網路爬蟲（一）：抓取網頁的含義和URL基本構成

由於要獲得我校圖書館書籍目錄，開始了爬蟲的學習。

以下是學習筆記

共有10章，每章大體思路是：為什麼--->是什麼--->如何做。

參考http://blog.csdn.net/column/details/why-bug.html

關於why？

簡而言之獲得更多的資源。

關於what？

歡迎來到爬蟲的世界。

一、網路爬蟲的定義

網路爬蟲，即WebSpider，是一個很形象的名字。

把網際網路比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。

網路蜘蛛是通過網頁的連結地址來尋找網頁的。

從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到網頁中的其它連結地址，

然後通過這些連結地址尋找下一個網頁，這樣一直迴圈下去，直到把這個網站所有的網頁都抓取完為止。

如果把整個網際網路當成一個網站，那麼網路蜘蛛就可以用這個原理把網際網路上所有的網頁都抓取下來。

這樣看來，網路爬蟲就是一個爬行程式，一個抓取網頁的程式。

在瞭解抓取網頁之前我們先了解我們平時是如何瀏覽網頁的。

二、瀏覽網頁的過程

抓取網頁的過程其實和讀者平時使用IE火狐瀏覽器瀏覽網頁的道理一樣的。

開啟網頁的過程其實就是瀏覽器作為“客戶端”，通過位址列，向伺服器端傳送了一次請求，把伺服器端的HTML檔案”抓“到本地，再進行解釋、展現。

其中HTML是一種標記語言，用標籤標記內容並加以解析和區分；而瀏覽器的功能是將獲取的HTML程式碼進行解析，然後將原始HTML程式碼轉換成我們直接看到的網站頁面。

那麼如何才能隨心所欲地獲得自己想要的頁面？

我們先從URL開始。

三、URI和URL的概念和舉例

簡單的來講，URL就是在瀏覽器端輸入的    http://www.baidu.com    這個字串。

在理解URL之前，首先要理解URI的概念。

URI：    Web上每種可用的資源，如HTML文件、影象、視訊片段、程式等都由一個通用資源識別符號（Universal Resource Identifier，URI）進行定位。

URI通常由三部分組成：

①訪問資源的命名機制。

②存放資源的主機名。

③資源自身的名稱，由路徑表示。

如：http://www.fyf.com.cn/myhtml/html123/

我們可以這樣解釋它：

①這是一個可以通過HTTP協議訪問的資源。

②位於主機www.fyf.com.cn上。

③通過路徑“/html/html123/”訪問。

四、URL的理解和舉例

URL是URI的一個子集。它是Uniform Resource Locator的縮寫，譯為“統一資源定位符”。

通俗地說，URL是Internet上描述資訊資源的字串，主要用在各種WWW客戶程式和伺服器程式上。

採用URL可以用一種統一的格式來描述各種資訊資源，包括檔案、伺服器的地址和目錄等。

URL的一般格式為（帶方括號【】的為可選項）：

protocol://hostname[:port]/path/[:parameters][?query]#fragment

URL的格式也是三部分組成：

①第一部分是協議（或稱為服務方式）。

②第二部分是存有該資源的主機IP地址（有時也包括埠號）。

③第三部分是主機資源的具體地址，如目錄和檔名等。

五、URI和URL比較

URI屬於URL更低層次的抽象，一種字串文字標準。

也就是說，URI屬於父類，而URL屬於URI的子類。URL是URI的一個子集。

URI的定義是：統一資源識別符號

URL的定義是：統一資源定位符

二者的區別在於：URI表示請求伺服器的路徑，定義這麼一個資源。而URL同時說明要如何訪問這個資源（http://）。

兩個URL的例子：

1.HTTP協議的URL示例

使用超級文字傳輸協議HTTP，提供超級文字資訊服務的資源。

例：http://www.people.com.cn/GB/138812/index.html

其計算機域名為www.peopledaily.com.cn。

超級文字檔案（檔案型別為.html）是在目錄/GB/138812下的index.html。

2.檔案的URL

用URL表示檔案時，伺服器方式用file表示，後面要有主機IP地址、檔案的存取路徑（即目錄）和檔名等資訊。

有時可以省略目錄和檔名，但“/”符號不能省略。

例：file://ftp.yoyodyne.com/pub/files/foobar.txt

上面這個URL代表存放在主機ftp.yoyodyne.com上的pub/files/目錄下的一個檔案，檔名是foobar.txt。

例：file://ftp.yoyodyne.com/pub                           

代表主機ftp.yoyodyne.com的根目錄。

爬蟲最主要的處理物件就是URL，它根據URL地址取得所需要的檔案內容，然後對它進行進一步的處理。

因此，準確地理解URL對理解網路爬蟲至關重要。