使用PHP的正則抓取頁面中的網址

大江小浪發表於2016-08-04
PHP
最近有一個任務，從頁面中抓取頁面中所有的連結，當然使用PHP正規表示式是最方便的辦法。要寫出正規表示式，就要先總結出模式，那麼頁面中的連結會有幾種形式呢？
 
連結也就是超級連結，是從一個元素（文字、圖片、視訊等）連結到另一個元素（文字、圖片、視訊等）。網頁中的連結一般有三種，一種是絕對URL超連結，也就是一個頁面的完整路徑；另一種是相對URL超連結，一般都連結到同一網站的其他頁面；還有一種是頁面內的超連結，這種一般連結到同一頁面內的其他位置。
 
搞清楚了連結的種類，就知道要抓連結，主要還是絕對URL超連結和相對URL超連結。要寫出正確的正規表示式，就必須要了解我們查詢的物件的模式。
 
先說絕對連結，也叫作URL（Uniform Resource Locator），標識了網際網路上的唯一資源。URL的結構包含三部分：協議、伺服器名稱、路徑和檔名。
 
協議是告訴瀏覽器如何處理將要開啟檔案的標識，最常見的就是 http 協議。本文也只考慮HTTP協議，至於其他的 https、ftp、mailto、telnet協議等，根據需要也可以新增。
 
伺服器名稱是告訴瀏覽器如何到達這個伺服器的方式，通常是域名或者IP地址，有時還會包含埠號（預設為80）。FTP協議中，也可以包含使用者名稱和密碼，本文就不考慮了。
 
路徑和檔名，一般以 / 分割，指出到達這個檔案的路徑和檔案本身的名稱。如果沒有具體的檔名，則訪問這個資料夾下的預設檔案（可以在伺服器端設定）。
 
那麼現在清楚了，要抓取的絕對連結的典型形式可以概括為 
 
http://www.xxx.com/xxx/yyy/zzz.html
 
每個部分可以使用的字元範圍有明確的規範，具體可以參考RFC1738。那麼正規表示式就可以寫出來了。
 
/(http|https)://([wd-_]+[.wd-_]+)[:d+]?([/]?[w/.]+)/i
 
解釋如下：
 
(http|https)第一個括號內匹配的是協議部分。
 
([wd-_]+[.wd-_]+)第二個括號內匹配的是域名部分。
 
([/]?[w/.]+)第三個括號內匹配的是相對路徑。
 
寫到這個時候，基本上大部分的網址都能匹配到了，但是對於URL中帶有引數的還不能抓取，這樣有可能造成再次訪問的時候頁面報錯。關於引數RFC1738規範中要求是用？來分割，後面帶上引數，但是現代的RIA應用有可能使用其他奇怪的形式進行分割。
 
稍微修改一下，這樣就可以將查詢引數部分搜尋出來。這裡仍然沒有涵蓋全部的情況，例如URL中有中文、有空格及其他特殊字元的情況，但是基本上能夠滿足我的需求了，就沒有繼續深化。
 
/(http|ftp|https)://([wd-_]+[.wd-_]+)[:d+]?([/]?[w/.?=&;%@#+,]+)/i
 
 
使用括號的好處是，在處理結果時，可以很容易的獲取到協議、域名、相對路徑這些內容，方便後續的處理。
 
例如使用 preg_match_all() 匹配時，結果陣列索引0為全部結果、1為協議、2為域名、3為相對路徑。
 

參考資料：

3、RFC1738


相關文章