Linux企業級專案實踐之網路爬蟲（14）——使用正規表示式抽取HTML正文和URL

尹成發表於2014-08-31
Linux爬蟲HTML
正規表示式，又稱正規表示法、常規表示法（英語：Regular Expression，在程式碼中常簡寫為regex、regexp或RE），電腦科學的一個概念。正規表示式使用單個字串來描述、匹配一系列符合某個句法規則的字串。在很多文字編輯器裡，正規表示式通常被用來檢索、替換那些符合某個模式的文字。


正則引擎主要可以分為兩大類：一種是DFA，一種是NFA。這兩種引擎都有了很久的歷史(至今二十多年)，當中也由這兩種引擎產生了很多變體！於是POSIX的出臺產生規範了不必要變體的繼續產生。這樣一來，主流的正則引擎又分為3類：一、DFA，二、傳統型NFA，三、POSIX NFA。


C語言處理正規表示式常用的函式有regcomp()、regexec()、regfree()和regerror()，一般分為三個步驟，如下所示：


C語言中使用正規表示式一般分為三步：
編譯正規表示式 regcomp()
匹配正規表示式 regexec()
釋放正規表示式 regfree()


下邊是對三個函式的詳細解釋
1、int regcomp (regex_t *compiled, const char *pattern, int cflags)
這個函式把指定的正規表示式pattern編譯成一種特定的資料格式compiled，這樣可以使匹配更有效。函式regexec 會使用這個資料在目標文字串中進行模式匹配。執行成功返回０。 　


引數說明：
①regex_t 是一個結構體資料型別，用來存放編譯後的正規表示式，它的成員re_nsub 用來儲存正規表示式中的子正規表示式的個數，子正規表示式就是用圓括號包起來的部分表示式。
②pattern 是指向我們寫好的正規表示式的指標。
③cflags 有如下4個值或者是它們或運算(|)後的值：
REG_EXTENDED 以功能更加強大的擴充套件正規表示式的方式進行匹配。
REG_ICASE 匹配字母時忽略大小寫。
REG_NOSUB 不用儲存匹配後的結果。
REG_NEWLINE 識別換行符，這樣'$'就可以從行尾開始匹配，'^'就可以從行的開頭開始匹配。


2. int regexec (regex_t *compiled, char *string, size_t nmatch, regmatch_t matchptr [], int eflags)
當我們編譯好正規表示式後，就可以用regexec 匹配我們的目標文字串了，如果在編譯正規表示式的時候沒有指定cflags的引數為REG_NEWLINE，則預設情況下是忽略換行符的，也就是把整個文字串當作一個字串處理。執行成功返回０。
regmatch_t 是一個結構體資料型別，在regex.h中定義：             
typedef struct
{
   regoff_t rm_so;
   regoff_t rm_eo;
} regmatch_t;
成員rm_so 存放匹配文字串在目標串中的開始位置，rm_eo 存放結束位置。通常我們以陣列的形式定義一組這樣的結構。因為往往我們的正規表示式中還包含子正規表示式。陣列0單元存放主正規表示式位置，後邊的單元依次存放子正規表示式位置。


引數說明：
①compiled 是已經用regcomp函式編譯好的正規表示式。
②string 是目標文字串。
③nmatch 是regmatch_t結構體陣列的長度。
④matchptr regmatch_t型別的結構體陣列，存放匹配文字串的位置資訊。
⑤eflags 有兩個值
REG_NOTBOL 按我的理解是如果指定了這個值，那麼'^'就不會從我們的目標串開始匹配。總之我到現在還不是很明白這個引數的意義；
REG_NOTEOL 和上邊那個作用差不多，不過這個指定結束end of line。


3. void regfree (regex_t *compiled)
當我們使用完編譯好的正規表示式後，或者要重新編譯其他正規表示式的時候，我們可以用這個函式清空compiled指向的regex_t結構體的內容，請記住，如果是重新編譯的話，一定要先清空regex_t結構體。


4. size_t regerror (int errcode, regex_t *compiled, char *buffer, size_t length)
當執行regcomp 或者regexec 產生錯誤的時候，就可以呼叫這個函式而返回一個包含錯誤資訊的字串。


引數說明：
①errcode 是由regcomp 和 regexec 函式返回的錯誤代號。
②compiled 是已經用regcomp函式編譯好的正規表示式，這個值可以為NULL。
③buffer 指向用來存放錯誤資訊的字串的記憶體空間。
④length 指明buffer的長度，如果這個錯誤資訊的長度大於這個值，則regerror 函式會自動截斷超出的字串，但他仍然會返回完整的字串的長度。所以我們可以用如下的方法先得到錯誤字串的長度。


size_t length = regerror (errcode, compiled, NULL, 0);


/* regex pattern for parsing href */
static const char * HREF_PATTERN = "href=\"\\s*\\([^ >\"]*\\)\\s*\"";

....
    regex_t re;
    if (regcomp(&re, HREF_PATTERN, 0) != 0) {/* compile error */
        SPIDER_LOG(SPIDER_LEVEL_ERROR, "compile regex error");
    }


相關文章