PHP開發搜尋引擎技術全解析

　　談到網頁搜尋引擎時，很多人都會想到雅虎。的確，雅虎開創了一個網際網路絡的搜尋時代。然而，雅虎目前用於搜尋網頁的技術卻並非該公司原先自己開發的。2000年8月，雅虎採用了Google這家由史丹佛大學學生建立的公司的技術。理由非常簡單，Google的搜尋引擎比雅虎先前使用的技術能更快、更準確搜尋到所需要的資訊。

　　讓我們自己來設計、開發一個強勁、高效的搜尋引擎和資料庫恐怕短時間內在技術、資金等方面是不可能的，不過，既然雅虎都在使用別人的技術，那麼我們是不是也可以使用別人現成的搜尋引擎網站呢?

　　剖析程式設計思路

　　我們可以這樣設想：模擬一個查詢，向某個搜尋引擎網站發出相應格式的搜尋命令，然後傳回搜尋結果，對結果的HTML程式碼進行分析，剝離多餘的字元和程式碼，最後按所需要的格式顯示在我們自己的網站頁面裡。

　　這樣，問題的關鍵就在於，我們要選定一個搜尋資訊準確(這樣我們的搜尋才會更有意義啊)、速度快(因為我們分析搜尋結果並顯示需要額外的時間)，搜尋結果簡潔(便於進行HTML原始碼分析和剝離)的搜尋網站，由於新一代搜尋引擎Google的各種優良特性，這裡我們選擇它為例，來看看用PHP怎樣實現後臺對Google搜尋、前臺個性化顯示這一過程。

　　我們先來看看Google的查詢命令的構成。進入Google網站，在查詢欄中輸入“abcd”，點選查詢按鈕，我們可以發現瀏覽器的位址列變成："http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr= "，可見，Google是通過表單的get方式來傳遞查詢引數並遞交查詢命令的。我們可以使用PHP中的file()函式來模擬這個查詢過程。

　　瞭解File( ) 函式

　　語法: array file(string filename);

　　返回值為陣列，將檔案全部讀入陣列變數中。這裡的檔案可以是本地的，也可以是遠端的，遠端檔案必須指明所使用的協議。例如： result=file(“http://www.google.com/search?q=a ... mp;hl=zh-CN&lr= ”)，該語句將模擬我們在Google上查詢單詞“abcd”的過程，並將搜尋結果以每行為元素，傳回到陣列變數 result中。因為這裡讀取的檔案是遠端的，所以協議名“http://”不能缺少。

　　如果要讓使用者輸入搜尋字元進行任意搜尋，我們可以做一個輸入文字框和提交按鈕，並將上文中的被搜尋字元“abcd”用變數替換：

　　echo '

　　'; file://沒有引數的form，預設提交方式為get，提交到本身

　　echo '; file://構造一個文字輸入框

　　echo '; file://構造一個提交查詢按鈕

　　echo '

　　';

　　if (isset( keywords)) file://提交後PHP會生成變數 kwywords,即要求下面的程式在提交後執行

　　{

　　urlencode( keywords); file://對使用者輸入內容進行URL編碼

　　result=file("http://www.google.com/search?q=". keywords."&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=");

　　file://對查詢語句進行變數替換,將查詢結果儲存在陣列變數 result中

　　result_string=join(" ", result); file://將陣列$result合併成字串，各陣列元素之間用空格粘和

　　... file://進一步處理

　　}

　　?﹥

　　上面的這段程式已經能按使用者輸入內容進行查詢，並將返回的結果合成一個字串變數$result_string。請注意要使用urlencode()函式將使用者輸入內容進行URL編碼，才可以正常地對輸入的漢字、空格以及其他特殊字元進行查詢，這樣做也是儘可能逼真地模擬Google的查詢命令，保證搜尋結果的正確性。

　　對Google的分析

　　為了便於理解，現在假設我們所真正需要的東西是：搜尋結果的標題。網址和簡介等，這是一個簡潔而典型的需求。這樣，我們所要做的便是：去除Google搜尋結果的臺頭和腳註，包括一個Google的標誌、再次搜尋的輸入框和搜尋結果說明等，並且在剩餘的搜尋結果各項條目中剝離原來的HTML格式標記，替換成我們想要的格式。

　　要做到這一點，我們必須仔細地分析Google搜尋結果的HTML原始碼，找到其中的規律。不難發現，在Google的搜尋結果的正文總是包含在原始碼的第一個

　　標記和倒數第二個

　　標記之間，並且倒數第二個

　　標記後緊跟table字元，而且這個組合“

　　以下所有程式均依次接續在上文程式的“進一步處理”處。

　　result_string = strstr( result_string, " ");

　　file://取 result_string從第一個開始後的字串，以去除Google臺頭

　　position= strpos( result_string," table符號的位置

　　result_string= substr( result_string,0, position);//擷取第一個table符號之前的字串,以去除腳註

　　應用與實現

　　現在我們已經得到有用的HTML原始碼主幹了，剩下的問題是如何自主地顯示這些內容。我們再分析一下這些搜尋結果條目，發現每個條目之間也是很有規律的用分隔，也就是各成一個段落，按這個特點我們用explode()函式把每個條目切開：

　　語法：explode(string separator, string string);

　　返回一個陣列，按separator切開後的各個小字串被儲存在陣列中。

　　於是：

　　result_array=explode(" ", result_string); file://用字串" "把結果切開

　　我們就得到一個陣列 result_array，其中每個元素都是一個搜尋結果條目。我們所要做的僅僅是研究每個條目及其HTML顯示格式程式碼，然後按要求替換就行了。下面用迴圈來處理 result_array中的每個條目。

　　for( i=0; i {

　　... file://處理每個條目

　　}

　　對於每個條目，我們也很容易找到一些特點：每個條目都由標題、摘要、簡介、類別、網址等組成，每個部分都換行，即包含標記，於是再次分割：(以下處理程式放在上文的迴圈中)

　　every_item=explode(" ", result_array[ i]);

　　這樣我們得到一個陣列 every_item，其中 every_item[0]就是標題， every_item[1]和 every_item[2]兩行為摘要， every_item[3]和 every_item[4]等等的頭部如果包含“簡介:”、“< font size=-1 color=#6f6f6f>類別:< /font>”字元，則是簡介或類別(因為有的結果條目沒有該項)，如果頭部包含“< font color=green>”則肯定就是網址啦，這種對比判斷我們常使用正規表示式(略)，如果要替換也很方便，比如包含標題的$every_item[0]，其本身是有連結的，我們希望修改這個連結屬性，讓它在新視窗開啟連結：

　　echo eregi_replace(' {

　　... file://處理每個條目中除去第一項(第一項為標題，已經顯示)的每一項

　　... file://更多格式修改

　　}

　　這樣就修改了連結屬性，其餘很多顯示格式的修改、剝離、替換都能用正則替換eregi_replace()來完成。

　　至此我們已經得到了每個搜尋條目的每一項，並能任意修改每項的格式，甚至可以給他套上漂亮的表格。然而一個好的程式應該能適應各種執行環境的，這裡也不例外，我們其實還只是討論了搜尋結果的HTML剝離的一種框架方法，真正要做得完美，還要考慮很多內容，比如要顯示一共搜尋出多少結果，分成多少頁等等，甚至還可以刨除與Google相關的那些“類別”、“簡介”等程式碼，讓客戶根本看不到原始網站。不過這些內容和要求我們都能通過分析HTML進行剝離得到。現在大家完全能自己動手，做個極富個性化的搜尋引擎。