本文作者：頓燉
連結：https://www.zhihu.com/question/19937854/answer/98791215
來源：知乎

本系列文章將整理到我在GitHub上的《Java面試指南》倉庫，更多精彩內容請到我的倉庫裡檢視
> https://github.com/h2pl/Java-Tutorial

喜歡的話麻煩點下Star哈

本系列文章將整理於我的個人部落格：
> www.how2playlife.com

該系列博文會介紹常見的後端技術，這對後端工程師來說是一種綜合能力，我們會逐步瞭解搜尋技術，雲端計算相關技術、大資料研發等常見的技術喜提，以便讓你更完整地瞭解後端技術棧的全貌，為後續參與分散式應用的開發和學習做好準備。

如果對本系列文章有什麼建議，或者是有什麼疑問的話，也可以關注公眾號【Java技術江湖】聯絡我，歡迎你參與本系列博文的創作和修訂。

## 寫在前面

Max Grigorev最近寫了一篇文章，題目是[《What every software engineer should know about search》](https://link.juejin.im/?target=https%3A%2F%2Fmedium.com%2Fstartup-grind%2Fwhat-every-software-engineer-should-know-about-search-27d1df99f80d)，這篇文章裡指出了現在一些軟體工程師的問題，他們認為開發一個搜尋引擎功能就是搭建一個ElasticSearch叢集，而沒有深究背後的技術，以及技術發展趨勢。Max認為，除了搜尋引擎自身的搜尋問題解決、人類使用方式等之外，也需要解決索引、分詞、許可權控制、國際化等等的技術點，看了他的文章，勾起了我多年前的想法。

很多年前，我曾經想過自己實現一個搜尋引擎，作為自己的研究生論文課題，後來琢磨半天沒有想出新的技術突破點（相較於已發表的文章），所以切換到了大資料相關的技術點。當時沒有寫出來，心中有點小遺憾，畢竟憑藉搜尋引擎崛起的谷歌是我內心渴望的公司。今天我就想結合自己的一些積累，聊聊作為一名軟體工程師，您需要了解的搜尋引擎知識。

## 搜尋引擎發展過程

現代意義上的搜尋引擎的祖先，是1990年由蒙特利爾大學學生Alan Emtage發明的Archie。即便沒有英特網，網路中檔案傳輸還是相當頻繁的，而且由於大量的檔案散佈在各個分散的FTP主機中，查詢起來非常不便，因此Alan Emtage想到了開發一個可以以檔名查詢檔案的系統，於是便有了Archie。Archie工作原理與現在的搜尋引擎已經很接近，它依靠指令碼程式自動搜尋網上的檔案，然後對有關資訊進行索引，供使用者以一定的表示式查詢。

網際網路興起後，需要能夠監控的工具。世界上第一個用於監測網際網路發展規模的“機器人”程式是Matthew Gray開發的World wide Web Wanderer，剛開始它只用來統計網際網路上的伺服器數量，後來則發展為能夠檢索網站域名。

隨著網際網路的迅速發展，每天都會新增大量的網站、網頁，檢索所有新出現的網頁變得越來越困難，因此，在Matthew Gray的Wanderer基礎上，一些程式設計者將傳統的“蜘蛛”程式工作原理作了些改進。現代搜尋引擎都是以此為基礎發展的。

## 搜尋引擎分類

*   全文搜尋引擎

當前主流的是全文搜尋引擎，較為典型的代表是Google、百度。全文搜尋引擎是指透過從網際網路上提取的各個網站的資訊（以網頁文字為主），儲存在自己建立的資料庫中。使用者發起檢索請求後，系統檢索與使用者查詢條件匹配的相關記錄，然後按一定的排列順序將結果返回給使用者。從搜尋結果來源的角度，全文搜尋引擎又可細分為兩種，一種是擁有自己的檢索程式（Indexer），俗稱“蜘蛛”（Spider）程式或“機器人”（Robot）程式，並自建網頁資料庫，搜尋結果直接從自身的資料儲存層中呼叫；另一種則是租用其他引擎的資料庫，並按自定的格式排列搜尋結果，如Lycos引擎。

*   目錄索引類搜尋引擎

雖然有搜尋功能，但嚴格意義上不能稱為真正的搜尋引擎，只是按目錄分類的網站連結列表而已。使用者完全可以按照分類目錄找到所需要的資訊，不依靠關鍵詞（Keywords）進行查詢。目錄索引中最具代表性的莫過於大名鼎鼎的Yahoo、新浪分類目錄搜尋。

*   元搜尋引擎

元搜尋引擎在接受使用者查詢請求時，同時在其他多個引擎上進行搜尋，並將結果返回給使用者。著名的元搜尋引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜尋引擎中具代表性的有搜星搜尋引擎。在搜尋結果排列方面，有的直接按來源引擎排列搜尋結果，如Dogpile，有的則按自定的規則將結果重新排列組合，如Vivisimo。

## 相關實現技術

搜尋引擎產品雖然一般都只有一個輸入框，但是對於所提供的服務，背後有很多不同業務引擎支撐，每個業務引擎又有很多不同的策略，每個策略又有很多模組協同處理，及其複雜。

搜尋引擎本身包含網頁抓取、網頁評價、反作弊、建庫、倒排索引、索引壓縮、線上檢索、ranking排序策略等等知識。

*   網路爬蟲技術

網路爬蟲技術指的是針對網路資料的抓取。因為在網路中抓取資料是具有關聯性的抓取，它就像是一隻蜘蛛一樣在網際網路中爬來爬去，所以我們很形象地將其稱為是網路爬蟲技術。網路爬蟲也被稱為是網路機器人或者是網路追逐者。

網路爬蟲獲取網頁資訊的方式和我們平時使用瀏覽器訪問網頁的工作原理是完全一樣的，都是根據HTTP協議來獲取，其流程主要包括如下步驟：

1）連線DNS域名伺服器，將待抓取的URL進行域名解析（URL------>IP）；

2）根據HTTP協議，傳送HTTP請求來獲取網頁內容。

一個完整的網路爬蟲基礎框架如下圖所示：

![](https://ww2.sinaimg.cn/large/006tKfTcly1fkrzrfk7trj30pl0grjt9.jpg)

整個架構共有如下幾個過程：

1）需求方提供需要抓取的種子URL列表，根據提供的URL列表和相應的優先順序，建立待抓取URL佇列（先來先抓）；

2）根據待抓取URL佇列的排序進行網頁抓取；

3）將獲取的網頁內容和資訊下載到本地的網頁庫，並建立已抓取URL列表（用於去重和判斷抓取的程式）；

4）將已抓取的網頁放入到待抓取的URL佇列中，進行迴圈抓取操作；
- 索引

從使用者的角度來看，搜尋的過程是透過關鍵字在某種資源中尋找特定的內容的過程。而從計算機的角度來看，實現這個過程可以有兩種辦法。一是對所有資源逐個與關鍵字匹配，返回所有滿足匹配的內容；二是如同字典一樣事先建立一個對應表，把關鍵字與資源的內容對應起來，搜尋時直接查詢這個表即可。顯而易見，第二個辦法效率要高得多。建立這個對應表事實上就是建立逆向索引（inverted index）的過程。

*   Lucene

Lucene是一個高效能的java全文檢索工具包，它使用的是倒排檔案索引結構。

全文檢索大體分兩個過程，索引建立 (Indexing) 和搜尋索引 (Search) 。

索引建立：將現實世界中所有的結構化和非結構化資料提取資訊，建立索引的過程。
搜尋索引：就是得到使用者的查詢請求，搜尋建立的索引，然後返回結果的過程。

![](https://ww2.sinaimg.cn/large/006tKfTcly1fkrzrpvzm1j30f40db755.jpg)

非結構化資料中所儲存的資訊是每個檔案包含哪些字串，也即已知檔案，欲求字串相對容易，也即是從檔案到字串的對映。而我們想搜尋的資訊是哪些檔案包含此字串，也即已知字串，欲求檔案，也即從字串到檔案的對映。兩者恰恰相反。於是如果索引總能夠儲存從字串到檔案的對映，則會大大提高搜尋速度。

由於從字串到檔案的對映是檔案到字串對映的反向過程，於是儲存這種資訊的索引稱為反向索引 。

反向索引的所儲存的資訊一般如下：

假設我的文件集合裡面有100篇文件，為了方便表示，我們為文件編號從1到100，得到下面的結構

![](https://ww1.sinaimg.cn/large/006tKfTcly1fkrzrz05rqj30f4049gmb.jpg)

每個字串都指向包含此字串的文件(Document)連結串列，此文件連結串列稱為倒排表 (Posting List)。

*   ElasticSearch

Elasticsearch是一個實時的分散式搜尋和分析引擎，可以用於全文搜尋，結構化搜尋以及分析，當然你也可以將這三者進行組合。Elasticsearch是一個建立在全文搜尋引擎 Apache Lucene™ 基礎上的搜尋引擎，但是Lucene只是一個框架，要充分利用它的功能，需要使用JAVA，並且在程式中整合Lucene。Elasticsearch使用Lucene作為內部引擎，但是在使用它做全文搜尋時，只需要使用統一開發好的API即可，而不需要了解其背後複雜的Lucene的執行原理。

*   Solr

Solr是一個基於Lucene的搜尋引擎伺服器。Solr 提供了層面搜尋、命中醒目顯示並且支援多種輸出格式（包括 XML/XSLT 和 JSON 格式）。它易於安裝和配置，而且附帶了一個基於 HTTP 的管理介面。Solr已經在眾多大型的網站中使用，較為成熟和穩定。Solr 包裝並擴充套件了 Lucene，所以Solr的基本上沿用了Lucene的相關術語。更重要的是，Solr 建立的索引與 Lucene 搜尋引擎庫完全相容。透過對Solr 進行適當的配置，某些情況下可能需要進行編碼，Solr 可以閱讀和使用構建到其他 Lucene 應用程式中的索引。此外，很多 Lucene 工具（如Nutch、 Luke）也可以使用Solr 建立的索引。

*   Hadoop

谷歌公司釋出的一系列技術白皮書導致了Hadoop的誕生。Hadoop是一系列大資料處理工具，可以被用在大規模叢集裡。Hadoop目前已經發展為一個生態體系，包括了很多元件，如圖所示。

![](https://ww4.sinaimg.cn/large/006tKfTcly1fkrzs6lbs1j31hm10x466.jpg)

Cloudera是一家將Hadoop技術用於搜尋引擎的公司，使用者可以採用全文搜尋方式檢索儲存在HDFS（Hadoop分散式檔案系統）和Apache HBase裡面的資料，再加上開源的搜尋引擎Apache Solr，Cloudera提供了搜尋功能，並結合Apache ZooKeeper進行分散式處理的管理、索引切分以及高效能檢索。

*   PageRank

谷歌Pagerank演算法基於隨機衝浪模型，基本思想是基於網站之間的相互投票，即我們常說的網站之間互相指向。如果判斷一個網站是高質量站點時，那麼該網站應該是被很多高質量的網站引用又或者是該網站引用了大量的高質量權威的站點。
- 國際化

坦白說，Google雖然做得非常好，無論是技術還是產品設計，都很好。但是國際化確實是非常難做的，很多時候在細分領域還是會有其他搜尋引擎的生存餘地。例如在韓國，Naver是使用者的首選，它本身基於Yahoo的Overture系統，廣告系統則是自己開發的。在捷克，我們則更多會使用Seznam。在瑞典，使用者更多選擇Eniro，它最初是瑞典的黃頁開發公司。

國際化、個性化搜尋、匿名搜尋，這些都是Google這樣的產品所不能完全覆蓋到的，事實上，也沒有任何一款產品可以適用於所有需求。

## 自己實現搜尋引擎

如果我們想要實現搜尋引擎，最重要的是索引模組和搜尋模組。索引模組在不同的機器上各自進行對資源的索引，並把索引檔案統一傳輸到同一個地方（可以是在遠端伺服器上，也可以是在本地）。搜尋模組則利用這些從多個索引模組收集到的資料完成使用者的搜尋請求。因此，我們可以理解兩個模組之間相對是獨立的，它們之間的關聯不是透過程式碼，而是透過索引和後設資料，如下圖所示。

![](https://ww1.sinaimg.cn/large/006tKfTcly1fkrzshq4cbj30ga05874m.jpg)

對於索引的建立，我們需要注意效能問題。當需要進行索引的資源數目不多時，隔一定的時間進行一次完全索引，不會佔用很長時間。但在大型應用中，資源的容量是巨大的，如果每次都進行完整的索引，耗費的時間會很驚人。我們可以透過跳過已經索引的資源內容，刪除已不存在的資源內容的索引，並進行增量索引來解決這個問題。這可能會涉及檔案校驗和索引刪除等。另一方面，框架可以提供查詢快取功能，提高查詢效率。框架可以在記憶體中建立一級快取，並使用如 OSCache或 EHCache快取框架，實現磁碟上的二級快取。當索引的內容變化不頻繁時，使用查詢快取更會明顯地提高查詢速度、降低資源消耗。

## 搜尋引擎解決方案

*   Sphinx

俄羅斯一家公司開源的全文搜尋引擎軟體Sphinx，單一索引最大可包含1億條記錄，在1千萬條記錄情況下的查詢速度為0.x秒（毫秒級）。Sphinx建立索引的速度很快，根據網上的資料，Sphinx建立100萬條記錄的索引只需3～4分鐘，建立1000萬條記錄的索引可以在50分鐘內完成，而只包含最新10萬條記錄的增量索引，重建一次只需幾十秒。

*   OmniFind

OmniFind 是 IBM 公司推出的企業級搜尋解決方案。基於 UIMA (Unstructured Information Management Architecture) 技術，它提供了強大的索引和獲取資訊功能，支援巨大數量、多種型別的文件資源（無論是結構化還是非結構化），併為 Lotus®Domino®和 WebSphere®Portal 專門進行了最佳化。
下一代搜尋引擎

從技術和產品層面來看，接下來的幾年，甚至於更長時間，應該沒有哪一家搜尋引擎可以撼動谷歌的技術領先優勢和產品地位。但是我們也可以發現一些現象，例如搜尋假期租房的時候，人們更喜歡使用Airbub，而不是Google，這就是針對匿名/個性化搜尋需求，這些需求是谷歌所不能完全覆蓋到的，畢竟原始資料並不在谷歌。我們可以看一個例子：DuckDuckGo。這是一款有別於大眾理解的搜尋引擎，DuckDuckGo強調的是最佳答案，而不是更多的結果，所以每個人搜尋相同關鍵詞時，返回的結果是不一樣的。

另一個方面技術趨勢是引入人工智慧技術。在搜尋體驗上，透過大量演算法的引入，對使用者搜尋的內容和訪問偏好進行分析，將標題摘要進行一定程度的最佳化，以更容易理解的方式呈現給使用者。谷歌在搜尋引擎AI化的步驟領先於其他廠商，2016年，隨著Amit Singhal被退休，John Giannandrea上位的交接班過程後，正式開啟了自身的革命。Giannandrea是深度神經網路、近似人腦中的神經元網路研究方面的頂級專家，透過分析海量級的數字資料，這些神經網路可以學習排列方式，例如對圖片進行分類、識別智慧手機的語音控制等等，對應也可以應用在搜尋引擎。因此，Singhal向Giannandrea的過渡，也意味著傳統人為干預的規則設定的搜尋引擎向AI技術的過渡。引入深度學習技術之後的搜尋引擎，透過不斷的模型訓練，它會深層次地理解內容，併為客戶提供更貼近實際需求的服務，這才是它的有用，或者可怕之處。

**Google搜尋引擎的工作流程**

貼個圖，自己感受下。

![](https://pic3.zhimg.com/5b981a1b36b15a5a82c8f4e65a718afa_b.jpg)![](https://pic3.zhimg.com/80/5b981a1b36b15a5a82c8f4e65a718afa_hd.jpg)

**詳細點的 ：**
![](https://pic4.zhimg.com/6e7fd609f7de41c35f5587a1ceb42523_b.jpg)![](https://pic4.zhimg.com/80/6e7fd609f7de41c35f5587a1ceb42523_hd.jpg)

後端技術雜談2：搜尋引擎工作原理

相關文章